Google stellt das ultrakleine und effiziente Open-Source-KI-Modell Gemma 3 270M vor, das auf Smartphones ausgeführt werden kann

14. August 2025, 11:21 Uhr

Quelle: VentureBeat erstellt mit Midjourney

Möchten Sie intelligentere Einblicke in Ihren Posteingang erhalten? Melden Sie sich für unseren wöchentlichen Newsletter an, um nur das zu erhalten, was für Führungskräfte in den Bereichen KI, Daten und Sicherheit in Unternehmen wichtig ist. Jetzt abonnieren

Das DeepMind-KI-Forschungsteam von Google hat heute ein neues Open-Source-KI-Modell vorgestellt: Gemma 3 270M.

Wie der Name schon sagt, handelt es sich hierbei um ein Modell mit 270 Millionen Parametern – weitaus weniger als die 70 Milliarden oder mehr Parameter vieler Frontier-LLMs (wobei Parameter die Anzahl der internen Einstellungen sind, die das Verhalten des Modells steuern).

Während mehr Parameter im Allgemeinen zu einem größeren und leistungsfähigeren Modell führen, liegt der Fokus von Google hier fast auf dem Gegenteil: hohe Effizienz, um Entwicklern ein Modell zu bieten , das klein genug ist, um direkt auf Smartphones und lokal ohne Internetverbindung ausgeführt zu werden, wie interne Tests auf einem Pixel 9 Pro SoC gezeigt haben.

Dennoch ist das Modell in der Lage, komplexe, domänenspezifische Aufgaben zu bewältigen und kann innerhalb weniger Minuten schnell an die Anforderungen eines Unternehmens oder Indie-Entwicklers angepasst werden.

Die Skalierung von KI stößt an ihre Grenzen

Leistungsbeschränkungen, steigende Token-Kosten und Verzögerungen bei der Inferenz verändern die Unternehmens-KI. Nehmen Sie an unserem exklusiven Salon teil und erfahren Sie, wie Top-Teams:

• Energie in einen strategischen Vorteil verwandeln
• Effiziente Inferenz für echte Durchsatzsteigerungen
• Erzielen Sie mit nachhaltigen KI-Systemen einen wettbewerbsfähigen ROI

Sichern Sie sich Ihren Platz, um die Nase vorn zu haben : https://bit.ly/4mwGngO

Im sozialen Netzwerk X fügte Omar Sanseviero, AI Developer Relations Engineer bei Google DeepMind Staff, hinzu, dass Gemma 3 270M auch direkt im Webbrowser eines Benutzers, auf einem Raspberry Pi und „in Ihrem Toaster“ ausgeführt werden kann, was seine Fähigkeit unterstreicht, auf sehr leichter Hardware zu laufen.

– Omar Sanseviero (@osanseviero) 14. August 2025

Gemma 3 270M kombiniert 170 Millionen Einbettungsparameter – dank eines großen 256k-Vokabulars, das seltene und spezifische Token verarbeiten kann – mit 100 Millionen Transformer-Blockparametern.

Laut Google unterstützt die Architektur sofort nach dem Auspacken eine starke Leistung bei Aufgaben, bei denen Anweisungen befolgt werden, und bleibt gleichzeitig klein genug für eine schnelle Feinabstimmung und Bereitstellung auf Geräten mit begrenzten Ressourcen, einschließlich mobiler Hardware.

Gemma 3 270M übernimmt die Architektur und das Vortraining der größeren Gemma 3-Modelle und gewährleistet so die Kompatibilität im gesamten Gemma-Ökosystem. Dank Dokumentation, Feinabstimmungsrezepten und Bereitstellungsleitfäden für Tools wie Hugging Face, UnSloth und JAX können Entwickler schnell vom Experiment zur Bereitstellung übergehen.

Beim IFEval-Benchmark, der die Fähigkeit eines Modells misst, Anweisungen zu befolgen , erreichte das auf Anweisungen abgestimmte Gemma 3 270M 51,2 % .

Mit diesem Ergebnis liegt es deutlich über ähnlich kleinen Modellen wie SmolLM2 135M Instruct und Qwen 2.5 0.5B Instruct und näher am Leistungsbereich einiger Modelle mit Milliarden Parametern, wie aus dem von Google veröffentlichten Vergleich hervorgeht.

Wie Forscher und Führungskräfte des konkurrierenden KI-Startups Liquid AI in Antworten auf X jedoch betonten, ließ Google Liquids eigenes LFM2-350M-Modell aus dem Juli dieses Jahres weg, das mit nur ein paar mehr Parametern (allerdings mit einem ähnlich großen Sprachmodell) satte 65,12 % erreichte.

Eine der entscheidenden Stärken des Modells ist seine Energieeffizienz. In internen Tests mit dem INT4-quantisierten Modell auf einem Pixel 9 Pro SoC verbrauchten 25 Gespräche nur 0,75 % des Akkus des Geräts.

Dies macht Gemma 3 270M zu einer praktischen Wahl für On-Device-KI, insbesondere in Fällen, in denen Datenschutz und Offline-Funktionalität wichtig sind.

Die Version enthält sowohl ein vortrainiertes als auch ein auf Anweisungen abgestimmtes Modell, sodass Entwickler sofort von Nutzen für allgemeine Aufgaben zur Befolgung von Anweisungen sind.

Es sind auch Quantization-Aware Trained (QAT)-Checkpoints verfügbar, die INT4-Präzision mit minimalem Leistungsverlust ermöglichen und das Modell für ressourcenbeschränkte Umgebungen produktionsbereit machen.

Google sieht Gemma 3 270M als Teil einer umfassenderen Philosophie, bei der es darum geht, das richtige Werkzeug für die jeweilige Aufgabe auszuwählen, anstatt sich auf die reine Modellgröße zu verlassen.

Für Funktionen wie Stimmungsanalyse, Entitätsextraktion, Abfragerouting, strukturierte Textgenerierung, Compliance-Prüfungen und kreatives Schreiben könne ein fein abgestimmtes kleines Modell laut Angaben des Unternehmens schnellere und kostengünstigere Ergebnisse liefern als ein großes Allzweckmodell.

Die Vorteile der Spezialisierung werden in früheren Arbeiten deutlich, beispielsweise in der Zusammenarbeit von Adaptive ML mit SK Telecom.

Durch die Feinabstimmung eines Gemma 3 4B-Modells für die mehrsprachige Inhaltsmoderation übertraf das Team deutlich größere proprietäre Systeme.

Gemma 3 270M ist darauf ausgelegt, ähnliche Erfolge in noch kleinerem Maßstab zu ermöglichen und Flotten spezialisierter Modelle zu unterstützen, die auf individuelle Aufgaben zugeschnitten sind.

Demo der Bedtime Story Generator-App zeigt das Potenzial von Gemma 3 270M

Über den Einsatz in Unternehmen hinaus eignet sich das Modell auch für kreative Szenarien. In einem auf YouTube veröffentlichten Demovideo zeigt Google eine Bedtime Story Generator-App, die mit Gemma 3 270M und Transformers.js erstellt wurde und vollständig offline in einem Webbrowser läuft. Dies demonstriert die Vielseitigkeit des Modells in leichten, zugänglichen Anwendungen.

Das Video hebt die Fähigkeit des Modells hervor, mehrere Eingaben zu synthetisieren, indem es die Auswahl einer Hauptfigur (z. B. „eine magische Katze“), eines Schauplatzes („in einem Zauberwald“), einer unerwarteten Wendung („entdeckt eine Geheimtür“), eines Themas („Abenteuerlich“) und einer gewünschten Länge („Kurz“) ermöglicht.

Sobald die Parameter festgelegt sind, generiert das Gemma 3 270M-Modell eine zusammenhängende und fantasievolle Geschichte. Die Anwendung webt basierend auf den Entscheidungen des Benutzers eine kurze, abenteuerliche Erzählung und demonstriert damit die Fähigkeit des Modells zur kreativen, kontextbezogenen Textgenerierung.

Dieses Video ist ein eindrucksvolles Beispiel dafür, wie der leichte und dennoch leistungsstarke Gemma 3 270M schnelle, ansprechende und interaktive Anwendungen ohne Abhängigkeit von der Cloud ermöglichen kann und so neue Möglichkeiten für KI-Erlebnisse auf dem Gerät eröffnet.

Gemma 3 270M wird unter den Gemma-Nutzungsbedingungen veröffentlicht, die die Verwendung, Vervielfältigung, Änderung und Verbreitung des Modells und von Derivaten unter der Voraussetzung gestatten, dass bestimmte Bedingungen erfüllt sind.

Hierzu gehört die Weiterführung der in der Google-Richtlinie zur verbotenen Nutzung beschriebenen Nutzungsbeschränkungen, die Bereitstellung der Nutzungsbedingungen für nachgelagerte Empfänger und die klare Kennzeichnung aller vorgenommenen Änderungen. Die Verteilung kann direkt oder über gehostete Dienste wie APIs oder Web-Apps erfolgen.

Für Unternehmensteams und kommerzielle Entwickler bedeutet dies, dass das Modell in Produkte eingebettet, als Teil von Cloud-Diensten eingesetzt oder in spezialisierte Derivate integriert werden kann, sofern die Lizenzbedingungen eingehalten werden. Google erhebt keinen Anspruch auf die vom Modell generierten Ergebnisse, sodass Unternehmen die vollen Rechte an den von ihnen erstellten Inhalten haben.

Allerdings liegt es in der Verantwortung der Entwickler, die Einhaltung der geltenden Gesetze sicherzustellen und verbotene Verwendungen, wie etwa die Erstellung schädlicher Inhalte oder die Verletzung von Datenschutzbestimmungen, zu vermeiden.

Die Lizenz ist nicht Open Source im herkömmlichen Sinne, ermöglicht aber eine breite kommerzielle Nutzung ohne eine separate kostenpflichtige Lizenz.

Für Unternehmen, die kommerzielle KI-Anwendungen entwickeln, bestehen die wichtigsten betrieblichen Überlegungen darin, sicherzustellen, dass die Endbenutzer an gleichwertige Beschränkungen gebunden sind, Modelländerungen zu dokumentieren und Sicherheitsmaßnahmen zu implementieren, die mit der Richtlinie zu verbotenen Verwendungen übereinstimmen.

Da Gemmaverse bereits über 200 Millionen Mal heruntergeladen wurde und die Gemma-Produktpalette sowohl für die Cloud als auch für Desktop und Mobilgeräte optimierte Varianten umfasst, positionieren die Google AI Developers Gemma 3 270M als Grundlage für die Entwicklung schneller, kostengünstiger und datenschutzorientierter KI-Lösungen, und es scheint bereits ein großartiger Start hinzulegen.