Knapp eine Woche nach der Einführung der neuesten Version seiner Gemini-Modelle kündigte Google heute die Einführung von Gemma an, einer neuen Familie leichter, offener Modelle. Beginnen mit Gemma 2B und Gemma 7BDiese neuen Modelle wurden „von Gemini inspiriert“ und stehen für kommerzielle und Forschungszwecke zur Verfügung.
Google hat uns kein detailliertes Dokument zur Leistung dieser Modelle im Vergleich zu ähnlichen Modellen beispielsweise von Meta und Mistral vorgelegt und lediglich darauf hingewiesen, dass sie „auf dem neuesten Stand der Technik“ sind. Das Unternehmen stellte jedoch fest, dass es sich hierbei um reine Decoder-Modelle mit hoher Dichte handelt. Dabei handelt es sich um die gleiche Architektur, die es auch für seine Gemini-Modelle (und seine) verwendet hat frühere PaLM-Modelle) und dass wir die Benchmarks später heute sehen werden Hugging Faces Bestenliste.
Um mit Gemma zu beginnen, können Entwickler Zugriff auf gebrauchsfertige Colab- und Kaggle-Notizbücher sowie Integrationen mit Hugging Face, MaxText und Nvidias NeMo erhalten. Sobald diese Modelle vorab trainiert und abgestimmt sind, können sie überall eingesetzt werden.
Während Google betont, dass es sich um offene Modelle handelt, ist es erwähnenswert, dass es sich nicht um Open-Source-Modelle handelt. Tatsächlich betonte Janine Banks von Google in einer Pressekonferenz vor der heutigen Ankündigung das Engagement des Unternehmens für Open Source, wies aber auch darauf hin, dass Google sehr bewusst auf die Gemma-Modelle Bezug nimmt.
„[Open models] ist mittlerweile in der Branche weit verbreitet“, sagte Banks. „Und es bezieht sich oft auf Modelle mit offenen Gewichten, bei denen es für Entwickler und Forscher einen breiten Zugang zur Anpassung und Feinabstimmung von Modellen gibt, aber gleichzeitig auch die Nutzungsbedingungen – Dinge wie die Umverteilung sowie das Eigentum an diesen Varianten.“ werden entwickelt – variieren je nach den spezifischen Nutzungsbedingungen des Modells. Daher sehen wir einen gewissen Unterschied zwischen dem, was wir traditionell als Open Source bezeichnen würden, und entschieden, dass es am sinnvollsten ist, unsere Gemma-Modelle als offene Modelle zu bezeichnen.“
Das bedeutet, dass Entwickler das Modell für Inferenzen verwenden und es nach Belieben verfeinern können, und Googles Team argumentiert, dass diese Modellgrößen zwar für viele Anwendungsfälle gut geeignet sind.
„Die Generierungsqualität ist im letzten Jahr erheblich gestiegen“, sagte Tris Warkentin, Produktmanagementdirektor von Google DeepMind. „Dinge, die früher nur extrem großen Modellen vorbehalten waren, sind jetzt mit modernen kleineren Modellen möglich.“ Dies eröffnet völlig neue Möglichkeiten zur Entwicklung von KI-Anwendungen, von denen wir sehr begeistert sind, einschließlich der Möglichkeit, Inferenzen auszuführen und Optimierungen auf Ihrem lokalen Entwickler-Desktop oder -Laptop mit Ihrer RTX-GPU oder auch auf einem einzelnen Host in GCP mit Cloud-TPUs durchzuführen .“
Das gilt auch für die offenen Modelle der Google-Konkurrenten in diesem Bereich, wir müssen also sehen, wie sich die Gemma-Modelle in realen Szenarien schlagen.
Zusätzlich zu den neuen Modellen veröffentlicht Google auch ein neues Toolkit für verantwortungsvolle generative KI, das „Anleitungen und wesentliche Tools für die Erstellung sichererer KI-Anwendungen mit Gemma“ bereitstellt, sowie ein Debugging-Tool.