Das erste Gemini 1.5-Modell, das Google für frühe Tests freigibt, ist Gemini 1.5 Pro – ein mittelgroßes multimodales Modell, das eine Vielzahl von Aufgaben ausführen kann und eine Leistung auf einem ähnlichen Niveau wie Gemini 1.0 Ultra bietet – Googles bisher größtes Modell .
Unterschied zwischen Gemini 1.0 Pro und Gemini 1.5 Pro
Google weist darauf hin, dass das neueste Modell mehr Kontext bietet und über hilfreichere Funktionen verfügt. Laut Demis Hassabis, CEO von Google DeepMind, führt es „eine bahnbrechende experimentelle Funktion zum Verständnis langer Kontexte ein.“
Er sagte, dass Gemini 1.5 effizienter zu trainieren und zu dienen sei. Während Gemini 1.0 Pro über ein Kontextfenster für 32.000 Token verfügt, verfügt Gemini 1.5 Pro standardmäßig über ein Kontextfenster für 128.000 Token. Eine begrenzte Gruppe von Entwicklern und Unternehmenskunden kann es jedoch mit einem Kontextfenster von bis zu 1 Million Token ausprobieren.
„Das bedeutet, dass 1.5 Pro riesige Informationsmengen auf einmal verarbeiten kann – darunter 1 Stunde Video, 11 Stunden Audio, Codebasen mit über 30.000 Codezeilen oder über 700.000 Wörtern.“ In unserer Forschung haben wir auch bis zu 10 Millionen Token erfolgreich getestet“, sagte Hassabis.
Token sind die grundlegenden Text- oder Codeeinheiten, die ein großes Sprachmodell zum Verarbeiten und Generieren von Sprache verwendet. Token können Zeichen, Wörter, Unterwörter oder andere Text- oder Codesegmente sein.
Im Vergleich dazu verfügt GPT-4 Turbo über ein Kontextfenster mit 128.000 Token und Claude 2.1 über ein Kontextfenster mit 200.000 Token.
CEO von Google und Alphabet Sundar Pichai hat auf X (ehemals Twitter) ein Video geteilt, das ein Beispiel für die Fähigkeiten von Gemini 1.5 Pro mit langem Kontext zeigt.
Eine Notiz von Sundar Pichai, CEO von Google und Alphabet
Letzte Woche haben wir unser leistungsfähigstes Modell, Gemini 1.0 Ultra, auf den Markt gebracht und einen bedeutenden Schritt nach vorne gemacht, um Google-Produkte hilfreicher zu machen, beginnend mit Gemini Advanced. Heute können Entwickler und Cloud-Kunden auch mit der Entwicklung mit 1.0 Ultra beginnen – mit unserer Gemini-API in AI Studio und in Vertex AI.
Unsere Teams erweitern weiterhin die Grenzen unserer neuesten Modelle, wobei die Sicherheit im Mittelpunkt steht. Sie machen schnelle Fortschritte. Tatsächlich sind wir bereit, die nächste Generation vorzustellen: Gemini 1.5. Es zeigt dramatische Verbesserungen in einer Reihe von Dimensionen und 1.5 Pro erreicht eine vergleichbare Qualität wie 1.0 Ultra, verbraucht aber weniger Rechenleistung.
Diese neue Generation liefert auch einen Durchbruch beim Verständnis langer Kontexte. Wir konnten die Menge an Informationen, die unsere Modelle verarbeiten können, erheblich steigern – indem wir bis zu 1 Million Token konsistent ausführen und so das längste Kontextfenster aller bisherigen groß angelegten Fundamentmodelle erreichen.
Längere Kontextfenster zeigen uns das Versprechen dessen, was möglich ist. Sie werden völlig neue Funktionen ermöglichen und Entwicklern helfen, viel nützlichere Modelle und Anwendungen zu erstellen. Wir freuen uns, Entwicklern und Unternehmenskunden eine begrenzte Vorschau dieser experimentellen Funktion anbieten zu können. Demis berichtet weiter unten über Fähigkeiten, Sicherheit und Verfügbarkeit.
— Sundar