Token sind Wortketten und wichtige Bausteine für das Training von LLMs. Sie bringen dem Modell bei, das nächste Wort vorherzusagen, das in einer Sequenz erscheinen wird.
Die PaLM 2-Funktionen von Google
Google gab bekannt, dass das Sprachmodell PaLM 2 die Mehrsprachigkeits-, Argumentations- und Codierungsfunktionen verbessert hat. Laut Google ist das Modell in 100 Sprachen trainiert und führt ein breites Aufgabenspektrum aus.Das Training in so vielen Sprachen hat seine Fähigkeit, nuancierte Texte – einschließlich Redewendungen, Gedichte und Rätsel – in einer Vielzahl von Sprachen zu verstehen, zu generieren und zu übersetzen, erheblich verbessert, ein schwer zu lösendes Problem. Google behauptete, dass PaLM 2 auch fortgeschrittene Sprachprüfungen auf der „Mastery“-Ebene besteht. PaLM 2 wird auch an einem Datensatz trainiert, der wissenschaftliche Arbeiten und Webseiten enthält, die mathematische Ausdrücke enthalten.
PaLM 2-Technik
Auf der Google I/O-Konferenz sagte Google, dass PaLM 2 eine „neue Technik“ namens „rechenoptimale Skalierung“ verwendet, die das LLM „effizienter mit insgesamt besserer Leistung, einschließlich schnellerer Inferenz, weniger zu bedienenden Parametern und einer niedrigeren“ macht Servierkosten.“PaLM 2 ist in vier Größen erhältlich, von der kleinsten bis zur größten: Gecko, Otter, Bison und Einhorn.Das LLM unterstützt über 25 neue Produkte und Funktionen. Das KI-Modell wird in Workspace-Apps, Med-PaLM für medizinische Zwecke und Sec-PaLM für Sicherheit verfügbar sein.
Ende des Artikels