Meta arbeitet an KI, die Sprache und Text so effizient verarbeitet wie Menschen

„Wir werden die Erkenntnisse aus dieser Arbeit nutzen, um die Entwicklung einer KI zu steuern, die Sprache und Text so effizient wie Menschen verarbeitet“, sagte das soziale Netzwerk in einer Erklärung.In den letzten zwei Jahren hat Meta Deep-Learning-Techniken auf öffentliche Neuroimaging-Datensätze angewendet, um zu analysieren, wie das Gehirn Wörter und Sätze verarbeitet.Kinder lernen anhand einiger Beispiele, dass „Orange“ sowohl eine Frucht als auch eine Farbe bezeichnen kann, aber moderne KI-Systeme können dies nicht so effizient wie Menschen.Die Metaforschung hat herausgefunden, dass Sprachmodelle, die der Gehirnaktivität am ähnlichsten sind, diejenigen sind, die das nächste Wort aus dem Kontext am besten vorhersagen (wie es war einmal … Zeit).„Während das Gehirn Wörter und Ideen weit im Voraus antizipiert, sind die meisten Sprachmodelle darauf trainiert, nur das allernächste Wort vorherzusagen“, so das Unternehmen.Die Freischaltung dieser langfristigen Vorhersagefunktion könnte zur Verbesserung moderner KI-Sprachmodelle beitragen.Meta enthüllte kürzlich Beweise für langfristige Vorhersagen im Gehirn, eine Fähigkeit, die die heutigen Sprachmodelle immer noch herausfordert.Für den Ausdruck „Es war einmal …“ würden die meisten Sprachmodelle heute normalerweise das nächste Wort „Zeit“ vorhersagen, aber sie sind immer noch in ihrer Fähigkeit, komplexe Ideen, Handlungen und Erzählungen zu antizipieren, wie es Menschen tun.In Zusammenarbeit mit Inria verglich das Meta-Forschungsteam eine Vielzahl von Sprachmodellen mit den Gehirnreaktionen von 345 Freiwilligen, die komplexe Erzählungen hörten, während sie mit fMRI aufgezeichnet wurden.„Unsere Ergebnisse zeigten, dass bestimmte Gehirnregionen in Zukunft am besten durch Sprachmodelle erklärt werden können, die mit weit entfernten Wörtern erweitert wurden“, sagte das Team.