Technologieunternehmen wie Google, OpenAIFacebook-Elternteil Meta, Anthropic und andere verwenden unterschiedliche Datentypen, um ihre KI-Modelle zu trainieren. Aber für Metas Chef-KI-Wissenschaftler Yann LeCunes reicht nicht aus KI-Modelle mit Tieren zu vergleichen, geschweige denn mit Menschen.
„Tiere und Menschen werden mit wesentlich geringeren Mengen an Trainingsdaten sehr schnell sehr schlau als aktuelle KI-Systeme. Aktuelle LLMs werden auf Text trainiert, für dessen Lektüre ein Mensch 20.000 Jahre brauchen würde“, sagte LeCun in einem Beitrag auf Threads.
Er sagte, dass KI-Modelle, obwohl sie mit einer so großen Datenmenge trainiert wurden, immer noch nicht gelernt haben, dass, wenn A dasselbe ist wie B, dann B dasselbe ist wie A.
„Menschen werden mit vergleichsweise wenigen Trainingsdaten viel schlauer. Sogar Rabenvögel, Papageien, Hunde und Kraken werden mit nur 2 Milliarden Neuronen und ein paar Billionen „Parametern“ sehr, sehr schnell schlauer.
Im Vergleich dazu soll GPT-4 1,7 Billionen Parameter haben, während PaLM 2 Berichten zufolge 340 Milliarden Parameter haben soll Lama Gründungsmodell von Metaplattformen hat Parameter im Bereich von 7 Milliarden bis 65 Milliarden. Parameter sind die Art von Knöpfen in einem Modell, die für die verschiedenen Wahrscheinlichkeiten verantwortlich sind, die es erzeugen kann.
Wie können KI-Systeme wie Menschen lernen?
LeCun sagte, dass aktuelle Ansätze zur Verwendung von Daten zum Trainieren von KI-Modellen Einschränkungen aufweisen. Er sagte, dass neue Architekturen es KI-Modellen ermöglichen könnten, genauso effizient zu lernen wie Tiere und Menschen.
„Mein Geld fließt in neue Architekturen, die genauso effizient lernen wie Tiere und Menschen“, sagte er.
„Die Verwendung von mehr Textdaten (synthetisch oder nicht) ist eine vorübergehende Notlösung, die aufgrund der Einschränkungen unserer aktuellen Ansätze erforderlich ist. Die Rettung liegt in der Nutzung sensorischer Daten, z. B. Videos, die eine höhere Bandbreite und eine stärkere interne Struktur haben“, fügte er hinzu.
„Tiere und Menschen werden mit wesentlich geringeren Mengen an Trainingsdaten sehr schnell sehr schlau als aktuelle KI-Systeme. Aktuelle LLMs werden auf Text trainiert, für dessen Lektüre ein Mensch 20.000 Jahre brauchen würde“, sagte LeCun in einem Beitrag auf Threads.
Er sagte, dass KI-Modelle, obwohl sie mit einer so großen Datenmenge trainiert wurden, immer noch nicht gelernt haben, dass, wenn A dasselbe ist wie B, dann B dasselbe ist wie A.
„Menschen werden mit vergleichsweise wenigen Trainingsdaten viel schlauer. Sogar Rabenvögel, Papageien, Hunde und Kraken werden mit nur 2 Milliarden Neuronen und ein paar Billionen „Parametern“ sehr, sehr schnell schlauer.
Im Vergleich dazu soll GPT-4 1,7 Billionen Parameter haben, während PaLM 2 Berichten zufolge 340 Milliarden Parameter haben soll Lama Gründungsmodell von Metaplattformen hat Parameter im Bereich von 7 Milliarden bis 65 Milliarden. Parameter sind die Art von Knöpfen in einem Modell, die für die verschiedenen Wahrscheinlichkeiten verantwortlich sind, die es erzeugen kann.
Wie können KI-Systeme wie Menschen lernen?
LeCun sagte, dass aktuelle Ansätze zur Verwendung von Daten zum Trainieren von KI-Modellen Einschränkungen aufweisen. Er sagte, dass neue Architekturen es KI-Modellen ermöglichen könnten, genauso effizient zu lernen wie Tiere und Menschen.
„Mein Geld fließt in neue Architekturen, die genauso effizient lernen wie Tiere und Menschen“, sagte er.
„Die Verwendung von mehr Textdaten (synthetisch oder nicht) ist eine vorübergehende Notlösung, die aufgrund der Einschränkungen unserer aktuellen Ansätze erforderlich ist. Die Rettung liegt in der Nutzung sensorischer Daten, z. B. Videos, die eine höhere Bandbreite und eine stärkere interne Struktur haben“, fügte er hinzu.