Der ehemalige Google-Ingenieur und einflussreiche KI-Forscher François Chollet ist Mitbegründer einer gemeinnützigen Organisation, die bei der Entwicklung von Benchmarks helfen soll, die KI auf „menschliche“ Intelligenz untersuchen.
Die gemeinnützige ARC Prize Foundation wird von Greg Kamradt geleitet, einem ehemaligen technischen Direktor von Salesforce und Gründer des KI-Produktstudios Leverage. Kamradt wird Präsident und Vorstandsmitglied sein.
Die Spendensammlung für die ARC Prize Foundation wird später im Januar beginnen.
„[W]„Wir entwickeln uns … zu einer echten gemeinnützigen Stiftung, die als nützlicher Nordstern für künstliche allgemeine Intelligenz fungiert“, so Chollet schrieb in einem Beitrag auf der Website der gemeinnützigen Organisation. (Künstliche allgemeine Intelligenz ist ein unklarer Begriff, wird aber allgemein als KI verstanden, die die meisten Aufgaben ausführen kann, die Menschen erledigen können.) „[W]Wir versuchen, durch Förderung zum Fortschritt anzuregen [the gap] in den grundlegenden menschlichen Fähigkeiten.“
Die ARC Prize Foundation wird ARC-AGI erweitern, einen von Chollet entwickelten Test, um zu bewerten, ob ein KI-System effizient neue Fähigkeiten außerhalb der Daten erwerben kann, auf denen es trainiert wurde. Es besteht aus rätselartigen Aufgaben, bei denen eine KI aus einer Ansammlung verschiedenfarbiger Quadrate das richtige „Antwort“-Raster generieren muss. Die Probleme sollten eine KI dazu zwingen, sich an neue Probleme anzupassen, die sie zuvor noch nicht gesehen hat.
Chollet führte 2019 ARC-AGI ein, kurz für „Abstract and Reasoning Corpus for Artificial General Intelligence“. Viele KI-Systeme können Prüfungen bei der Mathematikolympiade bestehen und mögliche Lösungen für Probleme auf Doktorandenniveau finden. Doch bis zu diesem Jahr konnte die leistungsstärkste KI nur knapp ein Drittel der Aufgaben in ARC-AGI lösen.
„Im Gegensatz zu den meisten Grenz-KI-Benchmarks versuchen wir nicht, das KI-Risiko mit übermenschlichen Prüfungsfragen zu messen“, schrieb Chollet in dem Beitrag. „Zukünftige Versionen des ARC-AGI-Benchmarks werden sich auf das Schrumpfen konzentrieren [the human capability] Lücke in Richtung Null.“
Im vergangenen Juni startete Mike Knoop, Mitbegründer von Chollet und Zapier, eine Wettbewerb eine KI aufzubauen, die in der Lage ist, ARC-AGI zu übertreffen. Das unveröffentlichte o3-Modell von OpenAI war das erste, das eine Qualifikationspunktzahl erreichte – allerdings nur mit außergewöhnlich viel Rechenleistung.
Chollet hat deutlich gemacht, dass ARC-AGI Mängel aufweist – viele Modelle konnten sich mit brutaler Gewalt hohe Punktzahlen erkämpfen – und dass er nicht glaubt, dass o3 über Intelligenz auf menschlichem Niveau verfügt.
„[E]Frühe Datenpunkte deuten darauf hin, dass die bevorstehende [successor to the ARC-AGI] Der Benchmark wird immer noch eine erhebliche Herausforderung für o3 darstellen und möglicherweise seine Punktzahl selbst bei hoher Rechenleistung auf unter 30 % reduzieren (während ein kluger Mensch ohne Training immer noch über 95 % erreichen könnte)“, sagte Chollet in einer Erklärung im vergangenen Dezember. „Sie werden wissen, dass künstliche allgemeine Intelligenz da ist, wenn die Aufgabe, Aufgaben zu erstellen, die für normale Menschen einfach, für KI aber schwierig sind, schlichtweg unmöglich wird.“
Knoop sagt dass geplant ist, „im ersten Quartal“ neben einem neuen Wettbewerb einen ARC-AGI-Benchmark der zweiten Generation auf den Markt zu bringen. Die gemeinnützige Organisation wird sich auch mit der Gestaltung der dritten Ausgabe von ARC-AGI befassen.
Es bleibt abzuwarten, wie die ARC Prize Foundation damit umgeht Kritik Chollet sah sich damit konfrontiert, dass ARC-AGI als Maßstab für das Erreichen von AGI überbewertet wurde. Die eigentliche Definition von AGI ist derzeit heftig umstritten; ein OpenAI-Mitarbeiter kürzlich behauptet dass AGI „bereits“ erreicht wurde, wenn man AGI als KI definiert, die „bei den meisten Aufgaben besser ist als die meisten Menschen“.
Interessanterweise sagte OpenAI-CEO Sam Altman im Dezember, dass das Unternehmen beabsichtige, mit dem ARC-AGI-Team zusammenzuarbeiten, um zukünftige Benchmarks zu entwickeln. Chollet gab in der heutigen Ankündigung keine aktuellen Informationen zu möglichen Partnerschaften.
In einer Reihe von Beiträge Bei
Tech hat einen KI-fokussierten Newsletter! Melden Sie sich hier an, um es jeden Mittwoch in Ihrem Posteingang zu erhalten.