Während Ein neuer Auftritt in PresseSam Altman, CEO von OpenAI, sagte, er habe beobachtet, dass sich der „IQ“ der KI in den letzten Jahren rasch verbessert.
„Sehr ungefähr fühlt es sich für mich an – das ist nicht wissenschaftlich korrekt, dies ist nur eine Stimmung oder eine spirituelle Antwort – jedes Jahr bewegen wir eine Standardabweichung von IQ“, sagte Altman.
Altman ist nicht der erste, der IQ, eine Schätzung der Intelligenz einer Person, als Benchmark für KI -Fortschritte verwendet. AI -Influencer In den sozialen Medien haben Modelle IQ -Tests gegeben und die Ergebnisse eingestuft.
Aber viele Experten sagen, dass IQ ein schlechtes Maß für die Fähigkeiten eines Modells ist – und eine irreführende.
„Es kann sehr verlockend sein, die gleichen Maßnahmen zu verwenden, die wir für den Menschen verwenden, um Fähigkeiten oder Fortschritte zu beschreiben, aber dies ist wie der Vergleich von Äpfeln mit Orangen“, sagte Sandra Wachter, ein Forscher, der Tech und Regulierung bei Oxford studiert, gegenüber Tech.
In seinen Kommentaren im Presser setzte Altman IQ mit Intelligenz gleich. IQ -Tests sind jedoch relativ – nicht objektiv – Maßnahmen von bestimmt Arten von Intelligenz. Es gibt manche Konsens dass IQ ein vernünftiger Test der Logik- und abstrakten Argumentation ist. Aber es misst nicht praktisch Intelligenz – Wissen, wie man Dinge zum Laufen bringt – und es ist bestenfalls ein Schnappschuss.
„IQ ist ein Instrument zur Messung der menschlichen Fähigkeiten – ein umstrittenes nicht weniger – basierend darauf, wie Wissenschaftler glauben, dass die menschliche Intelligenz aussieht“, bemerkte Wachter. „Sie können jedoch nicht dasselbe Maß verwenden, um die KI -Funktionen zu beschreiben. Ein Auto ist schneller als Menschen, und ein U -Boot ist besser im Tauchen. Dies bedeutet jedoch nicht, dass Autos oder U -Boote die menschliche Intelligenz übertreffen. Sie haben einen Aspekt der Leistung mit menschlicher Intelligenz, was viel komplexer ist. “
Bei einem IQ -Test zu übertreffen, deren Ursprünge deren Ursprünge Einige Historiker Spuren Sie zurück auf die Eugenik, die weithin diskreditierte wissenschaftliche Theorie, dass Menschen durch selektive Zucht verbessert werden können, muss ein Testteilnehmer eine haben Starkes Arbeitsgedächtnis und Kenntnis der westlichen kulturellen Normen. Dies lädt natürlich die Möglichkeit zur Voreingenommenheit ein, weshalb Ein Psychologe hat IQ -Tests angerufen „Ideologisch verderbbare mechanische Modelle der Intelligenz.
Laut OS Keyes, einem Doktorandenkandidaten an der Universität Washington, die die ethische KI studiert, kann ein Modell mehr über die Fehler des Tests gut abschneiden als die Leistung des Modells.
“[These] Tests sind ziemlich einfach zu spielen, wenn Sie praktisch unendlich viel Gedächtnis und Geduld haben “, sagte Keyes. „IQ -Tests sind eine sehr begrenzte Möglichkeit, Kognition, Empfindlichkeit und Intelligenz zu messen, was wir seit der Erfindung des digitalen Computers selbst kennen.“
KI hat wahrscheinlich auch einen unfairen Vorteil bei IQ -Tests, wenn man bedenkt, dass Modelle ein massives Gedächtnis und internalisierte Wissen zur Verfügung haben. Oft werden Modelle in öffentlichen Webdaten geschult, und das Web ist voller Beispielfragen aus IQ -Tests.
„Tests wiederholen sehr ähnliche Muster – eine ziemlich narrensichere Möglichkeit, Ihren IQ zu erhöhen [model] hat es getan “, sagte Mike Cook, ein Research Fellow am King’s College London, der sich auf KI spezialisiert hat. „Wenn ich etwas lerne, lasse ich es 1 Million Mal nicht mit perfekter Klarheit in mein Gehirn leiten, im Gegensatz zu KI, und ich kann es auch nicht ohne Rauschen oder Signalverlust verarbeiten.“
Letztendlich wurden IQ-Tests-voreingenommen, wie sie sind-für Menschen konzipiert, fügte Cook hinzu-als eine Möglichkeit, allgemeine Fähigkeiten zur Problemlösung zu bewerten. Sie sind unangemessen für eine Technologie, die sich nähert, um Probleme auf ganz andere Weise zu lösen als die Menschen.
„Eine Krähe kann ein Tool verwenden, um einen Leckerbissen aus einer Box wiederherzustellen, aber das bedeutet nicht, dass es sich bei Harvard anmelden kann“, sagte Cook. „Wenn ich ein Mathematikproblem löste, kämpft mein Gehirn auch mit seiner Fähigkeit, die Wörter auf der Seite richtig zu lesen, nicht über die Einkäufe nachzudenken, die ich auf dem Heimweg durchführen muss, oder wenn es gerade im Raum zu kalt ist . Mit anderen Worten, menschliche Gehirne kämpfen mit viel mehr Dingen, wenn sie ein Problem lösen – überhaupt ein Problem, IQ -Tests oder andere – und sie tun es mit viel weniger Hilfe [than AI.]”
All dies weist auf die Notwendigkeit besserer KI -Tests hin, sagte Heidy Khlaaf, Chef -AI -Wissenschaftler am AI Now Institute, gegenüber Tech.
„In der Geschichte der Berechnung haben wir die Rechenfähigkeiten nicht mit der des Menschen verglichen, genau weil die Art der Berechnung bedeutet, dass Systeme immer in der Lage waren, Aufgaben bereits über die menschlichen Fähigkeiten hinaus zu erledigen“, sagte Khlaaf. „Diese Idee, dass wir die Leistung von Systemen direkt mit menschlichen Fähigkeiten vergleichen, ist ein aktuelles Phänomen, das stark umstritten ist und die Kontroversen der immer erweiterten-und bewegenden-Benchmarks, die zur Bewertung von KI-Systemen geschaffen werden, umgibt.“