Japanisches KI -Startup Sakana Sagte, dass seine KI eine der ersten von Experten begutachteten wissenschaftlichen Veröffentlichungen erzeugt. Obwohl die Behauptung nicht unbedingt falsch ist, müssen Vorbehalte beachtet werden.
Die Debatte, die sich um die KI und ihre Rolle im wissenschaftlichen Prozess wächst, wird von Tag zu Tag heftiger. Viele Forscher glauben nicht, dass AI ziemlich bereit ist, als „Co-Wissenschaftler“ zu dienen, während andere glauben, dass es Potenzial gibt-aber erkennen an, dass es an den frühen Tagen ist.
Sakana fällt in das letztere Lager.
Das Unternehmen sagte, dass es ein KI-System namens AI Scientist-V2 verwendete, um ein Papier zu generieren, das Sakana dann einem Workshop bei ICLR, einer langjährigen und renommierten KI-Konferenz, unterzogen hat. Sakana behauptet, dass die Organisatoren des Workshops sowie die Führung von ICLR zugestimmt hätten, mit dem Unternehmen zusammenzuarbeiten, um ein Experiment zur doppelblinden Überprüfung von AI-generierten Manuskripten durchzuführen.
Sakana sagte, es arbeite mit Forschern der University of British Columbia und der University of Oxford zusammen, um drei A-generierte Papiere an den oben genannten Workshop zur Überprüfung von Peer einzureichen. Der AI-Wissenschaftler-V2 generierte die Artikel „End-to-End“, wie Sakana, einschließlich der wissenschaftlichen Hypothesen, Experimente und experimentellen Code, Datenanalysen, Visualisierungen, Text und Titel.
„Wir haben Forschungsideen generiert, indem wir der KI den Workshop -Zusammenfassung und Beschreibung zur Verfügung gestellt haben“, sagte Robert Lange, Forschungswissenschaftler und Gründungsmitglied bei Sakana, gegenüber Tech per E -Mail. „Dies stellte sicher, dass die generierten Papiere zu Themen und geeigneten Einreichungen standen.“
Ein Papier der drei wurde in den ICLR -Workshop aufgenommen – ein Papier, das eine kritische Linse für Trainingstechniken für KI -Modelle wirft. Sakana sagte, es zog das Papier sofort zurück, bevor es im Interesse der Transparenz und des Respekts für ICLR -Konventionen veröffentlicht werden könnte.
„Das akzeptierte Papier führt beide eine neue, vielversprechende Methode zur Schulung neuronaler Netzwerke und zeigt, dass es verbleibende empirische Herausforderungen gibt“, sagte Lange. „Es liefert einen interessanten Datenpunkt, um weitere wissenschaftliche Untersuchungen auszulösen.“
Aber die Leistung ist nicht so beeindruckend, wie es auf den ersten Blick erscheinen mag.
Im Blog -Beitrag gibt Sakana zu, dass seine KI gelegentlich „peinliche“ Zitierfehler gemacht hat, z.
Sakanas Papier wurde ebenfalls nicht so viel überprüft wie einige andere von Experten begutachtete Veröffentlichungen. Da das Unternehmen es nach der ersten Peer-Bewertung zurückgezogen hat, erhielt das Papier keine zusätzliche „Meta-Review“, in der die Workshop-Organisatoren es theoretisch hätte abgelehnt haben können.
Dann gibt es die Tatsache, dass die Akzeptanzquoten für Konferenzworkshops tendenziell höher sind als die Akzeptanzraten für die Hauptstraße der Konferenz – eine Tatsache, dass Sakana in seinem Blog -Beitrag offen erwähnt. Das Unternehmen sagte, dass keines seiner AI-generierten Studien seine interne Bar für die Veröffentlichung der ICLR Conference Track verabschiedet haben.
Matthew Guzdial, AI -Forscher und Assistenzprofessor an der Universität von Alberta, bezeichnete Sakanas Ergebnisse als „ein bisschen irreführend“.
„Die Sakana -Leute haben die Papiere aus einer Reihe von generierten ausgewählt, was bedeutet, dass sie das menschliche Urteilsvermögen in Bezug auf die Auswahl der Ausgaben verwendeten, von denen sie dachten, sie könnten einsteigen“, sagte er per E -Mail. „Ich denke, das zeigt, dass Menschen plus KI effektiv sein können, nicht, dass KI allein wissenschaftliche Fortschritte erzielen kann.“
Mike Cook, ein auf AI spezialisierter Research am King’s College London, stellte die Strenge der Peer -Rezensenten und der Workshop in Frage.
„Neue Workshops wie diese werden oft von mehr Junior -Forschern überprüft“, sagte er gegenüber Tech. „Es ist auch erwähnenswert, dass es in diesem Workshop um negative Ergebnisse und Schwierigkeiten geht – was großartig ist. Ich habe schon einmal einen ähnlichen Workshop geführt -, aber es ist wohl einfacher, eine KI dazu zu bringen, über einen überzeugenden Fehler zu schreiben.“
Cook fügte hinzu, dass er nicht überrascht war, dass eine KI die Peer-Bewertung bestehen kann, wenn man bedenkt, dass KI sich beim Schreiben von Prosa mit Menschen klingend auszeichnet. Teilweise AI-generiert Papiere Passing Journal Review ist nicht einmal neu, betonte Cook auch nicht die ethischen Dilemmata, die dies für die Wissenschaften ausgibt.
Die technischen Mängel von AI – wie die Tendenz, Halluzination – viele Wissenschaftler vorsichtig zu machen, es für ernsthafte Arbeiten zu unterstützen. Darüber hinaus befürchten Experten, KI könnte es einfach könnten am Ende Geräusche erzeugen In der wissenschaftlichen Literatur nicht den Fortschritt erhöhen.
„Wir müssen uns fragen, ob [Sakana’s] Das Ergebnis geht darum, wie gut KI beim Entwerfen und Durchführen von Experimenten ist oder ob es darum geht, wie gut es darin besteht, Ideen an Menschen zu verkaufen – von denen wir wissen, dass AI bereits großartig ist “, sagte Cook. „Es gibt einen Unterschied zwischen der Überprüfung der Peer -Überprüfung und dem beitragenden Wissen in ein Feld.“
Sakana macht zu seiner Ehre keine Behauptung, dass seine KI bahnbrechende – oder sogar besonders neuartige – wissenschaftliche Arbeit hervorbringen kann. Das Ziel des Experiments war es vielmehr, „die Qualität der Forschung zu untersuchen“, sagte das Unternehmen, um den dringenden Bedarf an „Normen in Bezug auf die Wissenschaft der A-Generierten“ hervorzuheben.
“[T]Hier sind schwierige Fragen darüber, ob [AI-generated] Die Wissenschaft sollte zuerst nach eigenen Vorzügen beurteilt werden, um eine Voreingenommenheit dagegen zu vermeiden “, schrieb das Unternehmen. „In Zukunft werden wir weiterhin Meinungen mit der Forschungsgemeinschaft in den Stand dieser Technologie austauschen, um sicherzustellen, dass sie sich in Zukunft nicht zu einer Situation entwickelt, in der sein einziger Zweck darin besteht, die Peer -Review zu bestehen, wodurch die Bedeutung des wissenschaftlichen Peer -Review -Prozesses erheblich untergräbt.“