Es gibt eine Kontroverse, die sich über „Ai-Generated“ -Studien braut, die dem diesjährigen ICLR eingereicht wurden, einer langjährigen akademischen Konferenz, die sich auf KI konzentriert.
Mindestens drei AI Labs – SakanaAnwesend IntologieUnd Autoscience – Behauptet, AI zu verwenden, um Studien zu generieren, die an ICLR -Workshops akzeptiert wurden. Auf Konferenzen wie ICLR überprüfen die Workshop -Organisatoren in der Regel Studien zur Veröffentlichung auf dem Workshop -Track der Konferenz.
Sakana informierte die ICLR-Führer, bevor es seine A-generierten Papiere einreichte, und erhielt die Zustimmung der Peer-Gutachter. Die anderen beiden Labors – Intologie und Autoscience – bestätigten nicht, dass ein ICLR -Sprecher Tech bestätigte.
Mehrere KI-Akademiker gingen in soziale Medien, um Intologie und Autoscience-Stunts als Kooptieren des wissenschaftlichen Peer Review-Prozesses zu kritisieren.
„Alle diese KI-Wissenschaftlerpapiere verwenden von Experten begutachtete Veranstaltungsorte als menschliche Evale, aber niemand stimmte der Bereitstellung dieser kostenlosen Arbeit zu“ ein x post. „Es lässt mich den Respekt vor allen Beteiligten verlieren, unabhängig davon, wie beeindruckend das System ist. Bitte geben Sie dies den Redakteuren an.“
Wie die Kritiker feststellten, ist Peer Review eine zeitaufwändige, arbeitsintensive und meist freiwillige Tortur. Nach einer jüngsten Naturumfrage40% der Akademiker verbringen zwei bis vier Stunden damit, eine einzige Studie zu überprüfen. Diese Arbeit ist eskaliert. Die Zahl der Papiere, die der größten KI -Konferenz, Neurips, eingereicht wurden, stieg im vergangenen Jahr auf 17.491 und stieg von 12.345 im Jahr 2023 um 41%.
Die Akademie hatte bereits ein Kopieproblem von AI-generiert. Eine Analyse gefunden Das enthielt zwischen 6,5% und 16,9% der Papiere, die im Jahr 2023 AI -Konferenzen unterzogen wurden, wahrscheinlich synthetischen Text. KI -Unternehmen, die Peer Review nutzen, um ihre Technologie effektiv zu bewerten und ihre Technologie zu bewerben, ist ein relativ neues Ereignis.
“[Intology’s] Papiere erhielten einstimmig positive Kritiken “, schrieb Intology in a Post auf x seine ICLR -Ergebnisse anprallen. In derselben Stelle behauptete das Unternehmen, dass Workshop-Gutachter eine der „cleveren Idee der AI-generierten Studie“ lobten[s]. ““
Akademiker sahen nicht freundlich darüber nach.
Ashwinee Panda, Postdoktorandin an der University of Maryland, sagte in einem X -Post Das Einreichen von AI-generierten Papieren, ohne die Organisatoren des Workshops das Recht zu geben, sie abzulehnen, zeigte einen „mangelnden Respekt für die Zeit der menschlichen Gutachter“.
„Sakana hat sich gefragt, ob wir bereit wären, an ihrem Experiment für den Workshop teilzunehmen, den ich bei ICLR organisiere“, fügte Panda hinzu, „und ich (wir) sagten nein, nein […] Ich denke, es gibt KI -Papiere an einen Veranstaltungsort, ohne sich mit dem zu wenden [reviewers] ist schlecht. „
Nicht umsonst, viele Forscher sind skeptisch, dass Ai-generierte Papiere die Peer-Review-Anstrengung wert sind.
Sakana selbst gab zu, dass seine KI „peinliche“ Zitierfehler gemacht hat und dass nur eine der drei mit A-generierten Papiere, die das Unternehmen eingereicht hat, die Bar für die Akzeptanz von Konferenzen getroffen hätte. Sakana zog sein ICLR -Papier zurück, bevor es im Interesse der Transparenz und des Respekts für die ICLR -Konvention veröffentlicht werden konnte, sagte das Unternehmen.
Alexander Doria, der Mitbegründer von AI Startup Pleias, sagte, dass die Floß der heimlichen synthetischen ICLR-Einsendungen auf die Notwendigkeit einer „regulierten Unternehmen/öffentlichen Agentur“ zur Durchführung von „hochwertigen“ A-generierten Studienbewertungen für einen Preis hinwiesen.
„Evals [should be] von Forschern durchgeführt, die für ihre Zeit vollständig kompensiert wurden “, sagte Doria in a Serie von Posts auf X. „Akademie ist nicht da, um frei zu lagern [AI] Evals. “