Nach telegrafischer Einzugsmeldung Medienauftrittehat OpenAI gestartet ein Tool, das versucht, zwischen von Menschen geschriebenem und KI-generiertem Text zu unterscheiden – wie dem Text, der von den firmeneigenen ChatGPT- und GPT-3-Modellen produziert wird. Der Klassifikator ist nicht besonders genau – seine Erfolgsquote liegt laut OpenAI bei etwa 26 % – aber OpenAI argumentiert, dass er, wenn er zusammen mit anderen Methoden verwendet wird, nützlich sein könnte, um zu verhindern, dass KI-Textgeneratoren missbraucht werden.
„Der Klassifikator soll dazu beitragen, falsche Behauptungen zu entschärfen, dass KI-generierter Text von einem Menschen geschrieben wurde. Es hat jedoch immer noch eine Reihe von Einschränkungen – daher sollte es als Ergänzung zu anderen Methoden zur Bestimmung der Textquelle verwendet werden, anstatt das primäre Entscheidungsinstrument zu sein“, sagte ein OpenAI-Sprecher per E-Mail gegenüber Tech. „Wir stellen diesen ersten Klassifikator zur Verfügung, um Feedback darüber zu erhalten, ob solche Tools nützlich sind, und hoffen, in Zukunft verbesserte Methoden teilen zu können.“
Da die Begeisterung für die generative KI – insbesondere die textgenerierende KI – wächst, haben Kritiker die Entwickler dieser Tools aufgefordert, Maßnahmen zu ergreifen, um ihre potenziell schädlichen Auswirkungen zu mindern. Einige der größten Schulbezirke der USA haben ChatGPT in ihren Netzwerken und Geräten verboten, weil sie die Auswirkungen auf das Lernen der Schüler und die Genauigkeit der von dem Tool produzierten Inhalte befürchten. Und Websites einschließlich Stack Overflow hat Benutzer gesperrt vom Teilen von Inhalten, die von ChatGPT generiert wurden, und sagen, dass die KI es den Benutzern zu einfach macht, Diskussionsthreads mit zweifelhaften Antworten zu überfluten.
Der Klassifikator von OpenAI – treffend als OpenAI AI Text Classifier bezeichnet – ist architektonisch faszinierend. Es ist, wie ChatGPT, ein KI-Sprachmodell, das mit vielen, vielen Beispielen von öffentlich verfügbarem Text aus dem Internet trainiert wurde. Aber im Gegensatz zu ChatGPT ist es fein abgestimmt, um vorherzusagen, wie wahrscheinlich es ist, dass ein Textstück von KI generiert wurde – nicht nur von ChatGPT, sondern von jedem textgenerierenden KI-Modell.
Genauer gesagt trainierte OpenAI den OpenAI AI Text Classifier mit Text aus 34 Texterzeugungssystemen von fünf verschiedenen Organisationen, darunter OpenAI selbst. Dieser Text wurde mit ähnlichem (aber nicht genau ähnlichem) von Menschen geschriebenem Text aus Wikipedia, Websites, die aus auf Reddit geteilten Links extrahiert wurden, und einer Reihe von „menschlichen Demonstrationen“ gepaart, die für ein früheres OpenAI-Textgenerierungssystem gesammelt wurden. (OpenAI räumt in a Unterstützungsdokumentdass es jedoch versehentlich einige KI-geschriebene Texte als von Menschen geschrieben klassifiziert haben könnte, „angesichts der Verbreitung von KI-generierten Inhalten im Internet“.)
Wichtig ist, dass der OpenAI-Textklassifizierer nicht mit jedem beliebigen Text funktioniert. Es benötigt mindestens 1.000 Zeichen oder etwa 150 bis 250 Wörter. Plagiate werden nicht erkannt – eine besonders unglückliche Einschränkung, wenn man bedenkt, dass sich die textgenerierende KI bewährt hat erbrechen der Text, an dem es trainiert wurde. Und OpenAI sagt, dass es aufgrund seines englischsprachigen Datensatzes wahrscheinlicher ist, bei Texten, die von Kindern oder in einer anderen Sprache als Englisch geschrieben wurden, etwas falsch zu machen.
Der Detektor hebt seine Antwort ein wenig ab, wenn er bewertet, ob ein bestimmter Text von der KI generiert wurde. Je nach Konfidenzniveau wird Text als „sehr unwahrscheinlich“ KI-generiert (weniger als 10 % Chance), „unwahrscheinlich“ KI-generiert (zwischen 10 % und 45 % Chance) und „unklar, ob ja ” KI-generiert (eine Wahrscheinlichkeit von 45 % bis 90 %), „möglicherweise“ KI-generiert (eine Wahrscheinlichkeit von 90 % bis 98 %) oder „wahrscheinlich“ KI-generiert (eine Wahrscheinlichkeit von über 98 %).
Aus Neugier habe ich etwas Text durch den Klassifikator gefüttert, um zu sehen, wie er damit umgehen könnte. Während es zuversichtlich und korrekt vorhersagte, dass mehrere Absätze aus einem Tech-Artikel über Metas Horizon Worlds und ein Ausschnitt von einer OpenAI-Supportseite nicht von KI generiert wurden, hatte der Klassifikator eine härtere Zeit mit artikellangem Text von ChatGPT und konnte ihn letztendlich nicht klassifizieren insgesamt. Es hat jedoch erfolgreich die ChatGPT-Ausgabe von einem Gizmodo erkannt Stück über – was sonst? — ChatGPT.
Laut OpenAI kennzeichnet der Klassifikator von Menschen geschriebenen Text in 9 % der Fälle fälschlicherweise als KI-geschrieben. Dieser Fehler ist mir bei meinen Tests nicht passiert, aber ich führe das auf die kleine Stichprobengröße zurück.
Bildnachweis: OpenAI
Auf praktischer Ebene fand ich den Klassifikator nicht besonders nützlich, um kürzere Texte zu bewerten. 1.000 Zeichen sind eine schwer zu erreichende Schwelle im Bereich von Nachrichten, zB E-Mails (zumindest die, die ich regelmäßig erhalte). Und die Einschränkungen geben nachdenklich – OpenAI betont, dass der Klassifikator umgangen werden kann, indem einige Wörter oder Klauseln im generierten Text geändert werden.
Das soll nicht heißen, dass der Klassifikator nutzlos ist – weit gefehlt. Aber es wird engagierte Betrüger (oder Studenten, was das betrifft) in seinem derzeitigen Zustand sicherlich nicht stoppen.
Die Frage ist, werden andere Tools? Es ist so etwas wie eine Heimindustrie entstanden, um die Nachfrage nach KI-generierten Textdetektoren zu befriedigen. ChatZero, das von einem Studenten der Princeton University entwickelt wurde, verwendet Kriterien wie „Perplexity“ (die Komplexität des Textes) und „Burstiness“ (die Variationen von Sätzen), um festzustellen, ob Text möglicherweise von KI geschrieben wurde. Plagiatsdetektor Turnin entwickelt einen eigenen KI-generierten Textdetektor. Darüber hinaus liefert eine Google-Suche mindestens ein halbes Dutzend anderer Apps, die behaupten, in der Lage zu sein, die KI-generierte Spreu von der menschengenerierten Spreu zu trennen, um die Metapher zu quälen.
Es wird wahrscheinlich ein Katz-und-Maus-Spiel werden. Mit der Verbesserung der textgenerierenden KI verbessern sich auch die Detektoren – ein endloses Hin und Her, ähnlich dem zwischen Cyberkriminellen und Sicherheitsforschern. Und wie OpenAI schreibt, können die Klassifikatoren zwar unter bestimmten Umständen hilfreich sein, sie werden jedoch niemals ein zuverlässiger alleiniger Beweis dafür sein, ob Text von KI generiert wurde.
Das ist alles, um zu sagen, dass es keine Wunderwaffe gibt, um die Probleme zu lösen, die KI-generierter Text aufwirft. Sehr wahrscheinlich wird es das nie geben.