Demnach haben Software-Ingenieure, Entwickler und akademische Forscher ernsthafte Bedenken hinsichtlich Transkriptionen aus OpenAIs Whisper ein Bericht in der Associated Press.
Zwar hat es nicht an Diskussionen über die Tendenz der generativen KI gefehlt, zu halluzinieren – im Grunde genommen Dinge zu erfinden –, aber es ist ein wenig überraschend, dass dies ein Problem bei der Transkription ist, bei der man erwarten würde, dass das Transkript dem zu transkribierenden Audio folgt.
Stattdessen teilten Forscher der AP mit, dass Whisper alles von rassistischen Kommentaren bis hin zu eingebildeten medizinischen Behandlungen in die Transkripte eingearbeitet habe. Und das könnte besonders katastrophal sein, da Whisper in Krankenhäusern und anderen medizinischen Bereichen eingesetzt wird.
Ein Forscher der University of Michigan, der öffentliche Versammlungen untersuchte, stellte in acht von zehn Audiotranskriptionen Halluzinationen fest. Ein Ingenieur für maschinelles Lernen untersuchte mehr als 100 Stunden Whisper-Transkriptionen und stellte bei mehr als der Hälfte davon Halluzinationen fest. Und ein Entwickler berichtete, in fast allen 26.000 Transkriptionen, die er mit Whisper erstellt hatte, Halluzinationen gefunden zu haben.
Ein OpenAI-Sprecher sagte, das Unternehmen arbeite „kontinuierlich daran, die Genauigkeit unserer Modelle zu verbessern, einschließlich der Reduzierung von Halluzinationen“, und wies darauf hin, dass seine Nutzungsrichtlinien die Verwendung von Whisper „in bestimmten Entscheidungskontexten mit hohem Risiko“ verbieten.
„Wir danken den Forschern für die Weitergabe ihrer Ergebnisse“, sagten sie.