Generative KI mag wie Magie aussehen, aber hinter der Entwicklung dieser Systeme stehen Heerscharen von Mitarbeitern von Unternehmen wie Google, OpenAI und anderen, sogenannten „Prompt Engineers“ und Analysten, die die Genauigkeit der Chatbot-Ausgaben bewerten, um ihre KI zu verbessern.
Aber eine neue interne Richtlinie, die von Google an an Gemini arbeitende Auftragnehmer weitergegeben wurde und von Tech gesehen wurde, hat zu Bedenken geführt, dass Gemini anfälliger dafür sein könnte, ungenaue Informationen zu hochsensiblen Themen wie dem Gesundheitswesen an normale Menschen weiterzugeben.
Um Gemini zu verbessern, arbeiten Auftragnehmer mit GlobalLogic, einem Outsourcing-Unternehmen, zusammen im Besitz von Hitachiwerden routinemäßig gebeten, KI-generierte Antworten nach Faktoren wie „Wahrhaftigkeit“ zu bewerten.
Diese Auftragnehmer konnten bis vor kurzem bestimmte Eingabeaufforderungen „überspringen“ und sich somit von der Auswertung verschiedener KI-geschriebener Antworten auf diese Eingabeaufforderungen abmelden, wenn die Eingabeaufforderung weit außerhalb ihres Fachwissens lag. Beispielsweise könnte ein Auftragnehmer eine Eingabeaufforderung überspringen, in der eine Nischenfrage zur Kardiologie gestellt wurde, weil der Auftragnehmer keinen wissenschaftlichen Hintergrund hatte.
Aber letzte Woche kündigte GlobalLogic eine Änderung von Google an, wonach Auftragnehmer solche Aufforderungen nicht mehr überspringen dürfen, unabhängig von ihrem eigenen Fachwissen.
Interne Korrespondenz, die Tech eingesehen hat, zeigt, dass die Richtlinien zuvor lauteten: „Wenn Sie nicht über entscheidende Fachkenntnisse (z. B. Codierung, Mathematik) verfügen, um diese Eingabeaufforderung zu bewerten, überspringen Sie diese Aufgabe bitte.“
Aber jetzt heißt es in den Richtlinien: „Sie sollten keine Eingabeaufforderungen überspringen, die spezielle Domänenkenntnisse erfordern.“ Stattdessen werden Auftragnehmer aufgefordert, „die Teile der Aufforderung zu bewerten, die Sie verstehen“ und einen Hinweis hinzuzufügen, dass sie nicht über Domänenkenntnisse verfügen.
Dies hat zu direkten Bedenken hinsichtlich der Genauigkeit von Gemini bei bestimmten Themen geführt, da Auftragnehmer manchmal damit beauftragt werden, hochtechnische KI-Reaktionen zu Themen wie seltenen Krankheiten zu bewerten, mit denen sie keine Erfahrung haben.
„Ich dachte, der Sinn des Überspringens bestehe darin, die Genauigkeit zu erhöhen, indem man sie jemand Besserem gibt?“ ein Auftragnehmer, der in der internen Korrespondenz erwähnt wurde, gesehen von Tech.
Auftragnehmer können Eingabeaufforderungen jetzt nur noch in zwei Fällen überspringen: wenn ihnen „Informationen wie die vollständige Eingabeaufforderung oder Antwort vollständig fehlen“ oder wenn sie schädliche Inhalte enthalten, für deren Bewertung spezielle Einwilligungsformulare erforderlich sind, wie aus den neuen Richtlinien hervorgeht.
Google reagierte bei Redaktionsschluss nicht auf die Anfragen von Tech nach einem Kommentar.