Technologiegiganten wie Google, Microsoft und OpenAI haben darüber gesprochen, wie generative KI in Gesundheitssystemen helfen kann. Eine Studie hat jedoch ergeben, dass große Sprachmodelle (LLMs), die die zugrunde liegende Technologie von Chatbots bilden, bei der Integration in das Gesundheitswesen schädliche, rassenbasierte Medizin liefern können. Dies deutet darauf hin, dass die KI im medizinischen Bereich noch einen langen Weg vor sich hat.
Die in der Zeitschrift Nature veröffentlichte Studie wurde durchgeführt, um zu beurteilen, ob vier im Handel erhältliche LLMs schädliche, ungenaue, rassenbasierte Inhalte verbreiten, wenn sie auf acht verschiedene Szenarien reagieren.
Die Fragen im Zusammenhang mit diesen Szenarien wurden „aus Diskussionen zwischen vier medizinischen Experten und früheren Arbeiten zu rassenbedingten medizinischen Missverständnissen abgeleitet, die von Medizinanwärtern geglaubt wurden“. Diese Fragen dienten der Überprüfung auf rassenbasierte Medizin oder weit verbreitete Missverständnisse rund um Rasse.
Die Forscher bewerteten die LLMs mit neun verschiedenen Fragen, die jeweils fünfmal abgefragt wurden, mit insgesamt 45 Antworten pro Modell.
Für Studienzwecke getestete Modelle
Die Forscher sagten, sie hätten die Fragen mit getestet GPT-3.5 Und GPT 4 von OpenAI; Barde von Google und Claude entwickelt von Anthropic, einem von Google unterstützten Unternehmen.
„Alle Modelle versagen, wenn Fragen zur Nierenfunktion und Lungenkapazität gestellt werden – Bereiche, in denen langjährige rassenbasierte medizinische Praktiken wissenschaftlich widerlegt wurden“, zeigten die Ergebnisse der Studie.
Darüber hinaus stellten die Forscher fest, dass einige von den Modellen generierte Gleichungen erfunden wurden, was mit dem von Technologiegiganten hervorgehobenen Problem der Halluzinationen oder der Erzeugung unsinniger Reaktionen übereinstimmt.
Warum ist das gefährlich?
Die Forscher stellten zwar fest, dass die Antworten durch die Daten generiert werden, auf denen sie trainiert wurden, sagten jedoch, dass es unmöglich sei, zu wissen, warum die Modelle bei einigen Fragen erfolgreich sind, während sie bei anderen scheitern, da der Trainingsprozess für diese Modelle nicht transparent ist.
„Alle Modelle hatten in ihren Antworten Beispiele für die Aufrechterhaltung der rassenbasierten Medizin. „Modelle waren in ihren Antworten nicht immer konsistent, wenn ihnen wiederholt dieselbe Frage gestellt wurde“, sagten sie. Die Forscher fügten hinzu, dass diese LLMs möglicherweise Schaden anrichten könnten, indem sie entlarvte, rassistische Ideen aufrechterhalten.
Es wird empfohlen, dass medizinische Zentren bei der Verwendung von LLMs zur medizinischen Entscheidungsfindung äußerste Vorsicht walten lassen müssen. In der Zwischenzeit können Technologieunternehmen ihre Modelle weiter trainieren, da sie die Möglichkeit haben, durch menschliches Feedback zu lernen.
Die in der Zeitschrift Nature veröffentlichte Studie wurde durchgeführt, um zu beurteilen, ob vier im Handel erhältliche LLMs schädliche, ungenaue, rassenbasierte Inhalte verbreiten, wenn sie auf acht verschiedene Szenarien reagieren.
Die Fragen im Zusammenhang mit diesen Szenarien wurden „aus Diskussionen zwischen vier medizinischen Experten und früheren Arbeiten zu rassenbedingten medizinischen Missverständnissen abgeleitet, die von Medizinanwärtern geglaubt wurden“. Diese Fragen dienten der Überprüfung auf rassenbasierte Medizin oder weit verbreitete Missverständnisse rund um Rasse.
Die Forscher bewerteten die LLMs mit neun verschiedenen Fragen, die jeweils fünfmal abgefragt wurden, mit insgesamt 45 Antworten pro Modell.
Für Studienzwecke getestete Modelle
Die Forscher sagten, sie hätten die Fragen mit getestet GPT-3.5 Und GPT 4 von OpenAI; Barde von Google und Claude entwickelt von Anthropic, einem von Google unterstützten Unternehmen.
„Alle Modelle versagen, wenn Fragen zur Nierenfunktion und Lungenkapazität gestellt werden – Bereiche, in denen langjährige rassenbasierte medizinische Praktiken wissenschaftlich widerlegt wurden“, zeigten die Ergebnisse der Studie.
Darüber hinaus stellten die Forscher fest, dass einige von den Modellen generierte Gleichungen erfunden wurden, was mit dem von Technologiegiganten hervorgehobenen Problem der Halluzinationen oder der Erzeugung unsinniger Reaktionen übereinstimmt.
Warum ist das gefährlich?
Die Forscher stellten zwar fest, dass die Antworten durch die Daten generiert werden, auf denen sie trainiert wurden, sagten jedoch, dass es unmöglich sei, zu wissen, warum die Modelle bei einigen Fragen erfolgreich sind, während sie bei anderen scheitern, da der Trainingsprozess für diese Modelle nicht transparent ist.
„Alle Modelle hatten in ihren Antworten Beispiele für die Aufrechterhaltung der rassenbasierten Medizin. „Modelle waren in ihren Antworten nicht immer konsistent, wenn ihnen wiederholt dieselbe Frage gestellt wurde“, sagten sie. Die Forscher fügten hinzu, dass diese LLMs möglicherweise Schaden anrichten könnten, indem sie entlarvte, rassistische Ideen aufrechterhalten.
Es wird empfohlen, dass medizinische Zentren bei der Verwendung von LLMs zur medizinischen Entscheidungsfindung äußerste Vorsicht walten lassen müssen. In der Zwischenzeit können Technologieunternehmen ihre Modelle weiter trainieren, da sie die Möglichkeit haben, durch menschliches Feedback zu lernen.