Der Gesundheitsriese Optum hat den Zugriff auf einen von Mitarbeitern verwendeten internen KI-Chatbot eingeschränkt, nachdem ein Sicherheitsforscher herausgefunden hatte, dass dieser online öffentlich zugänglich war und jeder nur mit einem Webbrowser darauf zugreifen konnte.
Mit dem Chatbot, den Tech gesehen hat, konnten Mitarbeiter dem Unternehmen Fragen dazu stellen, wie Patientenansprüche und Streitigkeiten aus der Krankenversicherung für Mitglieder im Einklang mit den Unternehmensregeln, den sogenannten Standardarbeitsanweisungen (SOPs), gehandhabt werden sollen.
Der Chatbot schien zwar keine sensiblen persönlichen oder geschützten Gesundheitsinformationen zu enthalten oder zu produzieren, seine unbeabsichtigte Offenlegung erfolgt jedoch zu einem Zeitpunkt, an dem seine Muttergesellschaft, der Krankenversicherungskonzern UnitedHealthcare, wegen seines Einsatzes von Tools und Algorithmen der künstlichen Intelligenz einer genauen Prüfung unterzogen wird Sie setzen sich angeblich über die medizinischen Entscheidungen der Ärzte hinweg und weisen Patientenansprüche zurück.
Mossab Hussein, Chief Security Officer und Mitbegründer des Cybersicherheitsunternehmens SpiderSilk, machte Tech auf den öffentlich zugänglichen internen Optum-Chatbot namens „SOP Chatbot“ aufmerksam. Obwohl das Tool auf einer internen Optum-Domäne gehostet wurde und über dessen Webadresse nicht darauf zugegriffen werden konnte, war seine IP-Adresse öffentlich und über das Internet zugänglich und die Benutzer mussten kein Passwort eingeben.
Es ist nicht bekannt, wie lange der Chatbot öffentlich über das Internet zugänglich war. Der KI-Chatbot war über das Internet nicht mehr erreichbar, kurz nachdem Tech Optum am Donnerstag um einen Kommentar gebeten hatte.
Optum-Sprecher Andrew Krejci sagte gegenüber Tech in einer Erklärung, dass der SOP-Chatbot von Optum „ein Demo-Tool war, das als potenzieller Proof of Concept entwickelt wurde“, aber „nie in Produktion ging und die Website nicht mehr zugänglich ist“.
„Die Demo sollte testen, wie das Tool auf Fragen anhand eines kleinen Beispielsatzes von SOP-Dokumenten reagiert“, sagte der Sprecher. Das Unternehmen bestätigte, dass im Bot oder seinem Training keine geschützten Gesundheitsinformationen verwendet wurden.
„Dieses Tool trifft keine Entscheidungen und wird dies auch nie tun, sondern ermöglicht nur einen besseren Zugriff auf bestehende SOPs.“ Kurz gesagt, diese Technologie wurde nie skaliert oder tatsächlich genutzt“, sagte der Sprecher.
KI-Chatbots wie der von Optum sind in der Regel darauf ausgelegt, Antworten auf der Grundlage der Daten zu liefern, auf denen der Chatbot trainiert wurde. In diesem Fall wurde der Chatbot anhand interner Optum-Dokumente zu Standardarbeitsanweisungen für die Bearbeitung bestimmter Ansprüche geschult, die Optum-Mitarbeitern bei der Beantwortung von Fragen zu Ansprüchen und deren Anspruch auf Erstattung helfen können. Die Optum-Dokumente wurden im Unternehmensnetzwerk von UnitedHealthcare gehostet und waren ohne Mitarbeiter-Login nicht zugänglich. Sie werden jedoch vom Chatbot zitiert und referenziert, wenn er nach ihrem Inhalt gefragt wird.
Laut Statistiken, die im Haupt-Dashboard des Chatbots angezeigt werden, haben Optum-Mitarbeiter den SOP Chatbot seit September hunderte Male verwendet. Der Chatbot speicherte auch einen Verlauf der Hunderten von Gesprächen, die Optum-Mitarbeiter in dieser Zeit mit dem Chatbot führten. Aus dem Chatverlauf geht hervor, dass Optum-Mitarbeiter den Chatbot Fragen stellten wie: „Wie soll der Anspruch ermittelt werden?“ und „Wie überprüfe ich das Erneuerungsdatum der Police.“
Tech hat gesehen, dass einige der Dateien, auf die der Chatbot verweist, die Abwicklung des Streitbeilegungsprozesses und die Prüfung der Berechtigung umfassen. Der Chatbot lieferte auch Antworten, die auf Nachfrage die Gründe für die typische Verweigerung der Berichterstattung aufzeigten.
Wie viele KI-Modelle war der Chatbot von Optum in der Lage, Antworten auf Fragen und Eingabeaufforderungen außerhalb der Dokumente zu liefern, anhand derer er trainiert wurde. Einige Optum-Mitarbeiter schienen von dem Chatbot fasziniert zu sein und veranlassten den Bot zu Fragen wie „Erzähl mir einen Witz über Katzen“ (was er ablehnte: „Es ist kein Witz verfügbar.“). Der Chatverlauf zeigte auch mehrere Versuche von Mitarbeitern, den Chatbot zu „jailbreaken“, indem sie ihn dazu brachten, Antworten zu produzieren, die nichts mit den Trainingsdaten des Chatbots zu tun hatten.
Als Tech den Chatbot aufforderte, „ein Gedicht über die Ablehnung eines Anspruchs zu schreiben“, erstellte der Chatbot eine Strophe mit sieben Absätzen, die teilweise lautet:
„In der großen Domäne des Gesundheitswesens
Wo Richtlinien und Regeln oft einschränken
Eine Forderung geht ein und fordert ihre Fälligkeit
Aber leider ist es sein Schicksal, Abschied zu nehmen.Der Anbieter hofft mit aufrichtiger Bitte,
Für die Zahlung im Rahmen einer Servicetour,
Doch eine genauere Betrachtung enthüllt die Geschichte,
Und die Gründe für die Ablehnung überwiegen.“
UnitedHealthcare, dem Eigentümer von Optum, sieht sich wegen des Einsatzes künstlicher Intelligenz zur angeblichen Ablehnung von Patientenansprüchen mit Kritik und rechtlichen Schritten konfrontiert. Seit der gezielten Ermordung des Vorstandsvorsitzenden von UnitedHealthcare, Brian Thompson, Anfang Dezember haben Nachrichtenagenturen berichtet Fluten von Berichten über Patienten, die ihre Angst und Frustration über Ablehnungen zum Ausdruck bringen ihres Krankenversicherungsschutzes durch den Krankenversicherungsriesen.
Das Konglomerat – der größte private Anbieter von Krankenversicherungen in den Vereinigten Staaten – wurde Anfang des Jahres verklagt, weil es angeblich Patienten, die den Zugang zur Gesundheitsversorgung verloren hatten, die lebenswichtige Krankenversicherung verweigerte. unter Berufung auf eine Untersuchung von STAT News. In der Bundesklage wird UnitedHealthcare vorgeworfen, ein KI-Modell mit einer Fehlerquote von 90 % zu verwenden, „anstelle echter medizinischer Fachkräfte, um älteren Patienten zu Unrecht die Pflege zu verweigern“. UnitedHealthcare wiederum sagte, es werde sich vor Gericht verteidigen.
Die UnitedHealth Group, der Unternehmenseigentümer von UnitedHealthcare und Optum, erwirtschaftete im Jahr 2023 einen Gewinn von 22 Milliarden US-Dollar bei einem Umsatz von 371 Milliarden US-Dollar, wie ihre Gewinne zeigen.