Laut Google verfügt seine neue KI-Modellfamilie über eine merkwürdige Funktion: die Fähigkeit, Emotionen zu „identifizieren“.
Die am Donnerstag angekündigte PaliGemma 2-Modellfamilie kann Bilder analysieren, wodurch die KI Bildunterschriften erstellen und Fragen zu Personen beantworten kann, die sie auf Fotos „sieht“.
„PaliGemma 2 generiert detaillierte, kontextrelevante Bildunterschriften“, schrieb Google in einem mit Tech geteilten Blogbeitrag, „und geht über die einfache Objektidentifizierung hinaus, um Aktionen, Emotionen und die Gesamterzählung der Szene zu beschreiben.“
Die Emotionserkennung funktioniert nicht sofort und PaliGemma 2 muss für diesen Zweck fein abgestimmt werden. Dennoch waren Experten, mit denen Tech gesprochen hat, angesichts der Aussicht auf einen öffentlich verfügbaren Emotionsdetektor beunruhigt.
„Das beunruhigt mich sehr“, sagte Sandra Wachter, Professorin für Datenethik und KI am Oxford Internet Institute, gegenüber Tech. „Ich finde es problematisch anzunehmen, dass wir die Gefühle der Menschen ‚lesen‘ können. Es ist, als würde man einen Magic 8 Ball um Rat fragen.“
Seit Jahren versuchen sowohl Startups als auch Technologiegiganten, KI zu entwickeln, die Emotionen für alles erkennen kann, von Verkaufsschulungen bis hin zur Unfallverhütung. Einige behaupten, es erreicht zu haben, aber die Wissenschaft steht auf einem wackligen empirischen Fundament.
Die meisten Emotionsdetektoren orientieren sich an den frühen Arbeiten von Paul Ekman, einem Psychologen, der die Theorie aufstellte, dass Menschen sechs grundlegende Emotionen gemeinsam haben: Wut, Überraschung, Ekel, Freude, Angst und Traurigkeit. Nachfolgend Studien gießen zweifeln Auf der Grundlage von Ekmans Hypothese zeigt sich jedoch, dass es große Unterschiede in der Art und Weise gibt, wie Menschen mit unterschiedlichem Hintergrund ihre Gefühle ausdrücken.
„Emotionserkennung ist im Allgemeinen nicht möglich, weil Menschen Emotionen auf komplexe Weise erleben“, sagte Mike Cook, ein auf KI spezialisierter Forschungsstipendiat an der Queen Mary University, gegenüber Tech. „Natürlich glauben wir, dass wir erkennen können, was andere Menschen fühlen, indem wir sie ansehen, und viele Menschen haben es im Laufe der Jahre auch versucht, etwa Spionageagenturen oder Marketingfirmen. Ich bin mir sicher, dass es in einigen Fällen durchaus möglich ist, einige generische Signifikanten zu erkennen, aber wir können das nie vollständig „lösen“.
Die nicht überraschende Konsequenz ist, dass Systeme zur Emotionserkennung dazu neigen, unzuverlässig zu sein und von den Annahmen ihrer Entwickler beeinflusst zu werden. In einem 2020 MIT StudieForscher zeigten, dass Modelle zur Gesichtsanalyse unbeabsichtigte Vorlieben für bestimmte Ausdrücke, wie zum Beispiel das Lächeln, entwickeln können. Neueren Datums arbeiten legt nahe, dass emotionale Analysemodelle den Gesichtern von Schwarzen mehr negative Emotionen zuordnen als den Gesichtern von Weißen.
Google gibt an, „umfangreiche Tests“ durchgeführt zu haben, um demografische Verzerrungen in PaliGemma 2 zu bewerten, und habe im Vergleich zu Branchen-Benchmarks „ein geringes Maß an Toxizität und Schimpfwörtern“ festgestellt. Das Unternehmen stellte jedoch weder die vollständige Liste der verwendeten Benchmarks zur Verfügung, noch gab es an, welche Arten von Tests durchgeführt wurden.
Der einzige von Google veröffentlichte Benchmark ist FairFace, eine Reihe von Porträtfotos Zehntausender Menschen. Das Unternehmen gibt an, dass PaliGemma 2 bei FairFace gut abgeschnitten hat. Aber einige Forscher haben es getan kritisiert den Benchmark als Bias-Metrik und stellt fest, dass FairFace nur eine Handvoll Rassengruppen repräsentiert.
„Die Interpretation von Emotionen ist eine ziemlich subjektive Angelegenheit, die über die Verwendung visueller Hilfsmittel hinausgeht und stark in einen persönlichen und kulturellen Kontext eingebettet ist“, sagte Heidy Khlaaf, leitende KI-Wissenschaftlerin am AI Now Institute, einer gemeinnützigen Organisation, die die gesellschaftlichen Auswirkungen künstlicher Emotionen untersucht Intelligenz. „Abgesehen von der KI hat die Forschung gezeigt, dass wir Emotionen nicht allein aus Gesichtszügen ableiten können.“
Emotionserkennungssysteme haben den Zorn der Regulierungsbehörden im Ausland erregt, die versucht haben, den Einsatz der Technologie in Hochrisikokontexten einzuschränken. Das KI-Gesetz, das wichtigste KI-Gesetz in der EU, verbietet Schulen und Arbeitgeber vom Einsatz von Emotionsdetektoren abzuhalten (jedoch nicht Strafverfolgungsbehörden).
Die größte Befürchtung bei offenen Modellen wie PaliGemma 2, das von einer Reihe von Hosts, darunter der KI-Entwicklungsplattform Hugging Face, erhältlich ist, besteht darin, dass sie missbraucht oder missbraucht werden, was zu realem Schaden führen könnte.
„Wenn diese sogenannte ‚emotionale Identifikation‘ auf pseudowissenschaftlichen Annahmen aufbaut, hat dies erhebliche Auswirkungen darauf, wie diese Fähigkeit genutzt werden kann, um marginalisierte Gruppen weiter – und fälschlicherweise – zu diskriminieren, beispielsweise bei der Strafverfolgung, bei der Personalbeschaffung, bei der Grenzverwaltung usw so weiter“, sagte Khlaaf.
Auf die Gefahren einer öffentlichen Veröffentlichung von PaliGemma 2 angesprochen, sagte ein Google-Sprecher, das Unternehmen stehe hinter seinen Tests auf „Darstellungsschäden“, da diese sich auf die Beantwortung visueller Fragen und die Untertitelung beziehen. „Wir haben fundierte Bewertungen der PaliGemma 2-Modelle in Bezug auf Ethik und Sicherheit durchgeführt, einschließlich Kindersicherheit und Inhaltssicherheit“, fügten sie hinzu.
Watcher ist nicht davon überzeugt, dass das ausreicht.
„Verantwortungsvolle Innovation bedeutet, dass man vom ersten Tag an, an dem man sein Labor betritt, über die Konsequenzen nachdenkt und dies auch während des gesamten Lebenszyklus eines Produkts tut“, sagte sie. „Mir fallen unzählige mögliche Probleme ein [with models like this] Das kann zu einer dystopischen Zukunft führen, in der Ihre Emotionen darüber entscheiden, ob Sie den Job, einen Kredit und die Zulassung zur Uni bekommen.“