Angesichts der Sprachenvielfalt Indiens stehen digitale Content-Unternehmen bereits vor der Herausforderung, Inhalte akkurat anzuzeigen und zu übersetzen. Google steht vor einem ähnlichen Problem mit den kürzlich im Land eingeführten KI-Übersichten.
Das Unternehmen führte Anfang August Hindi-Unterstützung für KI-Übersichten im Land ein. Benutzer in Indien können auch zwischen Hindi und Englisch wechseln, ohne die Suchseite zu verlassen. Die Funktion ist jedoch enttäuschend inkonsistent.
Ein einfaches Beispiel war ein Ergebnis, das wir aus Googles Blog ausgewählt haben. Das GIF zeigte eine Antwort auf „Cheeni ki jagah chai mai kya daal sakte hai?“, was übersetzt „Was ist ein Ersatz für Zucker im Tee?“ bedeutet. Während des Tests haben wir die Reihenfolge der Wörter in „Chai mai cheeni ke jagah kya daal sakte hai?“ geändert und Google hat einfach keine Antwort angezeigt.
Ein weiteres Problem, das uns aufgefallen ist, war die wörtliche Übersetzung englischer Wörter. Als wir auf Hindi fragten: „Was für Essen können wir im Sommer essen?“, lautete eine der Antworten „Chiknai wali cheezien“, was „klebriges Zeug“ bedeutet – und das ist verwirrend. Als ich auf Englisch umschaltete, zeigte mir Google als Option „ölig“ an, was, wenn es um Essen geht, etwas ganz anderes ist als „klebrig“. So oder so ist es ein ziemlich seltsamer Vorschlag.
In einem anderen Fall, als wir nach den Eigentumsverhältnissen bei YouTube fragten, lautete die AI-Übersicht auf Hindi: „Bis zum 16. Februar 2023 war Neal Mohan CEO von Google“, was falsch ist. Im englischen Text hieß es korrekt: „Seit dem 16. Februar 2023 ist Neal Mohan CEO von Google.“
Es gibt auch qualitative Probleme. Als wir fragten: „Wann ist Diwali dieses Jahr?“, bekamen wir statt einer einfachen Antwort einen Absatz über das Diwali des letzten Jahres, dann ein Karussell mit Links und Dann die eigentliche Antwort, nach der wir gesucht haben.
Als wir sowohl auf Hindi als auch auf Englisch mehrfach fragten, ob man gewürzte Speisen essen kann, erhielten wir über die KI-Übersicht widersprüchliche Antworten.
Es gibt jedoch besorgniserregendere Ergebnisse zu anderen Themen wie Menstruation und Schwangerschaft. Bei einer unserer Fragen, nämlich wann jemand nach der Hochzeit über Kinder nachdenken sollte, hieß es im ersten Absatz der Übersichtsantwort in verwirrendem Hindi, Paare sollten mindestens zwei Jahre warten.
Darin wurde auch erwähnt, dass jemand, der im Alter von etwa 25 Jahren heiratet, „drei Jahre“ Zeit hat – ohne zu spezifizieren, wofür. Dieser Absatz stammte offenbar aus einem Diashow-Artikel in Hindi auf einer indischen Nachrichtenseite, die die Informationen basierend auf verschiedenen Meinungen auf Quora und anderen Blogs verfasst hatte.
Auf unsere Frage, was man während der Menstruation essen sollte, lauteten einige der Antworten „Milch zu vielen Sachen trinken“ und „Zitrone gegen Stimmungsschwankungen“.
Googles KI-Übersicht lässt auch den Kontext vermissen. Als wir nach Essensmöglichkeiten in Delhi fragten, wurde uns vorgeschlagen, dass Bangla Sahib Gurudwara, ein Gotteshaus für Sikhs, rund um die Uhr geöffnet ist und man dort Tee und indische Snacks wie Samosa und Kachori bekommt. Dabei wird jedoch etwas Wichtiges außer Acht gelassen, was im Quellartikel erwähnt wurde: dass man diese Dinge bekommen kann draußen der Gurudwara, ein wichtiges Wort, das dem KI-Tool beim Zusammenfassen entgangen ist. Die Snacks sind nicht in der Kultstätte.
Einige der Ergebnisse für ähnliche Fragen auf Englisch sind viel besser als die auf Hindi. Dies könnte teilweise daran liegen, dass in dieser Sprache mehr und bessere Quellen verfügbar sind. Einige der von uns hervorgehobenen Probleme waren jedoch auf Fehler der Google-Systeme zurückzuführen, wie z. B. aus dem Kontext gerissene Zusammenfassungen und ungenaue Übersetzungen. Google hat an Such- und Sprachproblemen in Indien gearbeitet und es ist zu erwarten, dass es beim ersten Versuch ein besseres Ergebnis geliefert haben sollte.
Google teilte Tech mit, dass seine KI-Übersichten nur bei Suchanfragen angezeigt werden, bei denen das Unternehmen großes Vertrauen in die Qualität der Ergebnisse hat. Die Funktion sei „in unseren zentralen Suchqualitätssystemen verwurzelt“ und werde „nur Informationen anzeigen, die durch die wichtigsten Webergebnisse untermauert werden“.
„Unsere Tests zeigen, dass die Genauigkeitsrate von AI Overviews mit anderen Funktionen wie Featured Snippets vergleichbar ist. Wenn Probleme auftreten, können sie darauf zurückzuführen sein, dass unsere Systeme Webinhalte falsch interpretieren oder Ungenauigkeiten im Web wiedergeben – und wir verwenden diese Beispiele zur Verbesserung, wie wir es bei allen Suchfunktionen tun“, sagte ein Google-Sprecher gegenüber Tech.
Google kann die Qualität der Quellen, die es zitiert, bemängeln. Allerdings ist es Googles Algorithmus, der entschieden hat, ob die Frage und die Quellen es wert sind, von der KI zusammengefasst zu werden. Nicht alle Nutzer werden sich das Material auf den Quellenseiten ansehen und Google lediglich dafür kritisieren, dass es ungenaue oder unverständliche Antworten anzeigt.
KI-Übersichten waren für Google ein enttäuschendes Unterfangen. Anfang des Jahres wurde das Unternehmen heftig kritisiert, weil es Antworten von Reddit veröffentlichte, die besagten ein Benutzer, der Kleber auf die Pizza gibt. KI-Übersichten sagten einem anderen Benutzer, er solle essen „ein kleiner Stein pro Tag”, eine Antwort, die aus folgendem stammt: Die ZwiebelViele der von uns auf Hindi getesteten Beispiele lieferten einfach keine korrekten Informationen zum Thema.
Indien hat mehr als 830 Millionen Internetnutzerund ein großer Teil davon nutzt Google für die Suche. Wenn das Unternehmen möchte, dass mehr Leute die KI-Übersicht in lokalen Sprachen nutzen, muss es seine Anstrengungen in Bezug auf sprachliche und inhaltliche Genauigkeit steigern.