Google hat am Donnerstag neue Richtlinien für Entwickler veröffentlicht, die KI-Apps erstellen, die über Google Play vertrieben werden, in der Hoffnung, unangemessene und anderweitig verbotene Inhalte einzuschränken. Das Unternehmen sagt, dass Apps mit KI-Funktionen die Generierung von eingeschränkten Inhalten – darunter sexuelle Inhalte, Gewalt und mehr – verhindern müssen und den Benutzern eine Möglichkeit bieten müssen, anstößige Inhalte zu kennzeichnen, die sie finden. Darüber hinaus sagt Google, dass Entwickler ihre KI-Tools und -Modelle „rigoros testen“ müssen, um sicherzustellen, dass sie die Sicherheit und Privatsphäre der Benutzer respektieren.
Außerdem wird gegen Apps vorgegangen, deren Marketingmaterial unangemessene Anwendungsfälle fördert, wie etwa Apps, die Menschen ausziehen oder unfreiwillige Nacktbilder erstellen. Wenn im Anzeigentext steht, dass die App solche Dinge tun kann, kann sie von Google Play verbannt werden, unabhängig davon, ob die App tatsächlich dazu in der Lage ist oder nicht.
Die Richtlinien folgen einer wachsenden Plage von KI-Entkleidungs-Apps, die sich in den letzten Monaten in den sozialen Medien selbst vermarktet haben. Ein Bericht von 404 Media vom April stellte beispielsweise fest, dass Instagram Anzeigen für Apps, die angeblich mithilfe von KI Deepfake-Nacktfotos erstellen. Eine App bewarb sich selbst mit einem Bild von Kim Kardashian und dem Slogan „Ziehen Sie jedes Mädchen kostenlos aus.“ Apple und Google haben die Apps aus ihren jeweiligen App Stores entfernt, aber das Problem ist immer noch weit verbreitet.
Schulen in den gesamten USA berichten von Problemen mit Studenten Vorbeigehen um KI Deepfake Nacktbilder von anderen Schülern (und manchmal Lehrer) für Mobbing und Belästigung, neben anderen Arten von unangemessen KI-Inhalte. Letzten Monat führte ein rassistischer KI-Deepfake eines Schuldirektors zu einer Verhaftung in Baltimore. Schlimmer noch, das Problem ist sogar Auswirkungen auf Schüler in Mittelschulenin manchen Fällen.
Google sagt, dass seine Richtlinien dazu beitragen werden, Apps von Google Play fernzuhalten, die KI-generierte Inhalte enthalten, die für Benutzer unangemessen oder schädlich sein können. Es verweist auf seine bestehende Richtlinie für KI-generierte Inhalte als Anhaltspunkt für die Anforderungen für die App-Genehmigung bei Google Play. Das Unternehmen sagt, dass KI-Apps die Generierung von eingeschränkten Inhalten nicht zulassen dürfen und den Benutzern auch die Möglichkeit geben müssen, anstößige und unangemessene Inhalte meldensowie das Überwachen und Priorisieren dieses Feedbacks. Letzteres ist besonders wichtig bei Apps, bei denen die Interaktionen der Benutzer „den Inhalt und das Erlebnis prägen“, sagt Google, wie zum Beispiel bei Apps, bei denen beliebte Modelle höher eingestuft oder prominenter hervorgehoben werden.
Entwickler dürfen außerdem nicht angeben, dass ihre App gegen die Regeln von Google Play verstößt. Anforderungen für die App-PromotionWenn ein unangemessener Anwendungsfall beworben wird, kann die App aus dem App Store entfernt werden.
Darüber hinaus sind Entwickler dafür verantwortlich, ihre Apps vor Eingabeaufforderungen zu schützen, die ihre KI-Funktionen manipulieren könnten, um schädliche und anstößige Inhalte zu erstellen. Google sagt, Entwickler können seine geschlossene Tests Funktion, frühe Versionen ihrer Apps mit Benutzern zu teilen, um Feedback zu erhalten. Das Unternehmen empfiehlt Entwicklern dringend, vor der Veröffentlichung nicht nur zu testen, sondern diese Tests auch zu dokumentieren, da Google in Zukunft um eine Überprüfung bitten könnte.
Das Unternehmen veröffentlicht auch andere Ressourcen und Best Practices, wie zum Beispiel seine Leitfaden „Menschen + KI“dessen Ziel es ist, Entwickler bei der Erstellung von KI-Apps zu unterstützen.