Das benutzerdefinierte KI-Avatar-Tool von Zoom kann mit Risiken verbunden sein

Das benutzerdefinierte KI Avatar Tool von Zoom kann mit Risiken verbunden sein

Zoom möchte Sie in einen KI-animierten, fotorealistischen Avatar verwandeln – aber erst irgendwann im nächsten Jahr.

Die kommende Funktion, die heute auf der jährlichen Entwicklerkonferenz von Zoom angekündigt wurde, wird einen Videoclip, den Benutzer von sich selbst aufnehmen, in einen digitalen Klon übersetzen – komplett mit Kopf, Oberarmen und Schultern. Benutzer können ein Skript darüber eingeben, was das digitale Double sagen soll, und Zoom generiert Audio, das mit den Lippenbewegungen des Avatars synchronisiert wird.

Smita Hashim, Chief Product Officer von Zoom, sagte gegenüber Tech, dass die benutzerdefinierten Avatare entwickelt wurden, um Menschen dabei zu helfen, „asynchron“ mit Kollegen „schneller und produktiver“ zu chatten.

„Avatare sparen Benutzern wertvolle Zeit und Mühe beim Aufzeichnen von Clips und ermöglichen ihnen die Skalierung der Videoerstellung“, sagte Hashim.

Sie könnten jedoch auch ein Deepfake-Risiko darstellen.

Eine Reihe von Unternehmen haben KI-Technologie entwickelt, um das Gesicht einer Person digital zu „klonen“ und diesen Klon mit einigermaßen natürlich klingender synthetischer Sprache zu kombinieren. Tavus beispielsweise hilft Marken dabei, virtuelle Personas für personalisierte Videoanzeigen zu erstellen, und Microsoft hat letztes Jahr einen Dienst eingeführt, der überzeugende digitale Stellvertreter für eine Person generieren kann.

Viele dieser Tools verfügen jedoch über spezifische, strenge Schutzmaßnahmen zum Schutz vor Missbrauch. Tavus erfordert mündliche Einwilligungserklärungen und Microsoft verlangt, dass seine Kunden die schriftliche Genehmigung und Zustimmung aller vorgestellten Avatar-Talente einholen.

Zoom äußerte sich etwas unklarer zu seinen Sicherheitsmaßnahmen.

Hashim verwies auf die Nutzungsrichtlinien von Zoom, die Missbrauch verbieten, und sagte, das Unternehmen baue „zahlreiche Schutzmaßnahmen“ in seine benutzerdefinierte Avatar-Funktion ein, darunter „erweiterte Authentifizierung“ und Wasserzeichen.

„Wir werden die Sicherheitsvorkehrungen auch in Zukunft überprüfen und bei Bedarf ergänzen“, sagte Hashim. „Wir setzen (…) Technologie ein, um deutlich zu machen, wann ein Clip mit einem Avatar generiert wird, und (…) um die Integrität von Avatar-generierten Inhalten sicherzustellen.“

Ein Modell der benutzerdefinierten Avatar-Funktion von Zoom. Bildnachweis:Zoom

Die digitalen Abbilder von Zoom stimmen mit denen von CEO Eric Yuan überein umfassendere Vision Es geht darum, KIs zu schaffen, die eines Tages in Zoom-Meetings für Sie sprechen, E-Mails beantworten und Telefonanrufe entgegennehmen können.

Aber diese Ähnlichkeiten entstehen zu einer Zeit, in der sich Deepfakes in den sozialen Medien wie ein Lauffeuer verbreiten und es schwieriger macht, Wahrheit von Desinformation zu unterscheiden.

Bisher haben Deepfakes mit Präsident Joe Biden, Taylor Swift und Vizepräsidentin Kamala Harris in diesem Jahr Millionen von Aufrufen und erneuten Teilen erzielt. Zuletzt gefälschte generative KI-Bilder von Zerstörung und menschlichem Leid überschwemmte das Internet nach dem Hurrikan Helene.

Deepfakes wurden auch eingesetzt, um Einzelpersonen ins Visier zu nehmen – von sich als geliebte Menschen ausgebenZum Beispiel. Die durch Identitätsbetrug verursachten Verluste beliefen sich im vergangenen Jahr auf über 1 Milliarde US-Dollar. nach an die FTC.

Wie genau wird Zoom verhindern, dass Betrüger sein Tool verwenden, um Videos von Personen zu erstellen, die Dinge sagen, die sie nicht gesagt haben, und dies aus böswilligen Absichten? Es ist noch nicht klar. Ein vom Unternehmen bereitgestelltes Modell zeigt ein sichtbares Wasserzeichen in der oberen rechten Ecke eines benutzerdefinierten Avatar-Videos. Solche Wasserzeichen können jedoch mit Bildschirmaufzeichnungstools leicht herausgeschnitten werden.

Wir hoffen, in der ersten Hälfte des Jahres 2025 mehr zu erfahren, wenn Zoom plant, benutzerdefinierte Avatare für Zoom Clips, sein asynchrones Videotool, als Teil eines Premium-Add-ons für 12 US-Dollar pro Benutzer und Monat zu veröffentlichen.

Welche Schritte Zoom auch unternimmt – oder unterlässt – es gibt fortlaufende Regulierungsbemühungen, um die Flut von Deepfakes einzudämmen.

Da es in den USA kein Gesetz gibt, das Deepfakes auf Bundesebene unter Strafe stellt, haben mehr als zehn Bundesstaaten Gesetze gegen KI-gestützten Identitätswechsel erlassen. Das derzeit ins Stocken geratene kalifornische Gesetz wäre das erste, das Richtern die Befugnis geben würde, die Plakate von Deepfakes anzuweisen, sie zu entfernen, andernfalls drohen möglicherweise Geldstrafen.

tch-1-tech