Letztes Jahr, Genealogiedienst MyHeritage ist schnell bekannt geworden nach der Einführung einer neuen „Deepfake“-Funktion, mit der Benutzer die Gesichter ihrer Lieben in Standbildern animieren konnten. TikTok-Benutzer haben Videos gepostet, die auf die Technologie namens „Deep Nostalgia“ reagieren, als sie Verwandte zurückbrachten, die sie nie getroffen haben, oder diejenigen, deren Verlust sie immer noch betrauern. Bis heute wurden über 100 Millionen Fotos mit der Funktion animiert. Jetzt kommt die nächste Iteration. Heute ist MyHeritage zusammen mit Technologiepartnern TAT erweitert „Deep Nostalgia“ mit Der Start von „LiveStory“, ein Feature, das die Personen auf Fotos nicht nur durch Bewegung zum Leben erweckt, sondern sie tatsächlich zum Sprechen bringt.
MyHeritage lizenziert die neue Technologie von TAT, ein in Tel Aviv ansässiges Startup, das an der Entwicklung einer patentierten Video-Reenactment-Technologie arbeitet, die auf KI- und Deep-Learning-Techniken basiert.
Die Technologien von D-ID, die Entwicklern über APIs zur Verfügung stehen, wurden von einer Reihe von Lizenznehmern in den Bereichen Medien, Bildung, Marketing und mehr verwendet. Warner Bros. hat zum Beispiel mit D-ID zusammengearbeitet ermöglichen Benutzern, einen Filmtrailer zu personalisieren mit animierten Fotos und für eine Harry-Potter-Ausstellung. Mondelēz International, Werbeagentur Publicis und Digitas Vietnam Partnerschaft mit D-ID über Marketingbemühungen für ein lokales Festival. Indiens Kurzform-Video-App Josh integrierte die Gesichtsanimationstechnik als kreatives Werkzeug. Auch gemeinnützige Organisationen und Regierungen haben die Technologie in verschiedenen Bereichen eingesetzt öffentliches Bewusstsein Kampagnen.
Mit dem Debüt von LiveStory bringt MyHeritage die neueste KI-Technologie von D-ID direkt zu den Verbrauchern.
Um die Funktion zu nutzen, können Verbraucher ein kostenloses MyHeritage-Konto erstellen, mit dem sie die Technologie mehrmals kostenlos ausprobieren können. Darüber hinaus müssen sie auf a upgraden bezahlter Abonnementplan für die unbegrenzte Nutzung von LiveStory.
Die Technologie funktioniert, um eine animierte Videoerzählung über das Leben eines Vorfahren zu erstellen, damit sie ihre eigene Geschichte erzählen können. Dies wird durch das zum Patent angemeldete D-ID unterstützt Sprechende Portrait-Technologie die ein kommentiertes Video basierend auf einem hochgeladenen Foto generiert und es dann mit einem synthetischen Sprachgenerator kombiniert. Die Erzählung der Geschichte stammt aus der Texteingabe des Benutzers.
Damit die Lippen zu den Wörtern passen, trainierte D-ID ein neuronales Netzwerk auf einer Datenbank mit Videos von sprechenden Personen. Seine Technologie ist in der Lage, mit jeder Sprache zu arbeiten, sagt das Unternehmen. Die MyHeritage-Implementierung unterstützt jedoch 31 Sprachen, darunter Dutzende von Dialekten, mit sowohl männlichen als auch weiblichen Sprachoptionen.
„Die Technologie ist so gut, dass Sie kein Fahrervideo benötigen“, bemerkt der Mitbegründer von D-ID, CEO Gil Perry – was bedeutet, dass die Technologie kein Video der Bewegungen einer realen Person erfordert, die dann einem Standbild zugeordnet werden Bild. „Sie geben nur Text und das Foto ein und lassen dann die Person sprechen“, sagt er. Die Technologie ist nicht perfekt, gibt Perry zu und vergleicht sie stattdessen mit „wirklich guter Lippensynchronisation“.
Nachdem die LiveStory erstellt wurde, können Benutzer sie ansehen, mit Freunden teilen oder in sozialen Medien posten. Sie können die Geschichte auch weiter anpassen, indem sie den Text bearbeiten, eine andere Stimme auswählen oder sogar ihre eigene Audioaufnahme hochladen.
Bildnachweis: TAT
Längerfristig stellt sich D-ID vor, wie diese Technologie in einer Metaverse-Umgebung eingesetzt werden könnte, in der digitale Avatare von Menschen mit KI animiert werden könnten – und nicht nur Gesichter, sondern Ganzkörperbewegungen in 3D-Welten. Perry stellt sich vor, wie Benutzer ihre eigenen Kindheitsfotos, die von Familienmitgliedern oder sogar historischen Persönlichkeiten hochladen, sie dann im Metaverse animieren und Gespräche führen könnten.
„Unsere Kinder wollen sich mit Albert Einstein unterhalten und lernen und ihm zuhören und ihm Fragen stellen“, sagt er. „Und er wird uns antworten.“ (Und wenn eine universelle Übersetzung verfügbar ist, könnte er sogar in der eigenen Sprache des Benutzers antworten.)
Diese Technologie ist natürlich noch einige Jahre auf dem Weg, aber sie wird auf Konzepten aufbauen, die heute entwickelt werden – wie Deep Nostalgia und LiveStory – wenn und falls sie sich schließlich durchsetzen wird.
In der Zwischenzeit gibt es MyHeritage und bald die eigene Verbraucher-App von D-ID, die dazu beitragen wird, seine Technologie auf andere Weise zu demonstrieren. Die App wird in den „kommenden Wochen“ eintreffen, sagt D-ID.
Das MyHeritage LiveStory-Feature wurde heute auf der RootsTech Family-History Tech Conference angekündigt. Es funktioniert auf dem Desktop, im mobilen Web und in der mobilen MyHeritage-App.
„LiveStory bringt das Geschichtenerzählen auf die nächste Stufe“, sagte Gilad Japhet, Gründer und CEO von MyHeritage, in einer Erklärung zum Start. „Mit dieser neuesten viralen Funktion ist MyHeritage weiterhin führend in der Welt der Online-Familiengeschichte in Bezug auf Vision und Innovation. Unser Einsatz von KI, um historischen Fotos neues Leben einzuhauchen, ist einzigartig und hilft Millionen von Menschen, eine erneuerte emotionale Verbindung zu ihren Vorfahren und verstorbenen Angehörigen aufzubauen. Bei der Genealogie geht es darum, unsere Familiengeschichten zu erzählen und zu bewahren. Wir zeigen der Welt immer wieder, wie unterhaltsam und fesselnd Genealogie sein kann.“
D-ID, das ebenfalls von Sella Blondheim und Eliran Kuta mitbegründet wurde, ist ein 32-köpfiges Team und plant, sich durch Neueinstellungen zu verdoppeln über Positionen in den USA, Großbritannien, Singapur und Israel.