Auf der Augmented World Expo am Dienstag stellte Snap eine frühe Version seines Echtzeit-Bilddiffusionsmodells auf dem Gerät vor, das lebendige AR-Erlebnisse erzeugen kann. Das Unternehmen enthüllte auch generative KI-Tools für AR-Entwickler.
Bobby Murphy, Mitbegründer und CTO von Snap, erklärte auf der Bühne, dass das Modell klein genug sei, um auf einem Smartphone zu laufen, und schnell genug, um Frames in Echtzeit neu zu rendern, geleitet durch eine Textaufforderung.
Murphy sagte, dass das Aufkommen generativer KI-Bilddiffusionsmodelle zwar aufregend sei, diese Modelle jedoch deutlich schneller sein müssten, um für Augmented Reality wirkungsvoll zu sein, weshalb seine Teams an der Beschleunigung von Modellen des maschinellen Lernens gearbeitet hätten.
Snapchat-Benutzer werden in den kommenden Monaten die ersten Lenses mit diesem generativen Modell sehen und Snap plant, es den Entwicklern bis zum Jahresende zur Verfügung zu stellen.
„Dieses und zukünftige in Echtzeit auf Geräten generierte ML-Modelle weisen in eine spannende neue Richtung für Augmented Reality und geben uns Raum, unsere Vorstellungen vom Rendern und Erstellen von AR-Erlebnissen insgesamt zu überdenken“, sagte Murphy.
Murphy gab außerdem bekannt, dass Lens Studio 5.0 heute für Entwickler auf den Markt kommt und ihnen Zugriff auf neue generative KI-Tools bietet, mit denen sie AR-Effekte viel schneller als derzeit möglich erstellen und so Wochen und sogar Monate sparen können.
AR-Entwickler können Selfie-Objektive erstellen, indem sie hochrealistische ML-Gesichtseffekte generieren. Darüber hinaus können sie benutzerdefinierte Stilisierungseffekte generieren, die in Echtzeit eine realistische Transformation auf Gesicht, Körper und Umgebung des Benutzers anwenden. Entwickler können auch in wenigen Minuten ein 3D-Asset generieren und es in ihre Objektive integrieren.
Darüber hinaus können AR-Entwickler mithilfe der Face Mesh-Technologie des Unternehmens Charaktere wie Außerirdische oder Zauberer mit einer Text- oder Bildaufforderung erstellen. Sie können auch Gesichtsmasken, Texturen und Materialien innerhalb von Minuten erstellen.
Die neueste Version von Lens Studio enthält auch einen KI-Assistenten, der mögliche Fragen von AR-Erstellern beantworten kann.