Kurz nach der Ankündigung des Gemini, seines neuesten großen Modells SprachmodellGoogle hat Lumiere vorgestellt, sein neues KI-gestütztes Tool das nutzt generative KI um Videos aus einfachen Textaufforderungen zu generieren.
Lumiere ist ein neues Text-zu-Video-Diffusionsmodell, das darauf ausgelegt ist, Videos aus Text in einer realistischen, vielfältigen und kohärenten Bewegung zu generieren. Das neue Videosprachenmodell basiert auf der Raum-Zeit-U-Net-Architektur, die die gesamte zeitliche Dauer des Videos in einem einzigen Durchgang im Modell auf einmal generiert.
Bei Lumiere hat Google sowohl räumliches als auch zeitliches Down- und Up-Sampling eingesetzt und nutzt ein vorab trainiertes Text-zu-Bild-Diffusionsmodell. Google sagt, dass sein neues Modell lernt, ein Video mit voller Bildrate und niedriger Auflösung direkt zu generieren, indem es es in mehreren Raum-Zeit-Skalen verarbeitet.
Google hat auch einige Beispiele und Arten von Videos geteilt Lumiere KI kann erzeugen:
Text-zu-Video: Lumiere zeichnet sich dadurch aus, dass es Videos basierend auf beschreibenden Textaufforderungen erstellt und Textszenen mit realistischen Bewegungen effektiv zum Leben erweckt.
Bild-zu-Video: Mithilfe eines einzelnen Referenzbilds und einer bestimmten Textaufforderung generiert Lumiere Videos, die einen bestimmten Bereich animieren und so die dynamische Inhaltserstellung aus statischen Bildern ermöglichen.
Video-Inpainting: Lumiere füllt fehlende oder beschädigte Teile von Eingabevideos nahtlos aus und sorgt so für ein reibungsloses und unterbrechungsfreies Seherlebnis.
Stilisierte Generierung: Mit dieser Funktion können Benutzer unterschiedliche Stile oder Themen auf eingegebene Bilder oder Videos anwenden, was die Kreativität fördert und eine personalisierte visuelle Ästhetik ermöglicht.
Videostilisierung: Lumiere integriert handelsübliche textbasierte Bildbearbeitungsmethoden für eine konsistente und kohärente Videobearbeitung und sorgt so für eine harmonische visuelle Erzählung.
Cinemagraphs: Das innovative Modell von Lumiere animiert bestimmte benutzerdefinierte Bereiche innerhalb eines Bildes und erstellt so fesselnde Cinemagraphs, die statische und dynamische Elemente nahtlos miteinander verbinden.
Video-Inpainting (Wiederholung): Das Tool zeichnet sich dadurch aus, dass es fehlende oder beschädigte Bereiche in einer Videosequenz füllt, die visuelle Integrität beibehält und die Gesamtqualität des Inhalts verbessert.
Lumiere ist ein neues Text-zu-Video-Diffusionsmodell, das darauf ausgelegt ist, Videos aus Text in einer realistischen, vielfältigen und kohärenten Bewegung zu generieren. Das neue Videosprachenmodell basiert auf der Raum-Zeit-U-Net-Architektur, die die gesamte zeitliche Dauer des Videos in einem einzigen Durchgang im Modell auf einmal generiert.
Bei Lumiere hat Google sowohl räumliches als auch zeitliches Down- und Up-Sampling eingesetzt und nutzt ein vorab trainiertes Text-zu-Bild-Diffusionsmodell. Google sagt, dass sein neues Modell lernt, ein Video mit voller Bildrate und niedriger Auflösung direkt zu generieren, indem es es in mehreren Raum-Zeit-Skalen verarbeitet.
Google hat auch einige Beispiele und Arten von Videos geteilt Lumiere KI kann erzeugen:
Text-zu-Video: Lumiere zeichnet sich dadurch aus, dass es Videos basierend auf beschreibenden Textaufforderungen erstellt und Textszenen mit realistischen Bewegungen effektiv zum Leben erweckt.
Bild-zu-Video: Mithilfe eines einzelnen Referenzbilds und einer bestimmten Textaufforderung generiert Lumiere Videos, die einen bestimmten Bereich animieren und so die dynamische Inhaltserstellung aus statischen Bildern ermöglichen.
Video-Inpainting: Lumiere füllt fehlende oder beschädigte Teile von Eingabevideos nahtlos aus und sorgt so für ein reibungsloses und unterbrechungsfreies Seherlebnis.
Stilisierte Generierung: Mit dieser Funktion können Benutzer unterschiedliche Stile oder Themen auf eingegebene Bilder oder Videos anwenden, was die Kreativität fördert und eine personalisierte visuelle Ästhetik ermöglicht.
Videostilisierung: Lumiere integriert handelsübliche textbasierte Bildbearbeitungsmethoden für eine konsistente und kohärente Videobearbeitung und sorgt so für eine harmonische visuelle Erzählung.
Cinemagraphs: Das innovative Modell von Lumiere animiert bestimmte benutzerdefinierte Bereiche innerhalb eines Bildes und erstellt so fesselnde Cinemagraphs, die statische und dynamische Elemente nahtlos miteinander verbinden.
Video-Inpainting (Wiederholung): Das Tool zeichnet sich dadurch aus, dass es fehlende oder beschädigte Bereiche in einer Videosequenz füllt, die visuelle Integrität beibehält und die Gesamtqualität des Inhalts verbessert.