Facebook Elternteil Meta scheint bei künstlicher Intelligenz (KI) genauso optimistisch zu sein wie Google und Microsoft. Das Unternehmen hat seine KI-ModellS. In der neuesten Entwicklung hat das Unternehmen ein neues Open-Source-KI-Modell namens Meta angekündigt ImageBinddas verschiedene Sinne – sechs um genau zu sein – zu Erlebnissen verbindet. Meta-CEO Mark Zuckerberg gab die Ankündigung in einem Instagram-Kanal bekannt und teilte auch ein Video, in dem die Funktionsweise des Modells erklärt wird.
„Heute öffnen wir ImageBind, ein neues KI-Modell, das verschiedene Sinne kombiniert, genau wie Menschen es tun. Es versteht Bilder, Video, Audio, Tiefe, Wärme und räumliche Bewegung. Schauen Sie sich das Video an, um einige Beispiele dafür zu sehen, was es jetzt kann, und ich freue mich darauf, zu sehen, was Sie alle damit bauen“, sagte Zuckerberg.Wie funktioniert Meta ImageBind?
Das Projekt, das zu diesem Zeitpunkt noch ein Forschungsprojekt ist, kann generative KI verwenden, um immersive, multisensorische Erfahrungen zu schaffen. Das ImageBind-KI-Modell kann sechs Arten von Informationen binden: Text, Bild/Video, Audio, Tiefe (3D), Wärme (Infrarotstrahlung) und Trägheitsmesseinheiten (IMU). Die Wärme- und Trägheitseinheiten können Bewegung und Position berechnen. „ImageBind stattet Maschinen mit einem ganzheitlichen Verständnis aus, das Objekte auf einem Foto damit verbindet, wie sie klingen, ihre 3D-Form, wie warm oder kalt sie sind und wie sie sich bewegen“, sagte das Unternehmen.Wenn Sie dem Modell beispielsweise ein Bild eines Tigers und Audiodaten eines Wasserfalls geben, kombiniert es diese Eingabedaten, um ein Video mit beiden Elementen zu erstellen. Wenn Sie eine Modelleingabe wie „kleine Kreatur“ (Text), „Regenwald“ (Bild), „Regen“ (Audio) und ein Foto eines Vogels (IMU) eingeben, werden diese zu einem Video kombiniert. „ImageBind ist Teil von Metas Bemühungen, multimodale KI-Systeme zu schaffen, die aus allen möglichen Arten von Daten um sie herum lernen. Da die Anzahl der Modalitäten zunimmt, öffnet ImageBind die Schleusen für Forscher, um zu versuchen, neue, ganzheitliche Systeme zu entwickeln, wie z. B. die Kombination von 3D- und IMU-Sensoren, um immersive, virtuelle Welten zu entwerfen oder zu erleben“, sagte das Unternehmen.Meta sagte, dass ImageBind auch eine Möglichkeit bieten könnte, Erinnerungen zu erkunden – die Suche nach Bildern, Videos, Audiodateien oder Textnachrichten mit einer Kombination aus Text, Audio und Bild.
„Heute öffnen wir ImageBind, ein neues KI-Modell, das verschiedene Sinne kombiniert, genau wie Menschen es tun. Es versteht Bilder, Video, Audio, Tiefe, Wärme und räumliche Bewegung. Schauen Sie sich das Video an, um einige Beispiele dafür zu sehen, was es jetzt kann, und ich freue mich darauf, zu sehen, was Sie alle damit bauen“, sagte Zuckerberg.Wie funktioniert Meta ImageBind?
Das Projekt, das zu diesem Zeitpunkt noch ein Forschungsprojekt ist, kann generative KI verwenden, um immersive, multisensorische Erfahrungen zu schaffen. Das ImageBind-KI-Modell kann sechs Arten von Informationen binden: Text, Bild/Video, Audio, Tiefe (3D), Wärme (Infrarotstrahlung) und Trägheitsmesseinheiten (IMU). Die Wärme- und Trägheitseinheiten können Bewegung und Position berechnen. „ImageBind stattet Maschinen mit einem ganzheitlichen Verständnis aus, das Objekte auf einem Foto damit verbindet, wie sie klingen, ihre 3D-Form, wie warm oder kalt sie sind und wie sie sich bewegen“, sagte das Unternehmen.Wenn Sie dem Modell beispielsweise ein Bild eines Tigers und Audiodaten eines Wasserfalls geben, kombiniert es diese Eingabedaten, um ein Video mit beiden Elementen zu erstellen. Wenn Sie eine Modelleingabe wie „kleine Kreatur“ (Text), „Regenwald“ (Bild), „Regen“ (Audio) und ein Foto eines Vogels (IMU) eingeben, werden diese zu einem Video kombiniert. „ImageBind ist Teil von Metas Bemühungen, multimodale KI-Systeme zu schaffen, die aus allen möglichen Arten von Daten um sie herum lernen. Da die Anzahl der Modalitäten zunimmt, öffnet ImageBind die Schleusen für Forscher, um zu versuchen, neue, ganzheitliche Systeme zu entwickeln, wie z. B. die Kombination von 3D- und IMU-Sensoren, um immersive, virtuelle Welten zu entwerfen oder zu erleben“, sagte das Unternehmen.Meta sagte, dass ImageBind auch eine Möglichkeit bieten könnte, Erinnerungen zu erkunden – die Suche nach Bildern, Videos, Audiodateien oder Textnachrichten mit einer Kombination aus Text, Audio und Bild.