Das französische KI-Startup Mistral hat seine ersten generativen KI-Modelle veröffentlicht, die für die Ausführung auf Edge-Geräten wie Laptops und Telefonen konzipiert sind.
Die neue Modellfamilie, die Mistral „Les Ministraux“ nennt, kann für eine Vielzahl von Anwendungen verwendet oder optimiert werden, von der Texterstellung bis zur Zusammenarbeit mit leistungsfähigeren Modellen zur Erledigung von Aufgaben.
Es stehen zwei Les Ministraux-Modelle zur Verfügung – Ministral 3B und Ministral 8B – die beide über ein Kontextfenster von 128.000 Token verfügen, was bedeutet, dass sie ungefähr die Länge eines 50-seitigen Buches aufnehmen können.
„Unsere innovativsten Kunden und Partner fragen zunehmend nach lokalen, datenschutzorientierten Inferenzen für kritische Anwendungen wie Übersetzungen auf dem Gerät, intelligente Assistenten ohne Internet, lokale Analysen und autonome Robotik“, so Mistral schreibt in einem Blogbeitrag. „Les Ministraux wurde entwickelt, um eine recheneffiziente Lösung mit geringer Latenz für diese Szenarien bereitzustellen.“
Die Les Ministraux-Modelle stehen zum Download zur Verfügung – allerdings nur zu Forschungszwecken. Tatsächlich erlaubt Mistral nur die Nutzung von Ministral 8B für Forschungszwecke, nicht von Ministral 3B, für das eine kommerzielle Lizenz erforderlich ist.
Mistral verlangt außerdem von Entwicklern und Unternehmen, die an Les Ministraux-Selbstentwicklungs-Setups interessiert sind, dass sie sich wegen einer kommerziellen Lizenz an Mistral wenden.
Ansonsten können Entwickler Ministral 3B und Ministral 8B auf seiner Cloud-Plattform Le Platforme nutzen – und anderen Clouds, mit denen Mistral „in Kürze“ eine Partnerschaft eingegangen ist, sagt das Unternehmen. Ministral 8B kostet 10 Cent pro Million Output-/Input-Tokens (~750.000 Wörter), während Minstral 3B 4 Cent pro Million Output-/Input-Tokens kostet.