Der Zugriff auf die gängigsten Sprachmodelle ist zwar über eine API möglich, aber offene Modelle – soweit dieser Begriff überhaupt ernst genommen werden kann – sind auf dem Vormarsch. Mistral, ein französisches KI-Startup, das im Juni eine große Seed-Runde gestartet hat, hat gerade sein erstes Modell vorgestellt, das nach eigenen Angaben andere seiner Größe übertrifft – und die Nutzung völlig kostenlos und ohne Einschränkungen möglich ist.
Das Mistral 7B-Modell steht heute auf verschiedenen Wegen zum Download zur Verfügung, darunter auch über einen 13,4-Gigabyte-Torrent (mit bereits einigen hundert Seedern). Das Unternehmen hat auch eine gegründet GitHub Repository und Zwietracht Kanal für Zusammenarbeit und Fehlerbehebung.
Am wichtigsten ist, dass das Modell unter dem veröffentlicht wurde Apache 2.0-Lizenz, ein äußerst freizügiges System, das über die Zuschreibung hinaus keine Einschränkungen hinsichtlich der Nutzung oder Vervielfältigung vorsieht. Das bedeutet, dass das Modell von einem Bastler, einem milliardenschweren Unternehmen oder dem Pentagon gleichermaßen genutzt werden könnte, sofern sie über ein System verfügen, das es lokal ausführen kann, oder bereit sind, für die erforderlichen Cloud-Ressourcen zu zahlen.
Mistral 7B ist eine weitere Weiterentwicklung anderer „kleiner“ großer Sprachmodelle wie Llama 2 und bietet ähnliche Funktionen (gemäß einigen Standard-Benchmarks) zu deutlich geringeren Rechenkosten. Foundation-Modelle wie GPT-4 können viel mehr, sind jedoch weitaus teurer und schwieriger auszuführen, sodass sie ausschließlich über APIs oder Fernzugriff verfügbar gemacht werden.
„Unser Ziel ist es, der führende Unterstützer der offenen generativen KI-Community zu werden und offene Modelle auf den neuesten Stand der Technik zu bringen“, schrieb Mistrals Team in einem Blogeintrag begleitend zur Veröffentlichung des Modells. „Die Leistung des Mistral 7B zeigt, was kleine Modelle mit genügend Überzeugung leisten können. Dies ist das Ergebnis einer dreimonatigen intensiven Arbeit, in der wir das Mistral AI-Team zusammengestellt, einen leistungsstarken MLops-Stack neu aufgebaut und eine hochentwickelte Datenverarbeitungspipeline von Grund auf entworfen haben.“
Für einige (vielleicht die meisten) mag diese Liste wie eine Arbeit von mehr als drei Monaten klingen, aber die Gründer hatten einen Vorsprung, da sie bei Meta und Google DeepMind an ähnlichen Modellen gearbeitet hatten. Das macht es zwar nicht gerade einfach, aber zumindest wussten sie, was sie taten.
Obwohl es von jedem heruntergeladen und genutzt werden kann, ist das natürlich etwas ganz anderes als „Open Source“ oder eine Variante dieses Begriffs. wie wir letzte Woche bei Disrupt besprochen haben. Obwohl die Lizenz sehr freizügig ist, wurde das Modell selbst privat und mit privatem Geld entwickelt, und die Datensätze und Gewichte sind ebenfalls privat.
Und das scheint das Geschäftsmodell von Mistral auszumachen: Die Nutzung des kostenlosen Modells ist kostenlos, aber wenn Sie sich darauf einlassen möchten, möchten Sie das kostenpflichtige Produkt. „[Our commercial offering] werden als White-Box-Lösungen verteilt, wodurch sowohl Gewichte als auch Codequellen verfügbar sind. Wir arbeiten aktiv an gehosteten Lösungen und dedizierter Bereitstellung für Unternehmen“, heißt es im Blogbeitrag.
Ich habe Mistral um Klarstellung bezüglich der Offenheit und ihrer Pläne für zukünftige Veröffentlichungen gebeten und werde diesen Beitrag aktualisieren, wenn ich etwas von ihnen höre.