Wie jedes große Technologieunternehmen heutzutage hat Meta sein eigenes Flaggschiff-Modell für generative KI, genannt Lama. Llama ist unter den großen Modellen insofern einzigartig, als es „offen“ ist, d. h. Entwickler können es herunterladen und verwenden, wie sie wollen (mit gewissen Einschränkungen). Das steht im Gegensatz zu Modellen wie Claude von Anthropics, GPT-4o von OpenAI (das ChatGPT antreibt) und Gemini von Google, auf die nur über APIs zugegriffen werden kann.
Um Entwicklern jedoch eine Auswahl zu bieten, hat Meta auch Partnerschaften mit Anbietern wie AWS, Google Cloud und Microsoft Azure geschlossen, um Cloud-gehostete Versionen von Llama verfügbar zu machen. Darüber hinaus hat das Unternehmen Tools veröffentlicht, die die Feinabstimmung und Anpassung des Modells erleichtern sollen.
Hier finden Sie alles, was Sie über Llama wissen müssen, von seinen Funktionen und Editionen bis hin zu den Einsatzmöglichkeiten. Wir werden diesen Beitrag auf dem neuesten Stand halten, wenn Meta Upgrades veröffentlicht und neue Entwicklungstools einführt, um die Verwendung des Modells zu unterstützen.
Was ist Lama?
Llama ist eine Familie von Modellen – nicht nur eins:
- Lama 8B
- Lama 70B
- Lama 405B
Die neuesten Versionen sind Lama 3.1 8B, Lama 3.1 70B Und Lama 3.1 405Bdas im Juli 2024 veröffentlicht wurde. Sie werden anhand von Webseiten in verschiedenen Sprachen, öffentlichem Code und Dateien im Web sowie synthetischen Daten (d. h. Daten, die von anderen KI-Modellen generiert werden) trainiert.
Llama 3.1 8B und Llama 3.1 70B sind kleine, kompakte Modelle, die auf Geräten von Laptops bis hin zu Servern laufen sollen. Llama 3.1 405B hingegen ist ein Großmodell, das (ohne einige Modifikationen) Rechenzentrumshardware erfordert. Llama 3.1 8B und Llama 3.1 70B sind weniger leistungsfähig als Llama 3.1 405B, aber schneller. Tatsächlich sind sie „destillierte“ Versionen von 405B, die für geringen Speicheraufwand und Latenz optimiert sind.
Alle Llama-Modelle haben Kontextfenster mit 128.000 Token. (In der Datenwissenschaft sind Token unterteilte Rohdaten, wie die Silben „fan“, „tas“ und „tic“ im Wort „fantastic“.) Der Kontext oder das Kontextfenster eines Modells bezieht sich auf Eingabedaten (z. B. Text), die das Modell berücksichtigt, bevor es eine Ausgabe (z. B. zusätzlichen Text) generiert. Ein langer Kontext kann verhindern, dass Modelle den Inhalt aktueller Dokumente und Daten „vergessen“ und vom Thema abschweifen und falsche Schlussfolgerungen ziehen.
Diese 128.000 Token entsprechen etwa 100.000 Wörtern oder 300 Seiten, was etwa der Länge von „Wuthering Heights“, „Gullivers Reisen“ und „Harry Potter und der Gefangene von Askaban“ entspricht.
Was kann Lama tun?
Wie andere generative KI-Modelle kann Llama eine Reihe verschiedener unterstützender Aufgaben ausführen, wie etwa Codieren und Beantworten einfacher mathematischer Fragen sowie das Zusammenfassen von Dokumenten in acht Sprachen (Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thailändisch). Die meisten textbasierten Workloads – etwa das Analysieren von Dateien wie PDFs und Tabellenkalkulationen – fallen in seinen Zuständigkeitsbereich; keines der Llama-Modelle kann Bilder verarbeiten oder generieren, obwohl dies ändern in naher Zukunft.
Alle aktuellen Llama-Modelle können so konfiguriert werden, dass sie Apps, Tools und APIs von Drittanbietern nutzen, um Aufgaben zu erledigen. Sie sind sofort einsatzbereit, um Brave Search zur Beantwortung von Fragen zu aktuellen Ereignissen, die Wolfram Alpha API für mathematisch-wissenschaftliche Abfragen und einen Python-Interpreter zur Validierung von Code zu verwenden. Darüber hinaus können die Llama 3.1-Modelle laut Meta bestimmte Tools verwenden, die sie noch nicht gesehen haben (aber ob sie das können, ist noch unklar). zuverlässig die Verwendung dieser Werkzeuge ist eine andere Sache).
Wo kann ich Llama verwenden?
Wenn Sie einfach nur mit Llama chatten möchten, ist es Unterstützung des Meta AI-Chatbot-Erlebnisses auf Facebook Messenger, WhatsApp, Instagram, Oculus und Meta.ai.
Entwickler, die mit Llama arbeiten, können das Modell auf den meisten gängigen Cloud-Plattformen herunterladen, verwenden oder optimieren. Meta behauptet, dass über 25 Partner Llama hosten, darunter Nvidia, Databricks, Groq, Dell und Snowflake.
Einige dieser Partner haben auf der Basis von Llama zusätzliche Tools und Dienste entwickelt, darunter Tools, mit denen die Modelle auf proprietäre Daten verweisen und mit denen sie mit geringeren Latenzen ausgeführt werden können.
Meta empfiehlt, die kleineren Modelle Llama 8B und Llama 70B für allgemeine Anwendungen wie Chatbots und Codegenerierung zu verwenden. Llama 405B, so das Unternehmen, sei besser für die Modelldestillation geeignet – den Prozess der Wissensübertragung von einem großen Modell auf ein kleineres, effizienteres Modell – und die Generierung synthetischer Daten zum Trainieren (oder Feinabstimmen) alternativer Modelle.
Wichtig: Die Llama-Lizenz schränkt ein, wie Entwickler das Modell einsetzen können: App-Entwickler mit mehr als 700 Millionen monatlichen Nutzern müssen bei Meta eine spezielle Lizenz anfordern, die das Unternehmen nach eigenem Ermessen gewährt.
Neben Llama bietet Meta Tools, die die Verwendung des Modells „sicherer“ machen sollen:
- Lama-Wächter, ein Moderationsrahmen
- Schneller Wächter, ein Tool zum Schutz vor Prompt-Injection-Angriffen
- CyberSecEval, eine Suite zur Risikobewertung der Cybersicherheit
Llama Guard versucht, potenziell problematische Inhalte zu erkennen, die entweder in ein Llama-Modell eingespeist oder von diesem generiert werden. Dazu gehören Inhalte im Zusammenhang mit kriminellen Aktivitäten, Kindesmissbrauch, Urheberrechtsverletzungen, Hass, Selbstverletzung und sexuellem Missbrauch. Entwickler können anpassen die Kategorien blockierter Inhalte und wenden Sie die Blockaden auf alle Sprachen an, die Llama standardmäßig unterstützt.
Wie Llama Guard kann Prompt Guard Text blockieren, der für Llama bestimmt ist, aber nur Text, der das Modell „angreifen“ und es dazu bringen soll, sich auf unerwünschte Weise zu verhalten. Meta behauptet, dass Llama Guard gegen explizit bösartige Eingabeaufforderungen (d. h. Jailbreaks, die versuchen, die integrierten Sicherheitsfilter von Llama zu umgehen) sowie gegen Eingabeaufforderungen mit „Eingespritzte Eingaben.”
CyberSecEval ist weniger ein Tool als vielmehr eine Sammlung von Benchmarks zur Messung der Modellsicherheit. CyberSecEval kann das Risiko bewerten, das ein Llama-Modell (zumindest nach den Kriterien von Meta) für App-Entwickler und Endbenutzer in Bereichen wie „automatisiertes Social Engineering“ und „Skalierung offensiver Cyberoperationen“ darstellt.
Lamas Einschränkungen
Wie alle Modelle generativer KI ist auch Llama mit gewissen Risiken und Einschränkungen verbunden.
Beispielsweise ist unklar, ob Meta Llama auf urheberrechtlich geschützten Inhalt trainiert hat. Wenn dies der Fall wäre, könnten Benutzer für Urheberrechtsverletzungen haftbar gemacht werden, wenn sie unabsichtlich einen urheberrechtlich geschützten Ausschnitt verwenden, den das Modell wiedergekäut hat.
Meta an einem Punkt verwendete urheberrechtlich geschützte E-Books für das KI-Training trotz der Warnungen seiner eigenen Anwälte, wie Reuters kürzlich berichtete. Das Unternehmen trainiert seine KI kontrovers anhand von Instagram- und Facebook-Posts, Fotos und Bildunterschriften und erschwert den Benutzern die DeaktivierungDarüber hinaus ist Meta zusammen mit OpenAI Gegenstand eines laufenden Gerichtsverfahrens von Autoren, darunter der Komikerin Sarah Silverman, wegen der angeblichen unbefugten Verwendung urheberrechtlich geschützter Daten durch die Unternehmen für das Modelltraining.
Auch beim Programmieren ist es ratsam, bei der Verwendung von Llama vorsichtig zu sein. Denn Llama könnte – wie seine Gegenstücke zur generativen KI – fehlerhaften oder unsicheren Code produzieren.
Wie immer ist es am besten, den KI-generierten Code von einem menschlichen Experten überprüfen zu lassen, bevor er in einen Dienst oder eine Software integriert wird.