Amazon Web Services (AWS), die Cloud-Computing-Abteilung von Amazon, bringt ein neues Tool zur Bekämpfung von Halluzinationen auf den Markt – also Szenarien, in denen sich ein KI-Modell unzuverlässig verhält.
Der auf der AWS-Konferenz re:Invent 2024 in Las Vegas angekündigte Dienst Automated Reasoning Checks validiert die Antworten eines Modells, indem er vom Kunden bereitgestellte Informationen auf Richtigkeit vergleicht. (Ja, das Wort „Checks“ wird in Kleinbuchstaben geschrieben.) AWS behauptet in einer Pressemitteilung, dass Automated Reasoning Checks der „erste“ und „einzige“ Schutz gegen Halluzinationen seien.
Aber das ist, nun ja … großzügig ausgedrückt.
Automatisierte Argumentationsprüfungen sind nahezu identisch mit der Korrekturfunktion, die Microsoft diesen Sommer eingeführt hat und die auch KI-generierten Text kennzeichnet, der möglicherweise sachlich falsch ist. Google bietet in Vertex AI, seiner KI-Entwicklungsplattform, auch ein Tool an, mit dem Kunden Modelle mithilfe von Daten von Drittanbietern, ihren eigenen Datensätzen oder der Google-Suche „erden“ können.
In jedem Fall werden automatisierte Argumentationsprüfungen durchgeführt, die über AWS verfügbar sind. Grundgestein Der Modell-Hosting-Dienst (insbesondere das Guardrails-Tool) versucht herauszufinden, wie ein Modell zu einer Antwort gelangt ist – und zu erkennen, ob die Antwort richtig ist. Kunden laden Informationen hoch, um eine Art Grundwahrheit zu ermitteln, und automatisierte Argumentationsprüfungen erstellen Regeln, die dann verfeinert und auf ein Modell angewendet werden können.
Während ein Modell Antworten generiert, werden diese durch automatische Argumentationsprüfungen überprüft und im Falle einer wahrscheinlichen Halluzination anhand der Grundwahrheit die richtige Antwort ermittelt. Diese Antwort wird zusammen mit der wahrscheinlichen Unwahrheit präsentiert, damit Kunden sehen können, wie weit das Modell möglicherweise von der Basis abweicht.
Laut AWS nutzt PwC bereits automatisierte Reasoning-Prüfungen, um KI-Assistenten für seine Kunden zu entwickeln. Und Swami Sivasubramanian, Vizepräsident für KI und Daten bei AWS, meinte, dass genau diese Art von Tools Kunden zu Bedrock locken.
„Mit der Einführung dieser neuen Funktionen“, sagte er in einer Erklärung, „entwickeln wir im Auftrag unserer Kunden Innovationen, um einige der größten Herausforderungen zu lösen, denen sich die gesamte Branche bei der Verlagerung generativer KI-Anwendungen in die Produktion gegenübersieht.“ Der Kundenstamm von Bedrock sei im letzten Jahr um das 4,7-fache auf Zehntausende Kunden gewachsen, fügte Sivasubramanian hinzu.
Aber wie mir ein Experte diesen Sommer sagte, ist der Versuch, Halluzinationen durch generative KI zu beseitigen, wie der Versuch, Wasserstoff aus Wasser zu entfernen.
KI-Modelle halluzinieren, weil sie eigentlich nichts „wissen“. Dabei handelt es sich um statistische Systeme, die Muster in einer Reihe von Daten erkennen und anhand zuvor gesehener Beispiele vorhersagen, welche Daten als nächstes kommen. Daraus folgt, dass die Antworten eines Modells keine Antworten sind, sondern Vorhersagen darüber, wie Fragen gestellt werden sollen beantwortet werden – innerhalb von a Fehlerquote.
AWS behauptet, dass automatisierte Argumentationsprüfungen „logisch korrekte“ und „überprüfbare Argumente“ verwenden, um zu ihren Schlussfolgerungen zu gelangen. Das Unternehmen hat jedoch keine Daten zur Verfügung gestellt, aus denen hervorgeht, dass das Tool zuverlässig ist.
In weiteren Neuigkeiten von Bedrock kündigte AWS heute Morgen Model Distillation an, ein Tool zur Übertragung der Fähigkeiten eines großen Modells (z. B. Llama 405B) auf ein kleines Modell (z. B. Llama 8B), das kostengünstiger und schneller zu betreiben ist. Eine Antwort auf Microsofts Destillation in Azure AI FoundryLaut AWS bietet die Modelldestillation eine Möglichkeit, mit verschiedenen Modellen zu experimentieren, ohne die Bank zu sprengen.
„Nachdem der Kunde Beispielaufforderungen bereitgestellt hat, übernimmt Amazon Bedrock die gesamte Arbeit, um Antworten zu generieren und das kleinere Modell zu verfeinern“, erklärte AWS in einem Blogbeitrag, „und kann bei Bedarf sogar weitere Beispieldaten erstellen, um das zu vervollständigen.“ Destillationsprozess.“
Aber es gibt ein paar Vorbehalte.
Model Distillation funktioniert derzeit nur mit von Bedrock gehosteten Modellen von Anthropic und Meta. Kunden müssen ein großes und ein kleines Modell aus derselben Modellfamilie auswählen – die Modelle dürfen nicht von unterschiedlichen Anbietern sein. Und destillierte Modelle werden etwas an Genauigkeit verlieren – „weniger als 2 %,“ behauptet AWS.
Wenn Sie das alles nicht abschreckt, ist die Modelldestillation jetzt in der Vorschau verfügbar, zusammen mit Automated Reasoning-Prüfungen.
Ebenfalls in der Vorschau verfügbar ist „Multi-Agent Collaboration“, eine neue Bedrock-Funktion, mit der Kunden Teilaufgaben in einem größeren Projekt KI zuweisen können. Als Teil von Bedrock Agents, dem Beitrag von AWS zur KI-Agenten-Begeisterung, bietet die Multi-Agenten-Zusammenarbeit Tools zum Erstellen und Optimieren von KI für Dinge wie die Überprüfung von Finanzunterlagen und die Bewertung globaler Trends.
Kunden können sogar einen „Supervisor-Agenten“ benennen, der Aufgaben automatisch auflöst und an die KIs weiterleitet. Der Vorgesetzte kann „[give] Bestimmte Agenten erhalten Zugriff auf die Informationen, die sie zur Erledigung ihrer Arbeit benötigen“, sagt AWS und „[determine] welche Aktionen parallel abgearbeitet werden können und welche zuvor Details aus anderen Aufgaben benötigen [an] Der Agent kann vorankommen.“
„Einmal alles spezialisiert [AIs] Vervollständigen Sie ihre Eingaben, den Supervisor-Agenten [can pull] die Informationen zusammen [and] Synthese der Ergebnisse“, schrieb AWS in dem Beitrag.
Klingt schick. Aber wie bei all diesen Funktionen müssen wir sehen, wie gut es funktioniert, wenn es in der realen Welt eingesetzt wird.