Während die Gesetzgeber in den meisten Ländern immer noch darüber diskutieren, wie man Schutzmaßnahmen für künstliche Intelligenz errichten kann, hat die Europäische Union die Nase vorn, nachdem sie Anfang des Jahres einen risikobasierten Rahmen zur Regulierung von KI-Apps verabschiedet hat.
Das Gesetz trat im August in Kraft, obwohl die vollständigen Einzelheiten des EU-weiten KI-Governance-Regimes noch ausgearbeitet werden – beispielsweise werden derzeit Verhaltenskodizes ausgearbeitet –, aber in den kommenden Monaten und Jahren werden die abgestuften Bestimmungen des Gesetzes erweitert wird mit der Anwendung bei KI-App- und Modellherstellern beginnen, sodass der Compliance-Countdown bereits läuft.
Die nächste Herausforderung besteht darin, zu bewerten, ob und wie KI-Modelle ihren gesetzlichen Verpflichtungen nachkommen. Große Sprachmodelle (LLM) und andere sogenannte Basis- oder Allzweck-KIs werden den meisten KI-Apps zugrunde liegen, daher erscheint es wichtig, die Bewertungsbemühungen auf diese Ebene des KI-Stacks zu konzentrieren.
Treten Sie vor LatticeFlow AIein Spin-out der ETH Zürich, das sich auf KI-Risikomanagement und Compliance konzentriert.
Am Mittwoch veröffentlichte es die angeblich erste technische Interpretation des EU-KI-Gesetzes, was bedeutet, dass es darum geht, regulatorische Anforderungen auf technische Anforderungen abzubilden, zusammen mit einem Open-Source-LLM-Validierungsrahmen, der auf dieser Arbeit basiert – wie es heißt Kompl-KI („compl-ai“… sehen Sie, was sie dort gemacht haben!).
Die KI-Modellbewertungsinitiative – die sie auch als „die erste regulierungsorientierte LLM-Benchmarking-Suite“ bezeichnen – ist das Ergebnis einer langfristigen Zusammenarbeit zwischen der Eidgenössischen Technischen Hochschule und dem bulgarischen Institut für Informatik, Künstliche Intelligenz und Technologie (INSAIT). , pro LatticeFlow.
KI-Modellbauer können dazu die Compl-AI-Site nutzen eine Bewertung anfordern der Konformität ihrer Technologie mit den Anforderungen des EU-KI-Gesetzes.
LatticeFlow hat auch Modellbewertungen mehrerer Mainstream-LLMs veröffentlicht, wie z. B. verschiedene Versionen/Größen der Llama-Modelle von Meta und des GPT von OpenAI, zusammen mit einer Bestenliste zur Einhaltung des EU-KI-Gesetzes für große KI.
Letzteres bewertet die Leistung von Modellen von Unternehmen wie Anthropic, Google, OpenAI, Meta und Mistral anhand der gesetzlichen Anforderungen – auf einer Skala von 0 (d. h. keine Konformität) bis 1 (vollständige Konformität).
Andere Auswertungen sind als N/A gekennzeichnet (d. h. nicht verfügbar, wenn Daten fehlen, oder nicht anwendbar, wenn der Modellhersteller die Funktion nicht zur Verfügung stellt). (Hinweis: Zum Zeitpunkt des Verfassens dieses Artikels gab es auch einige Minuspunkte, aber uns wurde gesagt, dass dies auf einen Fehler in der Hugging Face-Benutzeroberfläche zurückzuführen sei.)
Das Framework von LatticeFlow bewertet LLM-Antworten anhand von 27 Benchmarks wie „toxische Vervollständigungen harmloser Texte“, „voreingenommene Antworten“, „Befolgen schädlicher Anweisungen“, „Wahrhaftigkeit“ und „logisches Denken“, um nur einige der Benchmarking-Kategorien zu nennen, die es dafür verwendet Auswertungen. Daher erhält jedes Modell in jeder Spalte eine Reihe von Bewertungen (oder N/A).
KI-Compliance ist gemischt
Wie haben sich die großen LLMs geschlagen? Es gibt keine Gesamtbewertung des Modells. Die Leistung variiert also je nachdem, was genau bewertet wird – es gibt jedoch einige bemerkenswerte Höhen und Tiefen bei den verschiedenen Benchmarks.
Beispielsweise weisen alle Modelle eine starke Leistung auf, wenn es darum geht, schädliche Anweisungen nicht zu befolgen. und durchweg eine relativ gute Leistung, wenn es darum ging, keine voreingenommenen Antworten zu geben – wohingegen die Ergebnisse in den Bereichen Argumentation und Allgemeinwissen viel uneinheitlicher ausfielen.
An anderer Stelle war die Empfehlungskonsistenz, die das Framework als Maß für Fairness verwendet, bei allen Modellen besonders schlecht – wobei keines über der Halbzeitmarke abschnitt (und die meisten deutlich darunter).
Andere Bereiche – wie die Eignung von Trainingsdaten sowie die Zuverlässigkeit und Robustheit von Wasserzeichen – scheinen im Wesentlichen nicht bewertet zu sein, da viele Ergebnisse mit „N/A“ gekennzeichnet sind.
LatticeFlow weist jedoch darauf hin, dass es bestimmte Bereiche gibt, in denen es schwieriger ist, die Konformität von Modellen zu bewerten, beispielsweise bei Hot-Button-Themen wie Urheberrecht und Datenschutz. Es wird also nicht so getan, als ob es alle Antworten hätte.
In einem Papier, in dem sie die Arbeit am Framework detailliert beschreiben, heben die an dem Projekt beteiligten Wissenschaftler hervor, dass die meisten der kleineren Modelle, die sie bewertet haben (≤ 13B-Parameter), „in Bezug auf technische Robustheit und Sicherheit schlecht abgeschnitten haben“.
Sie stellten außerdem fest, dass „fast alle untersuchten Modelle Schwierigkeiten haben, ein hohes Maß an Vielfalt, Nichtdiskriminierung und Fairness zu erreichen“.
„Wir glauben, dass diese Mängel in erster Linie darauf zurückzuführen sind, dass sich Modellanbieter unverhältnismäßig stark auf die Verbesserung der Modellfähigkeiten konzentrieren, auf Kosten anderer wichtiger Aspekte, die in den regulatorischen Anforderungen des EU-KI-Gesetzes hervorgehoben werden“, fügen sie hinzu und deuten darauf hin, dass LLM dies tun wird, wenn die Einhaltungsfristen zu greifen beginnen gezwungen sein, ihren Fokus auf Problembereiche zu verlagern – „was zu einer ausgewogeneren Entwicklung von LLMs führt“.
Da noch niemand genau weiß, was zur Einhaltung des EU-KI-Gesetzes erforderlich sein wird, ist das Framework von LatticeFlow zwangsläufig noch in Arbeit. Es ist auch nur eine Interpretation, wie die Anforderungen des Gesetzes in technische Ergebnisse umgesetzt werden könnten, die bewertet und verglichen werden können. Aber es ist ein interessanter Anfang für eine fortlaufende Anstrengung, leistungsstarke Automatisierungstechnologien zu erforschen und zu versuchen, ihre Entwickler zu sichereren Anwendungen zu führen.
„Das Rahmenwerk ist ein erster Schritt in Richtung einer vollständigen, auf Compliance ausgerichteten Bewertung des EU-KI-Gesetzes – es ist jedoch so konzipiert, dass es leicht aktualisiert werden kann, um im Gleichschritt mit der Aktualisierung des Gesetzes und den Fortschritten der verschiedenen Arbeitsgruppen Schritt zu halten.“ Petar Tsankov, CEO von LatticeFlow, sagte gegenüber Tech. „Die EU-Kommission unterstützt dies. Wir erwarten von der Community und der Industrie, dass sie den Rahmen in Richtung einer vollständigen und umfassenden AI Act-Bewertungsplattform weiterentwickeln.“
Tsankov fasste die bisher wichtigsten Erkenntnisse zusammen und sagte, es sei klar, dass KI-Modelle „überwiegend auf Fähigkeiten und nicht auf Compliance optimiert“ seien. Er wies auch auf „erhebliche Leistungslücken“ hin und wies darauf hin, dass einige leistungsstarke Modelle hinsichtlich der Compliance mit schwächeren Modellen mithalten können.
Besonders besorgniserregend sind laut Tsankov die Widerstandsfähigkeit gegen Cyberangriffe (auf Modellebene) und die Fairness, wobei viele Modelle im erstgenannten Bereich weniger als 50 % erreichen.
„Während Anthropic und OpenAI ihre (geschlossenen) Modelle erfolgreich darauf ausgerichtet haben, gegen Jailbreaks und Prompt-Injections zu punkten, legen Open-Source-Anbieter wie Mistral weniger Wert darauf“, sagte er.
Und da „die meisten Modelle“ bei Fairness-Benchmarks gleichermaßen schlecht abschneiden, schlug er vor, dass dies eine Priorität für die zukünftige Arbeit sein sollte.
Zu den Herausforderungen beim Benchmarking der LLM-Leistung in Bereichen wie Urheberrecht und Datenschutz erklärte Tsankov: „Für das Urheberrecht besteht die Herausforderung darin, dass aktuelle Benchmarks nur nach urheberrechtlich geschützten Büchern suchen. Dieser Ansatz weist zwei wesentliche Einschränkungen auf: (i) Er berücksichtigt keine potenziellen Urheberrechtsverletzungen, die andere Materialien als diese spezifischen Bücher betreffen, und (ii) er basiert auf der Quantifizierung der Modellspeicherung, was bekanntermaßen schwierig ist.
„Für den Datenschutz ist die Herausforderung ähnlich: Der Benchmark versucht lediglich festzustellen, ob das Modell bestimmte persönliche Informationen gespeichert hat.“
LatticeFlow ist daran interessiert, dass das kostenlose und Open-Source-Framework von der breiteren KI-Forschungsgemeinschaft übernommen und verbessert wird.
„Wir laden KI-Forscher, Entwickler und Regulierungsbehörden ein, gemeinsam mit uns dieses sich entwickelnde Projekt voranzutreiben“, sagte Professor Martin Vechev von der ETH Zürich und Gründer und wissenschaftlicher Direktor von INSAIT, der ebenfalls an der Arbeit beteiligt ist, in einer Erklärung. „Wir ermutigen andere Forschungsgruppen und Praktiker, einen Beitrag zu leisten, indem sie die Kartierung des AI Act verfeinern, neue Benchmarks hinzufügen und dieses Open-Source-Framework erweitern.
„Die Methodik kann auch erweitert werden, um KI-Modelle anhand künftiger Regulierungsakte über das EU-KI-Gesetz hinaus zu bewerten, was sie zu einem wertvollen Werkzeug für Organisationen macht, die in verschiedenen Gerichtsbarkeiten arbeiten.“