Da sich die KI immer mehr von der Cloud auf das Gerät verlagert, stellt sich die Frage: Wie genau soll man wissen, ob auf diesem oder jenem neuen Laptop eine GenAI-basierte App schneller ausgeführt wird als auf handelsüblichen Laptops – oder Desktops oder All-in-Geräten? -Einer übrigens? Wissen kann den Unterschied ausmachen, ob man ein paar Sekunden auf die Generierung eines Bildes oder ein paar Minuten wartet – und wie man so schön sagt: Zeit ist Geld.
MLCommons, die Branchengruppe hinter einer Reihe von KI-bezogenen Hardware-Benchmarking-Standards, will Um den Vergleich zu erleichtern, wurden Leistungsbenchmarks eingeführt, die auf „Client-Systeme“ – also Consumer-PCs – abzielen.
Heute gab MLCommons die Gründung einer neuen Arbeitsgruppe namens MLPerf Client bekannt, deren Ziel die Festlegung von KI-Benchmarks für Desktops, Laptops und Workstations mit Windows, Linux und anderen Betriebssystemen ist. MLCommons verspricht, dass die Benchmarks „szenariogesteuert“ sein werden, sich auf reale Endbenutzer-Anwendungsfälle konzentrieren und „auf dem Feedback der Community basieren“.
Zu diesem Zweck wird sich der erste Benchmark von MLPerf Client auf textgenerierende Modelle konzentrieren, insbesondere auf Metas Llama 2, das laut MLCommons-Geschäftsführer David Kanter bereits in die anderen Benchmarking-Suiten von MLCommons für Rechenzentrumshardware integriert wurde. Meta hat auch umfangreiche Arbeit an Llama 2 mit Qualcomm und Microsoft geleistet optimieren Llama 2 für Windows – sehr zum Vorteil von Windows-Geräten.
„Die Zeit ist reif, MLPerf auf Client-Systeme zu bringen, da KI überall zu einem erwarteten Bestandteil der Datenverarbeitung wird“, sagte Kanter in einer Pressemitteilung. „Wir freuen uns darauf, mit unseren Mitgliedern zusammenzuarbeiten, um die Exzellenz von MLPerf in Kundensysteme zu integrieren und neue Funktionen für die breitere Community voranzutreiben.“
Zu den Mitgliedern der MLPerf Client-Arbeitsgruppe gehören AMD, Arm, Asus, Dell, Intel, Lenovo, Microsoft, Nvidia und Qualcomm – aber insbesondere nicht Apple.
Apple ist auch kein Mitglied der MLCommons, und ein technischer Direktor von Microsoft (Yannis Minadakis) ist Co-Vorsitzender der MLPerf-Client-Gruppe – weshalb die Abwesenheit des Unternehmens nicht völlig überraschend ist. Das enttäuschende Ergebnis ist jedoch, dass alle KI-Benchmarks, die der MLPerf-Client heraufbeschwört, nicht auf allen Apple-Geräten getestet werden – zumindest nicht in naher Zukunft.
Dennoch ist dieser Autor gespannt, welche Art von Benchmarks und Tools aus dem MLPerf-Client hervorgehen, ob macOS-Unterstützung oder nicht. Unter der Annahme, dass GenAI bestehen bleibt – und es keine Anzeichen dafür gibt, dass die Blase in absehbarer Zeit platzen wird – würde es mich nicht überraschen, wenn diese Art von Kennzahlen bei Kaufentscheidungen für Geräte eine zunehmende Rolle spielen würden.
In meinem besten Fall ähneln die MLPerf-Client-Benchmarks den vielen PC-Build-Vergleichstools im Internet und geben einen Hinweis darauf, welche KI-Leistung man von einer bestimmten Maschine erwarten kann. Vielleicht werden sie in Zukunft sogar auf Telefone und Tablets ausgeweitet, wenn man die Beteiligung von Qualcomm und Arm bedenkt (beide investieren stark in das Ökosystem mobiler Geräte). Es ist eindeutig noch am Anfang – aber es gibt Hoffnung.