Benchmarking-Schwergewichte Primatenlabore hat am Donnerstag Geekbench AI 1.0 veröffentlicht. Die App, die derzeit für Android, Linux, MacOS und Windows verfügbar ist, wendet die Prinzipien von Geekbench auf maschinelles Lernen, Deep Learning und andere KI-Workloads an, um Leistungsbewertungen plattformübergreifend zu standardisieren. Es ist ein Nachfolger von Geekbench ML (Maschinelles Lernen), das 2021 angekündigt wurde und derzeit in der Version 0.6 vorliegt.
„[I]„In den letzten Jahren haben sich Unternehmen darauf geeinigt, den Begriff ‚KI‘ für diese Art von Workloads (und in ihrem entsprechenden Marketing) zu verwenden“, sagt Primate Labs über die Namensänderung. „Um sicherzustellen, dass jeder, vom Ingenieur bis zum Leistungsenthusiasten, versteht, was dieser Benchmark macht und wie er funktioniert, dachten wir, es sei Zeit für ein Update.“
Anfang dieser Woche hat ChatGPT-Hersteller OpenAI kündigte eine neue Version an seines eigenen KI-Modell-Benchmarks. SWE-bench Verified ist ein „von Menschen validiertes“ Angebot, das menschliche Validierung nutzt, um die Wirksamkeit von Modellen bei der Lösung „realer Probleme“ zu bestimmen.