Man könnte meinen, die Entwickler von San Francisco würden sich nach einer langen Woche voller Programmieren in die Berge, an den Strand oder in die pulsierende Clubszene der Bay Area zurückziehen. Doch in Wirklichkeit beginnen nach Ende der Woche die KI-Hackathons.
In den letzten Jahren ist in San Francisco eine wahre Explosion von KI-Hackathons ausgebrochen. An jedem Samstag oder Sonntag halten Technologen Vorträge über die neuesten Fortschritte in den Bereichen KI und Netzwerke und – am wichtigsten – sie setzen Ideen in funktionierende Demonstrationen um. Manchmal werden bei Hackathons Preise in Form von Bargeld oder Cloud-Guthaben ausgelobt, aber die wahren Gewinner gehen mit der Ahnung eines Startups nach Hause.
„Es gibt keinen besseren Ort auf der Welt als San Francisco, um das ehrgeizigste Projekt Ihres Lebens umzusetzen“, sagt Agentur-Mitbegründer Alex Reibman. „Es gibt häufig jede Menge Wettbewerbe – wie Hackathons – aber sie konkurrieren nicht miteinander. Es ist sowohl kollaborativ als auch wettbewerbsorientiert.“
Letzten Sommer beschloss Reibman bei einem Hackathon in San Francisco, sich an der Entwicklung von KI-Agenten zu versuchen, die das Internet durchsuchen können. Agenten sind ein heißes Thema im Silicon Valley, da der KI-Boom gerade seinen Höhepunkt erreicht. Der Begriff ist nicht genau definiert, beschreibt aber im Allgemeinen KI-basierte Bots, die Aufgaben automatisch ausführen können, indem sie Schnittstellen und Dienste verwenden, die ursprünglich nicht für die Automatisierung konzipiert wurden – eine Art Ersatz für alltägliche Aufgaben, die früher menschliches Eingreifen erforderten.
Doch Reibman stieß sofort auf ein Problem. „Sie waren Mist“, sagte Reibman in einem Interview. „Die Agenten versagten in 30 bis 40 Prozent der Fälle und oft auf unerwartete Weise.“
Um das Problem zu beheben, entwickelte Reibmans Team interne Debugging-Tools, um herauszufinden, wo die Agenten Fehler machten. Am Ende funktionierten die Agenten zwar etwas besser, aber die Debugging-Tools selbst waren am Ende der Gewinner des Hackathons.
„Ich begann, die Tools bei einer Reihe von Hackathons und Events in San Francisco zu zeigen, und die Leute fragten nach Zugang dazu“, sagte Reibman. „Das war im Grunde die Bestätigung, die ich brauchte: Anstatt selbst einen Agenten zu entwickeln, sollten wir Tools entwickeln, die das Erstellen von Agenten einfacher machen.“
Also gründete Reibman zusammen mit seinen Mitgründern Adam Silverman und Shawn Qiu Agency und bot Tools an, mit denen man beobachten konnte, was KI-Agenten tatsächlich tun, und herausfinden konnte, wo sie Fehler machen. Ein Jahr später wurden diese Tools schließlich zum Kernprodukt von Agency, der AgentOps-Plattform, die mittlerweile monatlich von Tausenden von Teams genutzt wird, erzählt Reibman gegenüber Tech. Das Startup hat inzwischen 2,6 Millionen Dollar an Vorfinanzierung eingesammelt, angeführt von 645 Ventures und Afore Capital.
Chief Operating Officer Adam Silverman erklärt gegenüber Tech, dass AgentOps wie eine „Multi-Device-Verwaltung für Agenten“ sei, die alles analysiert, was der Agent tut, um sicherzustellen, dass er nicht außer Kontrolle gerät.
„Sie möchten wissen, ob Ihr Agent außer Kontrolle gerät, und welche Einschränkungen Sie einführen können“, sagte Silverman in einem Interview. „Ein Großteil der Arbeit besteht darin, visuell zu erkennen, wo Ihre Leitplanken vorhanden sind und ob die Agenten sich daran halten, bevor sie in die Produktion überführt werden.“
Das Startup arbeitet mit Cohere und Mistral zusammen, KI-Modellentwicklern, die auch Dienste zur Agentenerstellung anbieten, sodass Kunden das Dashboard von AgentOps nutzen können, um zu sehen, wie Agenten mit der Welt interagieren und wie viel jeder einzelne kostet. Agency ist modellunabhängig, d. h. es funktioniert mit mehreren verschiedenen KI-Agenten-Frameworks, ist aber in beliebte Tools wie AutoGen, CrewAI und AutoGPT von Microsoft integriert.
Neben dem Dashboard von AgentOps bietet Agency auch Beratungsdienste an (Reibman war zuvor bei der Beratungsfirma EY), um Unternehmen beim Aufbau von Agenten zu helfen. Agency wollte keine Kundennamen nennen, teilte jedoch mit, dass Hedgefonds, Berater und Marketingfirmen ihre Tools verwenden.
Laut Reibman hat Agency beispielsweise dabei geholfen, einen KI-Agenten zu entwickeln, der Blogbeiträge über Unternehmen schreibt, mit denen der Kunde zusammenarbeitet. Jetzt nutzt derselbe Kunde das AgentOps-Dashboard, um die Leistung und Kosten des Agenten zu verfolgen.
Große Akteure wie OpenAI und Google werden ihre Agentenprodukte wahrscheinlich in den kommenden Monaten weiterentwickeln, und KI-Startups wie Agency müssen herausfinden, wie sie parallel zu diesen Fortschritten arbeiten können und nicht gegen sie.
„Der Stack besteht aus so vielen Schichten, dass der LLM-Anbieter wahrscheinlich nicht versuchen wird, sie alle abzudecken“, sagte Reibman. „OpenAI und Anthropic entwickeln die Agent Builder, aber es gibt all diese Schichten darum herum, um sicherzustellen, dass Sie eine produktionsreife Codebasis haben.“