Shriyash Upadhyay und Etan Ginsberg, KI-Forscher von der University of Pennsylvania, sind der Meinung, dass viele große KI-Unternehmen Grundlagenforschung opfern, um wettbewerbsfähige, leistungsstarke KI-Modelle zu entwickeln. Das Duo gibt der Marktdynamik die Schuld: Wenn Unternehmen beträchtliche Mittel aufbringen, geht es in der Regel eher darum, der Konkurrenz einen Schritt voraus zu sein, als sich mit den Fundamentaldaten zu befassen.
„Während unserer Forschung zu LLMs [at UPenn,] Wir haben diese Trends in der KI-Branche beobachtet“, sagten Upadhyay und Ginsberg gegenüber Tech in einem E-Mail-Interview. „Die Herausforderung besteht darin, die KI-Forschung profitabel zu machen.“
Upadhyay und Ginsberg dachten, dass der beste Weg, dieses Problem anzugehen, darin bestehen könnte, ein eigenes Unternehmen zu gründen – ein Unternehmen, dessen Produkte von der Interpretierbarkeit profitieren. Die Mission des Unternehmens würde natürlich mit der Förderung der Interpretierbarkeitsforschung und nicht mit der Fähigkeitsforschung übereinstimmen, was zu einer stärkeren Forschung führen würde.
Dieses Unternehmen, Marsianer, kam heute aus der Tarnung mit einer Finanzierung in Höhe von 9 Millionen US-Dollar von Investoren wie NEA, Prosus Ventures, Carya Venture Partners und General Catalyst. Der Erlös werde in die Produktentwicklung, die Erforschung der internen Abläufe der Modelle und den Ausbau des zehnköpfigen Martian-Teams gesteckt, sagen Upadhyay und Ginsberg.
Das erste Produkt von Martian ist ein „Modellrouter“, ein Tool, das eine Eingabeaufforderung für ein großes Sprachmodell (LLM) – beispielsweise GPT-4 – aufnimmt und automatisch an das „beste“ LLM weiterleitet. Standardmäßig wählt der Modellrouter das LLM mit der besten Betriebszeit, den besten Fähigkeiten (z. B. Lösen mathematischer Probleme) und dem besten Kosten-Leistungs-Verhältnis für die betreffende Eingabeaufforderung.
„Die Art und Weise, wie Unternehmen LLMs derzeit nutzen, besteht darin, für jeden Endpunkt, an den sie alle ihre Anfragen senden, ein einzelnes LLM auszuwählen“, sagten Upadhyay und Ginsberg. „Aber bei einer Aufgabe wie der Erstellung einer Website eignen sich je nach Kontext, den der Benutzer angibt (welche Sprache, welche Funktionen, wie viel er zu zahlen bereit ist usw.) unterschiedliche Modelle besser für eine bestimmte Anfrage … Durch den Einsatz eines Teams Durch die Anzahl der Modelle in einer Anwendung kann ein Unternehmen eine höhere Leistung und geringere Kosten erzielen, als dies mit einem einzelnen LLM allein möglich wäre.“
Das ist wahr. Sich ausschließlich auf ein High-End-LLM wie GPT-4 zu verlassen, kann für einige, wenn nicht die meisten Unternehmen zu kostenintensiv sein. Der CEO von Permutable.ai, einem Marktforschungsunternehmen, kürzlich enthüllt Es kostet das Unternehmen über 1 Million US-Dollar pro Jahr, etwa 2 Millionen Artikel pro Tag mit den High-End-Modellen von OpenAI zu verarbeiten.
Nicht jede Aufgabe erfordert die Leistung eines teureren Modells, aber es kann schwierig sein, ein System aufzubauen, das im laufenden Betrieb intelligent umschaltet. Hier kommt Martian ins Spiel – und seine Fähigkeit, die Leistung eines Modells abzuschätzen, ohne es tatsächlich auszuführen.
„Martian kann auf Anfrage zu günstigeren Modellen weiterleiten, die eine ähnliche Leistung wie die teuersten Modelle erbringen, und nur bei Bedarf zu teureren Modellen weiterleiten“, fügten sie hinzu. „Der Modell-Router indiziert neue Modelle, sobald sie herauskommen, und integriert sie ohne Reibung oder manuelle Arbeit in Anwendungen.“
Nun ist der Modellrouter von Martian keine neue Technologie. Mindestens ein weiteres Startup, Credal, bietet ein automatisches Modellwechsel-Tool. Sein Anstieg wird also von der Wettbewerbsfähigkeit der Preise von Martian abhängen – und von seiner Fähigkeit, in kommerziellen Szenarien mit hohem Risiko zu liefern.
Upadhyay und Ginsberg behaupten jedoch, dass es bereits eine gewisse Akzeptanz gegeben habe, auch bei „Multimilliarden-Dollar“-Unternehmen.
„Der Aufbau eines wirklich effektiven Modellrouters ist äußerst schwierig, da man dafür ein Verständnis dafür entwickeln muss, wie diese Modelle grundsätzlich funktionieren“, sagten sie. „Das ist der Durchbruch, den wir geschaffen haben.“