Es ist eine universelle Wahrheit der menschlichen Natur, dass die Entwickler, die den Code erstellen, nicht diejenigen sein sollten, die ihn testen. Erstens verabscheuen die meisten von ihnen diese Aufgabe. Zweitens sollten, wie bei jedem guten Prüfprotokoll, diejenigen, die die Arbeit erledigen, nicht diejenigen sein, die sie überprüfen.
Es überrascht daher nicht, dass Codetests in all ihren Formen – Benutzerfreundlichkeit, sprach- oder aufgabenspezifische Tests, End-to-End-Tests – ein Schwerpunkt einer wachsenden Zahl generativer KI-Startups sind. Jede Woche berichtet Tech über ein weiteres Like Antithesis (47 Millionen US-Dollar gesammelt); CodiumAI (sammelte 11 Millionen US-Dollar ein) QA Wolf (20 Millionen US-Dollar gesammelt). Und es tauchen ständig neue auf, wie zum Beispiel der neue Y-Combinator-Absolvent Momentisch.
Ein anderes ist ein einjähriges Startup Nova KI, ein Accelerator-Absolvent der Unusual Academy, der eine Pre-Seed-Runde in Höhe von 1 Million US-Dollar eingesammelt hat. Es versucht, seine Konkurrenten mit seinen End-to-End-Testtools zu übertrumpfen, indem es gegen viele der Regeln des Silicon Valley verstößt, wie Startups funktionieren sollten, sagt Gründer-CEO Zach Smith gegenüber Tech.
Während der Standardansatz von Y Combinator darin besteht, klein anzufangen, zielt Nova AI auf mittlere bis große Unternehmen mit komplexen Codebasen und einem dringenden Bedarf ab. Smith lehnte es ab, Kunden zu nennen, die sein Produkt nutzten oder testeten, mit der Ausnahme, dass es sich bei ihnen meist um in der Spätphase (Serie C oder darüber hinaus) durch Risikokapital finanzierte Start-ups in den Bereichen E-Commerce, Fintech oder Konsumgüter und „intensive Benutzererfahrungen“ handelte. Ausfallzeiten für diese Funktionen sind kostspielig.“
Die Technologie von Nova AI durchsucht den Code seiner Kunden, um mithilfe von GenAI automatisch Tests zu erstellen. Es ist insbesondere auf Umgebungen mit kontinuierlicher Integration und kontinuierlicher Bereitstellung/Bereitstellung (CI/CD) ausgerichtet, in denen Ingenieure ständig Teile und Teile in ihren Produktionscode integrieren.
Die Idee zu Nova AI entstand aus den Erfahrungen, die Smith und sein Mitbegründer Jeffrey Shih gemacht haben, als sie Ingenieure für große Technologieunternehmen waren. Smith ist ein ehemaliger Google-Mitarbeiter, der in Cloud-bezogenen Teams gearbeitet hat, die Kunden dabei geholfen haben, viele Automatisierungstechnologien zu nutzen. Shih hatte zuvor bei Meta (davor auch bei Unity und Microsoft) mit einer seltenen KI-Spezialität gearbeitet, bei der es um synthetische Daten ging. Seitdem ist ein dritter Mitbegründer hinzugekommen, ein KI-Datenwissenschaftler Henry Li.
Eine weitere Regel befolgt Nova AI nicht: Während Unmengen von KI-Startups auf dem branchenführenden GPT von OpenAI aufbauen, nutzt Nova AI den Chat GPT-4 von OpenAI so wenig wie möglich, nur um Code zu generieren und einige Kennzeichnungsaufgaben zu erledigen . Es werden keine Kundendaten an OpenAI weitergeleitet.
Während OpenAI das verspricht die Daten derjenigen, die einen kostenpflichtigen Businessplan haben wird nicht zum Trainieren seiner Modelle verwendet, Unternehmen vertrauen OpenAI immer noch nicht, sagt Smith. „Wenn wir mit großen Unternehmen sprechen, sagen sie: ‚Wir wollen nicht, dass unsere Daten in OpenAI eingehen‘“, sagte Smith.
Nicht nur die Ingenieursteams großer Unternehmen sehen das so. OpenAI wehrt sich eine Reihe von Klagen abwehren von denen, die nicht wollen, dass ihre Arbeit für die Ausbildung von Modellen verwendet wird, oder die glauben, dass ihre Arbeit unbefugt und unbezahlt in den Ergebnissen landet.
Nova AI verlässt sich stattdessen stark auf Open-Source-Modelle wie Llama, die von Meta und entwickelt wurden StarCoder (aus der BigCoder-Community, die von ServiceNow und Hugging Face entwickelt wurde) sowie die Erstellung eigener Modelle. Sie verwenden Gemma von Google noch nicht bei Kunden, haben es aber getestet und „gute Ergebnisse gesehen“, sagt Smith.
Er erklärt beispielsweise, dass eine häufige Verwendung von OpenAI GPT4 darin besteht, „Vektoreinbettungen“ in Daten zu erzeugen, damit LLM-Modelle die Vektoren für die semantische Suche verwenden können. Vektoreinbettungen übersetzen Textblöcke in Zahlen, sodass der LLM verschiedene Vorgänge ausführen kann, beispielsweise sie mit anderen ähnlichen Textblöcken gruppieren. Nova AI verwendet hierfür GPT4 von OpenAI für den Quellcode des Kunden, achtet jedoch darauf, keine Daten an OpenAI zu senden.
„Anstatt die Einbettungsmodelle von OpenAI zu verwenden, setzen wir in diesem Fall unsere eigenen Open-Source-Einbettungsmodelle ein, sodass wir, wenn wir jede Datei durchgehen müssen, sie nicht einfach an OpenAi senden“, erklärte Smith.
Smith hat herausgefunden, dass der Verzicht auf die Übermittlung von Kundendaten an OpenAI nervöse Unternehmen besänftigt, doch Open-Source-KI-Modelle sind auch günstiger und mehr als ausreichend für gezielte spezifische Aufgaben. In diesem Fall eignen sie sich gut zum Schreiben von Tests.
„Die offene LLM-Branche beweist wirklich, dass sie GPT 4 und diese großen Domain-Anbieter schlagen kann, wenn man ganz eng vorgeht“, sagte er. „Wir müssen kein riesiges Modell bereitstellen, das Ihnen sagen kann, was sich Ihre Oma zum Geburtstag wünscht. Rechts? Wir müssen einen Test schreiben. Und das ist es. Deshalb sind unsere Modelle speziell darauf abgestimmt.“
Auch Open-Source-Modelle schreiten schnell voran. Beispielsweise hat Meta kürzlich eine neue Version von Llama vorgestellt, die in Technologiekreisen große Anerkennung findet und möglicherweise mehr KI-Startups davon überzeugen könnte, nach OpenAI-Alternativen zu suchen.