Ein Startup namens Letta ist gerade aus der Versenkung aufgetaucht und hat eine Technologie entwickelt, die KI-Modellen hilft, sich an Benutzer und Gespräche zu erinnern. Das in der berühmten Startup-Fabrik Labs der UC Berkeley entwickelte Unternehmen kündigte außerdem 10 Millionen US-Dollar Startkapital an, das von Astasia Myers von Felicis geleitet wurde, und erreichte nach der Kapitalerhöhung eine Bewertung von 70 Millionen US-Dollar.
Letta wird außerdem von einer ganzen Reihe von Angel-Investoren im KI-Bereich unterstützt, darunter unter anderem Jeff Dean von Google, Clem Delangue von Hugging Face, Cristóbal Valenzuela von Runway und Robert Nishihara von Anyscale.
Gegründet von den Berkeley-Doktoranden Sarah Wooders und Charles Packer ist dies ein mit Spannung erwarteter Start eines KI-Startups. Das liegt daran, dass es ein Ableger des Sky Computing Lab in Berkeley ist und die kommerzielle Entität des beliebten Open-Source-Projekts MemGPT darstellt.
Berkeleys Sky Computing Lab, das vom renommierten Professor und Databricks-Mitbegründer Ion Stoica geleitet wird, ist der Nachfolger von RISELab und AMPLab, aus denen Unternehmen wie Anyscale, Databricks und SiFive hervorgingen. Insbesondere Sky Lab brachte zahlreiche beliebte Open-Source-Projekte für große Sprachmodelle (LLM) hervor, wie Gorilla LLM, vLLM und die strukturierte LLM-Sprache SGLang.
„Eine Menge Projekte kamen innerhalb eines Jahres aus dem Labor. Einfach Leute, die neben uns saßen“, beschrieb Wooders. „Es war also eine unglaubliche Zeit.“
MemGPT ist ein solches Projekt und erfreut sich eines so großen Interesses, dass es sich bereits vor seiner Veröffentlichung viral verbreitete.
„Jemand hat uns ausgestochen“, sagte Packer gegenüber Tech. Die Gründer hatten hat ein Whitepaper veröffentlicht am Donnerstag, den 12. Oktober 2023, und plante, am darauffolgenden Montag ein ausführlicheres Dokument und den Code auf GitHub zu veröffentlichen. Irgendeine zufällige Person fand das Dokument, postete es am Sonntag auf Hacker News und es „ging auf Hacker News viral, bevor wir die Chance hatten, den Code richtig zu veröffentlichen, das Dokument zu veröffentlichen oder, so etwas, einen Tweet-Thread oder so etwas zu machen“, sagte er.
Der Grund für die Aufregung war, dass MemGPT ein für LLMs schädliches Problem abmildert: In ihrer nativen Form sind Modelle wie ChatGPT zustandslos, was bedeutet, dass sie keine historischen Daten im Langzeitgedächtnis speichern. Dies ist problematisch für KI-Apps, die darauf angewiesen sind, einen Benutzer im Laufe der Zeit kennenzulernen und von ihm zu lernen – von Bots für den Kundensupport bis hin zu Apps zur Verfolgung von Gesundheitssymptomen. MemGPT verwaltet Daten und Speicher, sodass sich KI-Agenten und Chatbots an frühere Benutzer und Gespräche erinnern können.
Der Beitrag zu dem Artikel blieb 48 Stunden lang auf Hacker News, der beliebten Website für Programmierer, die von Y Combinator betrieben wird, stehen, erzählte Packer. Also verbrachte er sein Wochenende und die nächsten Tage damit, Fragen auf der Website zu beantworten, während er versuchte, den Code für die Veröffentlichung vorzubereiten. Als das Projekt auf GitHub verfügbar war, ging ein Link dazu auf Hacker News erneut viral. YouTube-Interviews und Tutorials, Mittlere Beiträge, 11.000 Sterne und 1,2.000 Forks auf GitHub ging schnell.
Auch VC Felicis‘ Myers entdeckte Wooders und Packer, als er über MemGPT las, und erkannte sofort das kommerzielle Potenzial der Technologie.
„Ich habe das Papier gesehen, als es veröffentlicht wurde“, sagte sie gegenüber Tech und kontaktierte umgehend die Gründer. „Wir hatten ein Investitionsthema rund um die Infrastruktur von KI-Agenten und erkannten, dass eine wirklich wichtige Komponente davon das Daten- und Speichermanagement war, um diese Konversations-Chatbots und KI-Agenten effektiv zu machen.“
Die Gründer liefen virtuell immer noch durch die Sand Hill Road und führten Zoom-Anrufe mit VCs, bevor sie sich an denjenigen wandten, der sie zuerst mochte.
In der Zwischenzeit vermittelte Stoica Kontakte zu Dean, Nishihara und anderen namhaften Angel-Investoren aus dem Silicon Valley. „Viele Professoren in Berkeley haben, einfach weil sie in Berkeley sind, sehr gute Beziehungen“, erinnert sich Packer an die einfache Vorgehensweise bei der Suche nach Angel-Investoren. „Sie haben ein Auge auf Projekte aus diesem Labor geworfen, die kommerzialisiert werden sollen.“
Wettbewerb und Bedrohung durch OpenAI o1
Während MemGPT bereits im Einsatz ist, ist Lettas kommerzielle Variante, Letta Cloud, noch nicht einsatzbereit. Seit Montag nimmt Letta Anfragen von Beta-Benutzern entgegen. Es wird einen gehosteten Agentendienst bieten, der es Entwicklern ermöglicht, Stateful Agents in der Cloud bereitzustellen und auszuführen. Der Zugriff erfolgt über REST-APIs, eine Programmierschnittstelle, die den Status aufrechterhalten kann. Letta Cloud wird die dafür erforderlichen Langzeitdaten speichern. Letta wird auch Entwicklertools zum Erstellen von KI-Agenten anbieten.
Wooders sieht bei MemGPT ein breites Anwendungsspektrum. „Ich denke, der wichtigste Anwendungsfall, den wir sehen, sind grundsätzlich hochgradig personalisierte, sehr ansprechende Chatbots“, sagt sie. Aber es gibt auch hochmoderne Anwendungen wie „einen Chatbot für Krebspatienten“, bei dem Patienten ihre Krankengeschichte hochladen und dann aktuelle Symptome mitteilen, sodass der Bot im Laufe der Zeit lernen und Anleitung bieten kann.
Es ist erwähnenswert, dass MemGPT nicht allein daran arbeitet. LangChain ist wahrscheinlich sein bekanntester Konkurrent und bietet bereits kommerzielle Optionen. Die größten Modellhersteller bieten ebenfalls Tools zur Erstellung von KI-Agenten an, wie beispielsweise die Assistants API von OpenAI.
Und das neue o1-Modell von OpenAI könnte die Notwendigkeit, den Zustand zu fixieren, für seine Benutzer zu einem strittigen Punkt machen. Da es sich um ein mehrstufiges Modell handelt, muss es grundsätzlich den Zustand bis zu einem gewissen Grad aufrechterhalten, um „nachdenken“ und Fakten überprüfen zu können, bevor es antwortet.
Aber Wooders, Packer und Myers sehen ein paar wesentliche Unterschiede zwischen dem Angebot von Letta und dem, was der 800-Pfund-Marktgorilla OpenAI macht. Letta behauptet, es werde mit jedem KI-Modell funktionieren und erwartet von seinen Benutzern, dass sie viele davon verwenden: OpenAI, Anthropic, Minstrel, ihre eigenen selbst entwickelten Modelle. Die Technologie von OpenAI funktioniert derzeit nur mit sich selbst.
Noch wichtiger ist, dass Letta MemGPT als Open Source verwendet und sich in der Debatte FOSS vs. Blackbox LLM klar auf die Seite von Open Source stellt. Er sagt, dass Open Source für KI-Anwendungsprogrammierer die bessere Wahl sei.
„Wir positionieren uns als offene Alternative zu OpenAI“, sagt Packer. „Ich denke, es ist tatsächlich sehr, sehr schwer, sehr gute KI-Anwendungen zu entwickeln, insbesondere wenn es um Halluzinationen geht und man nicht sehen kann, was unter der Haube vor sich geht.“