In einer Besprechung sitzen In einem Zimmer in einem Startup-Büro in Lissabon tippte ich stillschweigend die Antwort auf eine Frage, auf die nur mein Gegenüber die Antwort wusste. Nach welcher Art von Kaffee hatte ich gefragt, als ich im Büro ankam? Einen kurzen Moment später, ohne sich auch nur zu bewegen oder den Mund zu öffnen, kam die Antwort per SMS: „Du hattest einen Americano.“
So hatte ich nicht erwartet, einen Freitagnachmittag in der Stadt zu verbringen, aber hier saß ich in den Büros eines Startups für Unternehmenssprachübersetzungsdienste Unbabelgegenüber Gründer und CEO Vasco Pedro, um etwas zu testen, das wie eine Schnittstelle zwischen Gehirn und Computer aussah. Und es war ziemlich erstaunlich.
Die Geschichte beginnt vor vier Jahren.
Die Kernaufgabe von Unbabel – es Unternehmen zu ermöglichen, ihre Kunden in Dutzenden von Sprachen zu verstehen und von ihnen verstanden zu werden – hat das Unternehmen schon vor langer Zeit dazu veranlasst, über den sprichwörtlichen Tellerrand hinauszuschauen und mehrere Projekte intern zu entwickeln. Es wollte andere Möglichkeiten der Kommunikation erkunden. Als Startup mit VC-Finanzierung in Höhe von 90 Millionen US-Dollar, einem Jahresumsatz von rund 50 Millionen US-Dollar und einer überstandenen Pandemie geht es Unbabel nun gut genug, um diese Projekte zu erkunden.
„Wir hatten die Idee, uns mit Schnittstellen zwischen Gehirn und Kommunikation zu befassen“, erzählt mir Pedro. „Wir haben angefangen, eine Reihe von Experimenten durchzuführen, wie zum Beispiel ein 20-Prozent-Projekt.“
Das Innovationsteam von Unbabel wird geleitet von Paulo DimasVizepräsident für Produktinnovation, der sich mit der Entwicklung unseres Gehirns befasste.
„Sie haben Ihr limbisches System, Sie haben Ihren Neokortex. Aber sie haben sich tatsächlich über Millionen von Jahren entwickelt. Es handelt sich tatsächlich um getrennte Systeme. Und ich denke, was wir zu sehen beginnen, ist fast die Entstehung des „Überkortex“, von dem wir glauben, dass er KI-gesteuert sein wird und außerhalb Ihres biologischen Gehirns existieren wird“, sagte Pedro.
Dimas und sein Team begannen, sich mit Elektroenzephalogramm-Systemen (EEG) zu befassen, von denen einige in den Körper eingreifen können. Elon Musks Neuralink Das Unternehmen erforscht bekanntermaßen invasive Gehirn-Computer-Schnittstellengeräte für den Menschen.
[L to R] Mike Butcher, Tech; Paulo Dimas, Unbabel Vizepräsident für Produktinnovation; Vasco Pedro, CEO/Mitbegründer von Unbabel, mit dem Halo-Gerät.
EMG war das Tor
Doch dann kam Unbabels Team auf die Idee, ein EMG-System einzusetzen. EMG (Elektromyographie) misst die Muskelreaktion oder elektrische Aktivität als Reaktion auf die Stimulation des Muskels durch einen Nerv. EMG-Geräte sind alltäglich und trivial. Sie können sie sogar kaufen Amazon für ein paar Dollar.
„Wir stellten fest, dass das EEG immer noch zu laut war. Wir wollten nicht invasiv sein. Aber EMG, das die Muskelreaktion misst, war so weniger verrauscht. Sie können einige der Signale zuverlässiger erfassen“, sagte Pedro.
Das Team steckte Sensoren in ein Armband und begann herauszufinden, was sie messen konnten. „Wir begannen, EMG als Tor zur direkten Gehirninteraktion zu betrachten“, erzählte mir Pedro.
Dann beschlossen sie letztes Jahr, ein EMG-System mit generativer KI zu verbinden. Konkret ein LLM, das auf den Benutzer personalisiert wurde. Aber wie?
Vereinfacht ausgedrückt maß das System, wie der Träger eines EMG-Geräts reagieren würde, wenn er an ein Wort denkt. Dies würde helfen, eine Reihe von Signalen aufzubauen, die mit echten Wörtern korrelieren. Die Einspeisung dieser Signale in ein LLM würde die Schaffung eines „personalisierten LLM“ bedeuten.
Als ich Vasco in einer unsichtbaren Textnachricht fragte, um welche Art von Kaffee ich gebeten hatte, wurden ihm diese Worte über eine KI-Stimme an seine Ohrhörer gesendet. Dann fielen ihm Wörter wie „Schwarzer Kaffee“ ein. Der LLM ordnete dann seine physische Reaktion dem Wort zu, überprüfte erneut über den Ton in einem Ohrhörer, ob er „Americano“ meinte, und schickte mir dann die Antwort per Textnachricht – in diesem Anwendungsfall die SMS-App Telegram.
„Der LLM erweitert das, was Sie sagen. Und dann bestätige ich es, bevor ich es zurücksende. Es gibt also eine Interaktion mit dem LLM, bei der ich aufbaue, was ich sagen möchte, und dann kann ich die endgültige Botschaft genehmigen“, erklärte Pedro.
Die Demonstration fand vor meinen Augen statt. Es gab kein Bewegen oder Tippen. Nur Vasco Pedro antwortet stillschweigend per Textnachricht.
„Der LLM, der eine grundlegende Eingabeaufforderung fast sofort zu einer vollwertigen Antwort erweitert. Ich hätte keine Zeit, das alles auf natürliche Weise zu tippen. Deshalb nutze ich das LLM, um die Hauptarbeit bei der Reaktion zu erledigen“, fügte er hinzu.
Er wies auch darauf hin, dass der Träger die absolute Kontrolle darüber habe, was er ausgibt: „Es zeichnet nicht auf, was ich denke. Es zeichnet auf, was ich sagen möchte. Es ist also wie ein Gespräch. Andere Ansätze wie Neuralink versuchen tatsächlich, unbewusste Interaktionen zu messen. Wir schaffen einen Kanal, über den man kommunizieren kann, aber die Person muss ihn nutzen wollen.“
Pedro beschreibt es so, als hätte man eine Stimme im Kopf, mit der man kommunizieren kann: „Das Potenzial für eine Erweiterung ist riesig, aber es gibt noch viele Hürden zu überwinden.“
Wie funktioniert es? Die einfache Antwort ist eine „E-Skin“-EMG-Schnittstelle, die in eine Art flexible Hülle eingebettet ist und zusammen mit dem Labor für gedruckte Mikroelektronik am entwickelt wurde Universität Coimbra führen durch Professor Tavakoli.
Im Moment ist die Version ziemlich zusammengehackt, aber irgendwann könnte das Gerät miniaturisiert werden.
Die Geburt von Halo
Unbabel nannte seine Erfindung „Heiligenschein‚ (nach ‚Halogen‘). Auf dem Telefon des Trägers läuft eine App, die den Zugriff auf einen zentralen Hub zum Empfang der Kommunikation ermöglicht und die Kommunikation mit dem LLM und Antworten ermöglicht. Die Plattform nutzt derzeit Open AI ChatGPT 3.5.
So funktioniert das Halo-Gerät von Unbabel.
Pedro vergleicht Unbabels Projekt damit, dass Unternehmen für selbstfahrende Autos Daten von normalen Kameras zusammenhacken und nicht von komplizierten Systemen wie Lidar: „Wir werden eine Menge Daten bekommen, und wir können sie jetzt nutzen.“ Wir haben vor vier Jahren mit der Arbeit begonnen und der Wendepunkt liegt jetzt in Bezug auf generative KI. Dies ist der Moment, in dem sich das beschleunigen wird.“
Zugegebenermaßen ist dies nicht das erste Mal, dass EMG zur Steuerung eines Computers und zur Generierung von Antworten eingesetzt wird.
Beispielsweise hatte ein Gerät der von Facebook unterstützten CTRL-Labs ein EMG Armband Im Jahr 2019 wurden elektrische Impulse erfasst, die von Muskelfasern ausgehen, wenn diese sich bewegen.
Unbabels Ansatz scheint jedoch das erste Mal zu sein, dass ein LLM auf diese Weise an EMG angeschlossen wird. Die Anwendungen könnten weitreichend sein.
Entsperren des Eingesperrten
Unbabel arbeitet jetzt mit dem Champalimaud-Stiftung in Lissabon, das sich unter anderem mit fortgeschrittener biomedizinischer Forschung und interdisziplinärer klinischer Versorgung im Bereich ALS beschäftigt. Es ist jedoch klar, dass das System auch in anderen Fällen zum Einsatz kommen könnte, beispielsweise bei Zerebralparese.
Der Bedarf an besseren Schnittstellen für Patienten, die nicht sprechen können, besteht weiterhin. Derzeit basieren sogenannte „Alternative and Augmentative Communication“ (AAC)-Produkte für ALS-Betroffene wie Grid oder Tobii auf Eye-Tracking. Diese Systeme erfordern oft einen frustrierenden Kalibrierungsprozess für den Benutzer, sind eigentlich nur in Innenräumen funktionsfähig und können für den Benutzer ermüdend sein. Außerdem sind sie auf mühsam langsame Tastaturen angewiesen.
Pedros fügt hinzu: „Unser Prototyp wird bereits vom größten ALS-Verband in Portugal unterstützt. Wir planen, dies bis Weihnachten dieses Jahres für unsere ersten ALS-Benutzer bereitzustellen. Über ALS-Patienten hinaus ist unser aktuelles Produkt auch für andere Patienten relevant, die Schwierigkeiten beim Tippen haben.“
Dimas ist nun auch Unbabels Nachfolger in der neu gegründeten portugiesischen Nationalmannschaft Zentrum für verantwortungsvolle KI, wo er CEO ist. Hierbei handelt es sich um eine Partnerschaft mit mehreren portugiesischen Startups und Forschungszentren, um 78 Millionen Euro in die KI-Forschung zu investieren und 210 Arbeitsplätze im Rahmen des Programms zu schaffen Portugiesischer Aufbau- und Resilienzplan. Zu den Partnern gehören Feedzai, Sword Health, Champalimaud Foundation und andere.
Generative KI kommt auf tragbare Geräte
In der Zwischenzeit zeigte die mir gezeigte Version von Halo die potenzielle Leistungsfähigkeit der generativen KI bei der Anwendung auf tragbare Geräte. Andere Teams erkunden diese schöne neue Welt. Erst diese Woche gelang es Neurowissenschaftlern neu erstellen Pink „Floyd’s Another Brick in the Wall, Teil 1“ nutzt KI, um die elektrische Aktivität des Gehirns zu entschlüsseln.
Das Konzept gibt es schon lange. In den 1980er Jahren wurde die Firefox-Filmunter der Regie von Clint Eastwood und mit Clint Eastwood in der Hauptrolle, postulierte eine Welt, in der Piloten Waffensysteme über gedankengesteuerte Plattformen steuern würden:
Dies ist jedoch nur die erste Version von Unbabels Halo: „Es ist immer noch ziemlich begrenzt auf das, was wir tun können, aber wir erreichen bereits eine entsprechende Kommunikationsrate von etwa 20 Wörtern pro Minute“, sagte Pedro.
„Um Ihnen einen Eindruck davon zu vermitteln: Stephen Hawking kommunizierte mit etwa zwei Wörtern pro Minute. Halo erreicht jetzt etwa 20 Wörter pro Minute. Der Verbrauchernutzungsgrad liegt bei 60, das Ziel liegt bei 80. Menschen sprechen maximal 120 bis 130 Wörter pro Minute. Wenn man also 150 erreicht, fängt man an, übermenschliche Fähigkeiten zu entwickeln.“