Durch die Ausstattung einer virtuellen Fruchtfliege mit künstlicher Intelligenz, Janelia und Google DeepMind, haben Wissenschaftler ein computerisiertes Insekt geschaffen, das genauso laufen und fliegen kann wie das echte Lebewesen.
Die neue virtuelle Fliege ist die bislang realistischste Simulation einer Fruchtfliege. Es kombiniert ein neues anatomisch genaues Modell des Außenskeletts der Fliege, einen schnellen Physiksimulator und ein künstliches neuronales Netzwerk, das auf das Verhalten von Fliegen trainiert wird, um die Aktionen einer echten Fliege nachzuahmen.
Neben dem Gehen und Fliegen auf komplexen Flugbahnen kann die virtuelle Fliege auch ihre Augen nutzen, um ihren Flug zu kontrollieren und zu steuern.
„Man nimmt echte Fliegendaten – wie echte Fliegen fliegen und wie echte Fliegen gehen – und trainiert das Netzwerk, diese Bewegungen nachzuahmen, und dann lassen wir dieses von uns trainierte Netzwerk die Fliege steuern und der Fliege sagen, wie sie sich bewegen soll“, sagt Roman Vaxenburg, ein Forscher für maschinelles Lernen im Turaga Lab bei Janelia, der das Projekt leitete. „Es ist wie ein kleines Gehirn, das die Bewegungen der Fliege steuert.“
Das neue Modell ist die erste Iteration der virtuellen Fliege des Teams, die sie mit zusätzlichen anatomischen und sensorischen Merkmalen und einem echten neuronalen Netzwerk noch lebensechter machen wollen. Es ist auch das erste einer Reihe realistischer Tiermodelle, die sie und andere Forscher nun mithilfe dieses universellen Open-Source-Frameworks entwickeln können.
Diese Modelle könnten Wissenschaftlern helfen, besser zu verstehen, wie das Nervensystem, der Körper und die Umwelt zusammenarbeiten, um das Verhalten zu steuern. Während Forscher diese Fragen seit Jahrzehnten an echten Tieren im Labor untersuchen, werden realistische virtuelle Modelle es Wissenschaftlern ermöglichen, zu verstehen, wie all diese Komponenten zusammenwirken und wie Faktoren wirken, die im Labor nicht gemessen werden können – wie die Kraft, die beim Fliegen auf den Körper ausgeübt wird – Verhalten beeinflussen.
„Die Simulation des Körpers kann Ihnen Aufschluss darüber geben, wie Befehle des Nervensystems in Handlungen und Verhalten umgesetzt werden und dass das „Wie“ mit der Form des Körpers und der Physik zu tun hat, wie der Körper mit der Welt interagiert“, sagt Janelia Gruppenleiter Srinivas Turaga, ein leitender Wissenschaftler des Projekts. „All das ist in dieser Physiksimulation kodifiziert.“
Körperstruktur und Freiheitsgrade des Fliegenmodells. Das Fliegenmodell besteht aus 67 Körperteilen, die durch 66 Gelenke verbunden sind, was 102 Freiheitsgraden entspricht. Das Video zeigt eine Abfolge aller Freiheitsgrade, die kinematisch sinusförmig verschoben werden. Bildnachweis: Vaxenburg et al.
Eine Fliege bauen
Das neue Modell baut auf früheren Arbeiten zur Simulation des Verhaltens von Fruchtfliegen auf, einschließlich der Große vereinte Fliege das einen vereinfachten Flugkörper und ein manuelles Steuerungssystem verwendet, um den Flug zu simulieren. Je neuer NeuroMechFly nutzt ein realistisches Körpermodell und ein manuelles Steuerungssystem mit erlernten Komponenten, um das Gehen zu simulieren.
In der neuen Arbeit machten sich Janelia-Forscher und DeepMind-Wissenschaftler unter der Leitung von Yuval Tassa, Senior Research Scientist, und Josh Merel (jetzt bei Fauna Robotics) daran, die Anatomie, Biomechanik, Physik und das Verhalten des Fliegenmodells zu verbessern, um eine realistischere Fliegensimulation zu schaffen das könnte mehrere Verhaltensweisen ausführen. Die Initiative ist eine von mehreren Kooperationen zwischen Janelia und DeepMind, die ihre kombinierte Expertise in Neurowissenschaften und künstlicher Intelligenz nutzen, um wissenschaftliche Fragen zu beantworten.
„Forschung in der Computational Neuroscience hat selten versucht, Dinge auf dieser globalen Ebene zu simulieren, obwohl allgemein anerkannt ist, dass das Verständnis der Gehirnfunktion vom Verständnis des Körpers und seiner Interaktionen mit anderen physischen Objekten abhängt“, sagt Matthew Botvinick, leitender Forschungsdirektor bei DeepMind, das nutzt KI soll dazu beitragen, die Wissenschaft voranzubringen, indem sie mit Experten in der Forschungsgemeinschaft zusammenarbeitet.
„In Brainstorming-Sitzungen mit Srini und dem Rest dieses Teams erkannten wir, dass es eine spannende Gelegenheit gab, alle Teile im Kontext der Fruchtfliegenforschung zusammenzuführen.“
Zunächst hat Janelia-Forschungsspezialist Igor Siwanowicz verschiedene Teile einer erwachsenen weiblichen Fruchtfliege mit einem Mikroskop abgebildet und mithilfe von Computersoftware ein anatomisch genaues virtuelles Modell des Außenkörpers der Fliege erstellt, das die Bewegungen der Gelenke und Gliedmaßen der Fliege enthält.
DeepMind-Forscher, darunter Tassa, Merel und Forschungsingenieur Guido Novati, übersetzten dieses virtuelle Modell in Code, den sie in das einspeisten MuJoCo-Simulator, ein schneller Open-Source-Physiksimulator für Robotik und Biomechanik. Mit dem Tool können Forscher virtuell simulieren, wie sich etwas in der realen Welt bewegen und interagieren könnte.
Um das Fruchtfliegenmodell zu unterstützen, haben die Forscher den Simulator erheblich verbessert, darunter Adhäsionsaktoren die die Kräfte modellieren, die von Insektenfüßen erzeugt werden, die eine Oberfläche greifen.
Das Flugmodell führt einen Befehl zum Geradeausflug in einer festen Höhe mit einer Geschwindigkeit von 30 cm/s aus, woraufhin das Flugmodell die Flugmanöver einer echten Fliege nachahmt: Ausweichen vor einer wahrgenommenen Bedrohung und spontanes Wenden. Die cyanfarbenen Punkte visualisieren die Flugbahn der echten Fliege, die das Modell verfolgen muss. Das Flugvideo ist 160-mal langsamer als in Echtzeit. Als nächstes wird gezeigt, wie das Fliegenmodell Befehle zum Gehen mit einer Geschwindigkeit von 2 cm/s ausführt und dabei nach links und rechts dreht. Anschließend imitiert das Fliegenmodell eine Laufbahn der echten Fruchtfliege, die das Gehen mit unterschiedlichen Geschwindigkeiten, das Drehen usw. umfasst kurz innehalten. Die Wirkung der Adhäsionsaktoren der Beine, die die klebrigen Füße der echten Fliege nachahmen, ist an den Beinspitzen zu erkennen (orange: Adhäsionsaktuator aktiv, grau: inaktiv). Das Laufvideo ist 16-mal langsamer als in Echtzeit. Bildnachweis: Vaxenburg et al.
Das Team hatte auch das Glück, dass Novati ein neues Design entworfen hat Fluidkraftmodell, der die Kräfte beschreibt, die auf die Fliege wirken, während sie sich durch die Luft bewegt. Das Modell kann alle Arten von aerodynamischem Verhalten unterstützen, einschließlich des Flügelflugs, sagt Tassa, ein leitender Autor des Projekts.
Da die auf die Fliege wirkenden Kräfte so winzig sind, „war die Modellierung eines so kleinen Insekts eine große Herausforderung“, sagt Tassa.
Als nächstes baute Vaxenburg ein künstliches neuronales Netzwerk auf und trainierte es auf echtes Fliegenverhalten, indem es ihm Informationen aus Videos fütterte, die von Fliegenverhaltensexperten aufgenommen wurden, darunter Janelia Senior Group Leaders Kristin Branson und Michael Reiser, HHMI-Ermittler Gwyneth Card und Caltech-Professor Michael Dickinson.
Die hohe Geschwindigkeit des MuJoCo-Simulators ermöglichte es dem Team, das Fliegenmodell mit dem neuronalen Netzwerk von Vaxenburg zu verbinden, das gelernt hatte, wie man die Fliege auf realistische Weise bewegt, um eine Aktion auszuführen. Wenn dem Modell ein Befehl auf hoher Ebene erteilt wird, beispielsweise mit einer bestimmten Geschwindigkeit vorwärts zu gehen, übersetzt das neuronale Netzwerk diesen Befehl in Bewegungen auf niedriger Ebene, die eine tatsächliche Fliege zur Ausführung der Aktion verwenden würde.
„Ziel war es, den Grad des Realismus zu verbessern, und das haben wir an zwei Fronten erreicht: Zum einen haben wir die Erfassung anatomischer Details verbessert – wie die Fruchtfliege gebaut ist – und zum anderen haben wir das Verhalten erfasst – wie sie sich bewegt und reagiert.“ „, sagt Vaxenburg.
Ein erster Schritt
Das neue Modell ist erst der Anfang. Als nächstes hofft das Team, ein noch realistischeres Fliegenmodell zu schaffen, indem es andere Teile der Anatomie der Fliege, wie ihre Muskeln und Sehnen, sowie ein realistisches Sinnessystem in ihr virtuelles Insekt integriert. Sie möchten auch in der Lage sein, ein echtes neuronales Netzwerk wie das ventrale Nervenstrang-Connectome der Fruchtfliege zu verwenden, um das Modell anzutreiben.
Nachdem das Team nun gezeigt hat, dass es solche realistischen virtuellen Modelle erstellen kann, möchte es auch eine virtuelle Maus und einen Zebrafisch erstellen, zwei Organismen, die von Neurowissenschaftlern umfassend untersucht werden. Die Pipeline, mit der sie die virtuelle Fliege erstellt haben, ist außerdem für Forscher weltweit frei zugänglich, sodass auch andere ihre eigenen realistischen Modelle erstellen können.
„Wir haben gezeigt, wie es geht, und wir können es für einen anderen Organismus noch einmal machen“, sagt Turaga.