En dotant une mouche des fruits virtuelle d’une intelligence artificielle, Janelia et Google DeepMind ont créé un insecte informatisé capable de marcher et de voler comme un insecte réel.
La nouvelle mouche virtuelle est la simulation de mouche des fruits la plus réaliste créée à ce jour. Il combine un nouveau modèle anatomiquement précis du squelette externe de la mouche, un simulateur physique rapide et un réseau neuronal artificiel formé aux comportements des mouches pour imiter les actions d’une vraie mouche.
En plus de marcher et de voler sur des trajectoires complexes, la mouche virtuelle peut utiliser ses yeux pour contrôler et diriger son vol.
« Vous prenez de vraies données sur les mouches (comment les vraies mouches volent et comment les vraies mouches marchent) et entraînez le réseau à imiter ces mouvements, puis nous laissons ce réseau que nous avons formé contrôler la mouche et lui dire comment se déplacer », explique Roman. Vaxenburg, chercheur en apprentissage automatique au Turaga Lab de Janelia qui a dirigé le projet. « C’est comme un petit cerveau qui contrôle les mouvements de la mouche. »
Le nouveau modèle est la première itération de la mouche virtuelle de l’équipe, qu’elle prévoit de rendre encore plus réaliste avec des fonctionnalités anatomiques et sensorielles supplémentaires et un véritable réseau neuronal. Il s’agit également du premier d’une série de modèles animaux réalistes qu’ils espèrent être une série de modèles animaux réalistes qu’eux-mêmes et d’autres chercheurs pourront désormais développer à l’aide de ce cadre open source à usage général.
Ces modèles pourraient aider les scientifiques à mieux comprendre comment le système nerveux, le corps et l’environnement travaillent ensemble pour contrôler le comportement. Alors que les chercheurs étudient ces questions avec de vrais animaux en laboratoire depuis des décennies, des modèles virtuels réalistes permettront aux scientifiques de comprendre comment tous ces composants s’interfacent et comment des facteurs qui ne peuvent pas être mesurés en laboratoire, comme la force exercée sur le corps en vol. -affectent le comportement.
« La simulation du corps peut vous indiquer comment les commandes du système nerveux se traduisent en actions et en comportements et que le « comment » est lié à la forme du corps et à la physique de la manière dont le corps interagit avec le monde », explique Janelia. Chef de groupe Srinivas Turaga, scientifique principal du projet. « Tout cela est codifié dans cette simulation physique. »
La structure du corps et les degrés de liberté du modèle volant. Le modèle fly se compose de 67 parties du corps reliées par 66 articulations, totalisant 102 degrés de liberté. La vidéo montre une séquence de tous les degrés de liberté déplacés cinématiquement de manière sinusoïdale. Crédit : Vaxenburg et al.
Construire une mouche
Le nouveau modèle s’appuie sur des travaux antérieurs pour simuler le comportement des mouches des fruits, notamment le Grande mouche unifiée qui utilise un corps de mouche simplifié et un système de contrôle manuel pour simuler le vol. Le plus récent NeuroMechFly utilise un modèle corporel réaliste et un système de contrôle manuel avec des composants appris pour simuler la marche.
Dans le nouveau travail, les chercheurs de Janelia et les scientifiques de DeepMind, dirigés par Yuval Tassa et Josh Merel (maintenant chez Fauna Robotics), ont entrepris d’améliorer l’anatomie, la biomécanique, la physique et le comportement du modèle de mouche pour créer une simulation de mouche plus réaliste. qui pourrait mener à bien plusieurs comportements. Cet effort est l’une des nombreuses collaborations entre Janelia et DeepMind utilisant leur expertise combinée en neurosciences et en intelligence artificielle pour répondre à des questions scientifiques.
« La recherche en neurosciences computationnelles a rarement cherché à simuler des choses à ce niveau global, malgré la reconnaissance largement répandue selon laquelle la compréhension du fonctionnement cérébral dépend de la compréhension du corps et de ses interactions avec d’autres objets physiques », explique Matthew Botvinick, directeur principal de la recherche chez DeepMind, qui exploite L’IA pour contribuer à faire progresser la science en s’associant avec des experts de la communauté de la recherche.
« Lors de séances de brainstorming avec Srini et le reste de cette équipe, nous avons réalisé qu’il existait une opportunité passionnante de rassembler toutes les pièces dans le contexte de la recherche sur les mouches des fruits. »
Pour commencer, Igor Siwanowicz, spécialiste de la recherche chez Janelia, a photographié diverses parties d’une mouche des fruits femelle adulte avec un microscope et a utilisé un logiciel informatique pour construire un modèle virtuel anatomiquement précis du corps extérieur de la mouche qui inclut les mouvements des articulations et des appendices de la mouche.
Les chercheurs de DeepMind, dont Tassa, Merel et l’ingénieur de recherche Guido Novati, ont traduit ce modèle virtuel en code qu’ils ont introduit dans le système. Simulateur MuJoCo, un simulateur physique rapide et open source créé pour la robotique et la biomécanique. L’outil permet aux chercheurs de simuler virtuellement la façon dont quelque chose pourrait bouger et interagir dans le monde réel.
Pour prendre en charge le modèle de mouche des fruits, les chercheurs ont apporté des améliorations significatives au simulateur, notamment actionneurs d’adhésion qui modélisent les forces générées par les pattes d’insectes agrippant une surface.
Le modèle de mouche exécute une commande pour voler droit à une altitude fixe à la vitesse de 30 cm/s, suivi du modèle de mouche reproduisant les manœuvres de vol d’une vraie mouche : évasion d’une menace perçue et virage spontané. Les points cyan visualisent la trajectoire réelle de la mouche que le modèle doit suivre. La vidéo en vol est 160 fois plus lente qu’en temps réel. Ensuite, le modèle de mouche exécute des commandes pour marcher à une vitesse de 2 cm/s tout en tournant à gauche et à droite, suivi du modèle de mouche imitant une trajectoire de marche de la vraie mouche des fruits, qui comprend la marche à différentes vitesses, les virages et s’arrêtant brièvement. L’action des actionneurs d’adhérence des pattes, qui imitent les pieds collants de la vraie mouche, est visible au bout des pattes (orange : actionneur d’adhérence actif, gris : inactif). La vidéo de marche est 16 fois plus lente que le temps réel. Crédit : Vaxenburg et al.
L’équipe a également eu la chance que Novati conçoive un nouveau modèle fluide-force, qui décrit les forces agissant à la volée lorsqu’il se déplace dans les airs. Le modèle peut prendre en charge toutes sortes de comportements aérodynamiques, y compris le vol ailé, explique Tassa, auteur principal du projet.
Parce que les forces agissant à la volée sont si minuscules, « modéliser un si petit insecte était très difficile », explique Tassa.
Ensuite, Vaxenburg a construit un réseau neuronal artificiel et l’a formé au comportement réel des mouches en lui fournissant des informations tirées de vidéos enregistrées par des experts en comportement des mouches, notamment Kristin Branson et Michael Reiser, chefs de groupe senior de Janelia, Gwyneth Card, enquêteuse du HHMI, et Michael Dickinson, professeur à Caltech.
La vitesse rapide du simulateur MuJoCo a permis à l’équipe d’infuser le modèle de mouche avec le réseau neuronal de Vaxenburg, qui avait appris à déplacer la mouche de manière réaliste pour réaliser une action. Lorsque le modèle reçoit une commande de haut niveau, comme avancer à un certain rythme, le réseau neuronal traduit cette commande en mouvements de bas niveau qu’une mouche réelle utiliserait pour exécuter l’action.
« L’objectif était d’améliorer le niveau de réalisme, et c’est ce que nous avons fait sur deux fronts : l’un consistait à améliorer la capture des détails anatomiques (comment la mouche des fruits est construite) et l’autre à capturer le comportement (comment elle se déplace et réagit). « , dit Vaxenburg.
Une première étape
Le nouveau modèle n’est qu’un début. Ensuite, l’équipe espère créer un modèle de mouche encore plus réaliste en incorporant d’autres parties de l’anatomie de la mouche, comme ses muscles et ses tendons, ainsi qu’un système sensoriel réaliste dans leur insecte virtuel. Ils souhaitent également pouvoir utiliser un véritable réseau neuronal, comme le connectome du cordon nerveux ventral de la mouche des fruits, pour alimenter le modèle.
Maintenant que l’équipe a montré qu’elle pouvait créer ce type de modèles virtuels réalistes, elle souhaite également créer une souris virtuelle et un poisson zèbre, deux organismes largement étudiés par les neuroscientifiques. Le pipeline qu’ils ont utilisé pour créer la mouche virtuelle est également librement accessible aux chercheurs du monde entier, permettant ainsi à d’autres de créer également leurs propres modèles réalistes.
« Nous avons montré comment procéder et nous pouvons le refaire pour un autre organisme », déclare Turaga.