Les réseaux neuronaux constitués de lumière peuvent rendre l’apprentissage automatique plus durable

Des scientifiques proposent une nouvelle façon de mettre en œuvre un réseau neuronal avec un système optique qui pourrait rendre l’apprentissage automatique plus durable à l’avenir. Les chercheurs de l’Institut Max Planck pour la science de la lumière ont publié leur nouvelle méthode en Physique de la naturedémontrant une méthode beaucoup plus simple que les approches précédentes.

L’apprentissage automatique et l’intelligence artificielle sont de plus en plus répandus, avec des applications allant de la vision par ordinateur à la génération de texte, comme le montre ChatGPT. Cependant, ces tâches complexes nécessitent des réseaux neuronaux de plus en plus complexes, certains comportant plusieurs milliards de paramètres.

Cette croissance rapide de la taille des réseaux neuronaux a mis ces technologies sur une voie non durable en raison de leur consommation d’énergie et de leurs temps d’apprentissage en croissance exponentielle. Par exemple, on estime que l’entraînement du GPT-3 a consommé plus de 1 000 MWh d’énergie, ce qui équivaut à la consommation électrique quotidienne d’une petite ville.

Cette tendance a créé un besoin d’alternatives plus rapides, plus économes en énergie et en coûts, ce qui a donné naissance au domaine en plein essor de l’informatique neuromorphique. L’objectif de ce domaine est de remplacer les réseaux neuronaux de nos ordinateurs numériques par des réseaux neuronaux physiques. Ceux-ci sont conçus pour effectuer physiquement les opérations mathématiques requises d’une manière potentiellement plus rapide et plus économe en énergie.

L’optique et la photonique sont des plateformes particulièrement prometteuses pour le calcul neuromorphique, car la consommation d’énergie peut être réduite au minimum. Les calculs peuvent être effectués en parallèle à des vitesses très élevées, limitées uniquement par la vitesse de la lumière. Cependant, jusqu’à présent, deux défis majeurs se sont posés : tout d’abord, la réalisation des calculs mathématiques complexes nécessaires nécessite des puissances laser élevées. Ensuite, l’absence d’une méthode d’entraînement générale efficace pour de tels réseaux neuronaux physiques.

Ces deux défis peuvent être surmontés grâce à la nouvelle méthode proposée par Clara Wanjura et Florian Marquardt de l’Institut Max Planck pour la science de la lumière dans leur nouvel article Physique de la nature« Normalement, les données saisies sont imprimées sur le champ lumineux. Cependant, dans nos nouvelles méthodes, nous proposons d’imprimer l’entrée en modifiant la transmission de la lumière », explique Marquardt, directeur de l’Institut.

De cette manière, le signal d’entrée peut être traité de manière arbitraire. Cela est vrai même si le champ lumineux lui-même se comporte de la manière la plus simple possible, dans laquelle les ondes interfèrent sans s’influencer mutuellement. Par conséquent, leur approche permet d’éviter des interactions physiques compliquées pour réaliser les fonctions mathématiques requises qui nécessiteraient sinon des champs lumineux de grande puissance.

L’évaluation et l’entraînement de ce réseau neuronal physique seraient alors très simples. « Il suffirait d’envoyer de la lumière à travers le système et d’observer la lumière transmise. Cela nous permettrait d’évaluer le rendement du réseau. En même temps, cela permettrait de mesurer toutes les informations pertinentes pour l’entraînement », explique Wanjura, premier auteur de l’étude.

Les auteurs ont démontré par des simulations que leur approche peut être utilisée pour effectuer des tâches de classification d’images avec la même précision que les réseaux neuronaux numériques.

À l’avenir, les auteurs prévoient de collaborer avec des groupes expérimentaux pour étudier la mise en œuvre de leur méthode. Étant donné que leur proposition allège considérablement les exigences expérimentales, elle peut être appliquée à de nombreux systèmes physiquement très différents. Cela ouvre de nouvelles possibilités pour les dispositifs neuromorphiques, permettant un entraînement physique sur une large gamme de plateformes.