Le réseau neuronal rationnel fait progresser l’apprentissage des équations de différenciation partielle

Les mathématiques sont le langage du monde physique, et Alex Townsend voit des modèles mathématiques partout : dans le temps, dans la façon dont les ondes sonores se déplacent, et même dans les taches ou les rayures que les poissons zèbres développent dans les embryons.

« Depuis que Newton a écrit le calcul, nous avons dérivé des équations de calcul appelées équations différentielles pour modéliser les phénomènes physiques », a déclaré Townsend, professeur agrégé de mathématiques au Collège des arts et des sciences.

Cette façon de dériver les lois du calcul fonctionne, a déclaré Townsend, si vous connaissez déjà la physique du système. Mais qu’en est-il de l’apprentissage de systèmes physiques dont la physique reste inconnue ?

Dans le domaine nouveau et en plein essor de l’apprentissage des équations aux dérivées partielles (EDP), les mathématiciens collectent des données à partir de systèmes naturels, puis utilisent des réseaux de neurones informatiques entraînés afin d’essayer de dériver des équations mathématiques sous-jacentes. Dans un nouvel article, Townsend, en collaboration avec les co-auteurs Nicolas Boullé de l’Université d’Oxford et Christopher Earls, professeur d’ingénierie civile et environnementale au College of Engineering, fait progresser l’apprentissage de l’EDP avec un nouveau réseau de neurones « rationnel », qui révèle son résultats d’une manière que les mathématiciens peuvent comprendre : à travers les fonctions de Green – un inverse à droite d’une équation différentielle en calcul différentiel.

Ce partenariat machine-humain est une étape vers le jour où l’apprentissage en profondeur améliorera l’exploration scientifique des phénomènes naturels tels que les systèmes météorologiques, le changement climatique, la dynamique des fluides, la génétique et plus encore. « Data-Driven Discovery of Green’s Functions With Human-Understandable Deep Learning » a été publié dans Rapports scientifiques le 22 mars.

Un sous-ensemble de l’apprentissage automatique, les réseaux de neurones sont inspirés par le mécanisme cérébral animal simple des neurones et des synapses – entrées et sorties, a déclaré Townsend. Les neurones, appelés « fonctions d’activation » dans le contexte des réseaux de neurones informatisés, collectent les entrées d’autres neurones. Entre les neurones se trouvent des synapses, appelées poids, qui envoient des signaux au neurone suivant.

« En connectant ces fonctions d’activation et ces poids en combinaison, vous pouvez créer des cartes très compliquées qui transforment les entrées en sorties, tout comme le cerveau pourrait prendre un signal de l’œil et le transformer en une idée », a déclaré Townsend. « Particulièrement ici, nous observons un système, une PDE, et essayons de lui faire estimer le modèle de fonction de Green qui prédirait ce que nous regardons. »

Les mathématiciens travaillent avec les fonctions de Green depuis près de 200 ans, a déclaré Townsend, qui en est un expert. Il utilise généralement une fonction de Green pour résoudre rapidement une équation différentielle. Earls a proposé d’utiliser les fonctions de Green pour comprendre une équation différentielle plutôt que de la résoudre, une inversion.

Pour ce faire, les chercheurs ont créé un réseau neuronal rationnel personnalisé, dans lequel les fonctions d’activation sont plus compliquées mais peuvent capturer le comportement physique extrême des fonctions de Green. Townsend et Boullé ont introduit des réseaux de neurones rationnels dans une étude distincte en 2021.

« Comme les neurones dans le cerveau, il existe différents types de neurones provenant de différentes parties du cerveau. Ils ne sont pas tous identiques », a déclaré Townsend. « Dans un réseau de neurones, cela correspond à la sélection de la fonction d’activation, l’entrée. »

Les réseaux de neurones rationnels sont potentiellement plus flexibles que les réseaux de neurones standard car les chercheurs peuvent sélectionner diverses entrées.

« L’une des idées mathématiques importantes ici est que nous pouvons changer cette fonction d’activation en quelque chose qui peut réellement capturer ce que nous attendons d’une fonction de Green », a déclaré Townsend. « La machine apprend la fonction du vert pour un système naturel. Elle ne sait pas ce que cela signifie, elle ne peut pas l’interpréter. Mais nous, en tant qu’humains, pouvons maintenant regarder la fonction du vert parce que nous avons appris quelque chose que nous pouvons comprendre mathématiquement. « 

Pour chaque système, il existe une physique différente, a déclaré Townsend. Il est enthousiasmé par cette recherche car elle met son expertise dans les fonctions de Green à travailler dans une direction moderne avec de nouvelles applications.