Rationales neuronales Netzwerk fördert das Lernen von partiellen Differenzierungsgleichungen

Mathematik ist die Sprache der physischen Welt, und Alex Townsend sieht überall mathematische Muster: im Wetter, in der Art und Weise, wie sich Schallwellen bewegen, und sogar in den Flecken oder Streifen, die sich Zebrafische in Embryonen entwickeln.

„Seit Newton Kalkül niedergeschrieben hat, haben wir Kalkülgleichungen abgeleitet, sogenannte Differentialgleichungen, um physikalische Phänomene zu modellieren“, sagte Townsend, außerordentlicher Professor für Mathematik am College of Arts and Sciences.

Diese Art der Ableitung von Gesetzen der Infinitesimalrechnung funktioniert, sagte Townsend, wenn man die Physik des Systems bereits kennt. Aber was ist mit dem Erlernen physikalischer Systeme, deren Physik unbekannt bleibt?

Auf dem neuen und wachsenden Gebiet des Lernens mit partiellen Differentialgleichungen (PDE) sammeln Mathematiker Daten aus natürlichen Systemen und verwenden dann trainierte neuronale Computernetze, um zu versuchen, zugrunde liegende mathematische Gleichungen abzuleiten. In einem neuen Artikel treibt Townsend zusammen mit den Co-Autoren Nicolas Boullé von der University of Oxford und Christopher Earls, Professor für Bau- und Umweltingenieurwesen am College of Engineering, das PDE-Lernen mit einem neuartigen „rationalen“ neuronalen Netzwerk voran, das seine Erkenntnisse auf eine Weise, die Mathematiker verstehen können: durch Greensche Funktionen – eine rechte Umkehrung einer Differentialgleichung in der Analysis.

Diese Partnerschaft zwischen Maschine und Mensch ist ein Schritt in Richtung des Tages, an dem Deep Learning die wissenschaftliche Erforschung natürlicher Phänomene wie Wettersysteme, Klimawandel, Strömungsdynamik, Genetik und mehr verbessern wird. „Data-Driven Discovery of Green’s Functions With Human-Understandable Deep Learning“ wurde in veröffentlicht Wissenschaftliche Berichte am 22. März.

Neuronale Netze, eine Untergruppe des maschinellen Lernens, sind von den einfachen tierischen Gehirnmechanismen von Neuronen und Synapsen inspiriert – Eingaben und Ausgaben, sagte Townsend. Neuronen – im Zusammenhang mit computergestützten neuronalen Netzwerken „Aktivierungsfunktionen“ genannt – sammeln Eingaben von anderen Neuronen. Zwischen den Neuronen befinden sich Synapsen, sogenannte Gewichte, die Signale an das nächste Neuron senden.

„Indem Sie diese Aktivierungsfunktionen und Gewichte miteinander verbinden, können Sie sehr komplizierte Karten erstellen, die Eingaben zu Ausgaben führen, genau wie das Gehirn ein Signal vom Auge nehmen und es in eine Idee umwandeln könnte“, sagte Townsend. „Besonders hier beobachten wir ein System, eine PDE, und versuchen, es dazu zu bringen, das Funktionsmuster von Green abzuschätzen, das vorhersagen würde, was wir beobachten.“

Mathematiker arbeiten seit fast 200 Jahren mit Greenschen Funktionen, sagte Townsend, der Experte für sie ist. Er verwendet normalerweise eine Greensche Funktion, um eine Differentialgleichung schnell zu lösen. Earls schlug vor, die Funktionen von Green zu verwenden, um eine Differentialgleichung zu verstehen, anstatt sie zu lösen, eine Umkehrung.

Zu diesem Zweck erstellten die Forscher ein angepasstes rationales neuronales Netzwerk, in dem die Aktivierungsfunktionen komplizierter sind, aber extremes physikalisches Verhalten der Green-Funktionen erfassen können. Townsend und Boullé stellten 2021 in einer separaten Studie rationale neuronale Netze vor.

„Wie Neuronen im Gehirn gibt es verschiedene Arten von Neuronen aus verschiedenen Teilen des Gehirns. Sie sind nicht alle gleich“, sagte Townsend. „In einem neuronalen Netz entspricht das der Auswahl der Aktivierungsfunktion – der Eingabe.“

Rationale neuronale Netze sind potenziell flexibler als standardmäßige neuronale Netze, da Forscher verschiedene Eingaben auswählen können.

„Eine der wichtigen mathematischen Ideen hier ist, dass wir diese Aktivierungsfunktion in etwas ändern können, das tatsächlich erfassen kann, was wir von einer Green-Funktion erwarten“, sagte Townsend. „Die Maschine lernt die Green-Funktion für ein natürliches System. Sie weiß nicht, was sie bedeutet, sie kann sie nicht interpretieren. Aber wir Menschen können uns jetzt die Green-Funktion ansehen, weil wir etwas gelernt haben, das wir mathematisch verstehen können. „

Für jedes System gibt es eine andere Physik, sagte Townsend. Er ist von dieser Forschung begeistert, weil sie sein Fachwissen über die Funktionen von Green in eine moderne Richtung mit neuen Anwendungen bringt.