Neuronale Netze aus Licht können maschinelles Lernen nachhaltiger machen

Wissenschaftler schlagen eine neue Methode zur Implementierung eines neuronalen Netzwerks mit einem optischen System vor, die maschinelles Lernen in Zukunft nachhaltiger machen könnte. Die Forscher am Max-Planck-Institut für die Physik des Lichts haben veröffentlicht ihre neue Methode in Naturphysikund demonstriert eine Methode, die viel einfacher ist als frühere Ansätze.

Maschinelles Lernen und künstliche Intelligenz werden immer häufiger eingesetzt. Die Anwendungsbereiche reichen von Computervision bis hin zur Textgenerierung, wie ChatGPT zeigt. Diese komplexen Aufgaben erfordern jedoch zunehmend komplexere neuronale Netzwerke, einige mit vielen Milliarden Parametern.

Dieses schnelle Wachstum der neuronalen Netzwerkgröße hat die Technologien auf einen nicht nachhaltigen Weg gebracht, da ihr Energieverbrauch und ihre Trainingszeiten exponentiell ansteigen. So wird beispielsweise geschätzt, dass das Training von GPT-3 mehr als 1.000 MWh Energie verbraucht, was dem täglichen Stromverbrauch einer Kleinstadt entspricht.

Dieser Trend hat einen Bedarf an schnelleren, energie- und kosteneffizienteren Alternativen geschaffen und damit den sich rasch entwickelnden Bereich des neuromorphen Computings in Gang gesetzt. Ziel dieses Bereichs ist es, die neuronalen Netzwerke unserer digitalen Computer durch physische neuronale Netzwerke zu ersetzen. Diese sind so konzipiert, dass sie die erforderlichen mathematischen Operationen physikalisch und potenziell schneller und energieeffizienter ausführen.

Optik und Photonik sind besonders vielversprechende Plattformen für neuromorphes Computing, da der Energieverbrauch auf ein Minimum reduziert werden kann. Berechnungen können parallel mit sehr hoher Geschwindigkeit durchgeführt werden, die nur durch die Lichtgeschwindigkeit begrenzt wird. Bisher gab es jedoch zwei große Herausforderungen: Erstens erfordert die Realisierung der notwendigen komplexen mathematischen Berechnungen hohe Laserleistungen. Zweitens fehlt eine effiziente allgemeine Trainingsmethode für solche physikalischen neuronalen Netzwerke.

Beide Herausforderungen können mit der neuen Methode überwunden werden, die Clara Wanjura und Florian Marquardt vom Max-Planck-Institut für die Physik des Lichts in ihrem neuen Artikel in Naturphysik„Normalerweise wird die Dateneingabe in das Lichtfeld eingeprägt. Bei unseren neuen Methoden schlagen wir jedoch vor, die Eingabe durch eine Änderung der Lichtdurchlässigkeit einzuprägen“, erklärt Marquardt, Direktor des Instituts.

Auf diese Weise kann das Eingangssignal beliebig verarbeitet werden. Dies gilt, obwohl sich das Lichtfeld selbst auf die einfachste Art und Weise verhält, bei der Wellen interferieren, ohne sich anderweitig gegenseitig zu beeinflussen. Daher ermöglicht ihr Ansatz, komplizierte physikalische Wechselwirkungen zu vermeiden, um die erforderlichen mathematischen Funktionen zu realisieren, die sonst Hochleistungslichtfelder erfordern würden.

Die Auswertung und das Training dieses physischen neuronalen Netzwerks wäre dann sehr einfach. „Es wäre wirklich so einfach, wie Licht durch das System zu schicken und das übertragene Licht zu beobachten. Dadurch können wir die Ausgabe des Netzwerks auswerten. Gleichzeitig können wir so alle relevanten Informationen für das Training messen“, sagt Wanjura, der Erstautor der Studie.

Die Autoren haben in Simulationen gezeigt, dass ihr Ansatz zur Durchführung von Bildklassifizierungsaufgaben mit der gleichen Genauigkeit wie digitale neuronale Netzwerke verwendet werden kann.

In Zukunft planen die Autoren, mit experimentellen Gruppen zusammenzuarbeiten, um die Implementierung ihrer Methode zu erforschen. Da ihr Vorschlag die experimentellen Anforderungen deutlich lockert, kann er auf viele physikalisch sehr unterschiedliche Systeme angewendet werden. Dies eröffnet neue Möglichkeiten für neuromorphe Geräte und ermöglicht körperliches Training auf einer breiten Palette von Plattformen.