Forscher der EPFL haben ein programmierbares Framework veröffentlicht, das einen wichtigen Rechenengpass optischer künstlicher Intelligenzsysteme überwindet. In einer Reihe von Bildklassifizierungsexperimenten nutzten sie Streulicht eines Lasers geringer Leistung, um genaue, skalierbare Berechnungen mit einem Bruchteil der Energie elektronischer Geräte durchzuführen.
Mit der zunehmenden Größe und Wirkung digitaler künstlicher Intelligenzsysteme steigt auch der Energiebedarf für ihre Schulung und Bereitstellung – ganz zu schweigen von den damit verbundenen CO2-Emissionen. Aktuelle Forschungsergebnisse deuten darauf hin, dass der jährliche Energieverbrauch solcher Server, wenn die Produktion im aktuellen Tempo weitergeht, bis 2027 den eines kleinen Landes übersteigen könnte.
Tiefe neuronale Netzwerke, die von der Architektur des menschlichen Gehirns inspiriert sind, sind aufgrund der Millionen oder sogar Milliarden von Verbindungen zwischen mehreren Schichten neuronenähnlicher Prozessoren besonders stromhungrig.
Um diesem explosionsartig steigenden Energiebedarf entgegenzuwirken, haben Forscher ihre Bemühungen verdoppelt, optische Computersysteme zu implementieren, die es experimentell seit den 1980er Jahren gibt. Diese Systeme sind auf Photonen angewiesen, um Daten zu verarbeiten, und obwohl Licht theoretisch verwendet werden kann, um Berechnungen viel schneller und effizienter durchzuführen als Elektronen, hat eine entscheidende Herausforderung die Fähigkeit optischer Systeme behindert, den elektronischen Stand der Technik zu übertreffen.
„Unsere Methode ist bis zu 1.000-mal energieeffizienter als moderne tiefe digitale Netzwerke und stellt damit eine vielversprechende Plattform für die Realisierung optischer neuronaler Netzwerke dar“, sagt Demetri Psaltis.
„Um Daten in einem neuronalen Netzwerk zu klassifizieren, muss jeder Knoten oder jedes ‚Neuron‘ auf der Grundlage gewichteter Eingabedaten eine ‚Entscheidung‘ treffen, ob er ausgelöst wird oder nicht. Diese Entscheidung führt zu einer sogenannten nichtlinearen Transformation der Daten, was bedeutet, dass die Ausgabe nicht direkt proportional zur Eingabe ist“, sagt Christophe Moser, Leiter des Labors für angewandte Photonikgeräte an der Technischen Fakultät der EPFL.
Moser erläutert, dass digitale neuronale Netzwerke nichtlineare Transformationen zwar problemlos mit Transistoren durchführen können, dieser Schritt in optischen Systemen jedoch sehr leistungsstarke Laser erfordert.
Moser arbeitete mit den Studenten Mustafa Yildirim, Niyazi Ulas Dinc und Ilker Oguz sowie dem Leiter des Optiklabors, Demetri Psaltis, zusammen, um eine energieeffiziente Methode zur optischen Durchführung dieser nichtlinearen Berechnungen zu entwickeln.
Ihr neuer Ansatz besteht darin, Daten, wie etwa die Pixel eines Bildes, in der räumlichen Modulation eines Laserstrahls geringer Leistung zu kodieren. Der Strahl wird mehrere Male auf sich selbst zurückreflektiert, was zu einer nichtlinearen Vervielfachung der Pixel führt.
„Unsere Bildklassifizierungsexperimente mit drei verschiedenen Datensätzen haben gezeigt, dass unsere Methode skalierbar und bis zu 1.000-mal energieeffizienter ist als hochmoderne tiefe digitale Netzwerke, was sie zu einer vielversprechenden Plattform für die Realisierung optischer neuronaler Netzwerke macht“, sagt Psaltis.
Die Forschung wurde vor kurzem veröffentlicht In Naturphotonik.
Eine einfache strukturelle Lösung
In der Natur interagieren Photonen nicht direkt miteinander, wie es geladene Elektronen tun. Um nichtlineare Transformationen in optischen Systemen zu erreichen, mussten Wissenschaftler Photonen daher zu indirekter Interaktion „zwingen“, beispielsweise durch Verwendung eines Lichts, das intensiv genug ist, um die optischen Eigenschaften des Glases oder anderen Materials zu verändern, durch das es hindurchgeht.
Die Wissenschaftler umgingen diesen Bedarf an einem Hochleistungslaser mit einer elegant einfachen Lösung: Sie kodierten die Pixel eines Bildes räumlich auf der Oberfläche eines Laserstrahls niedriger Leistung. Indem diese Kodierung zweimal durchgeführt wird, indem die Flugbahn des Strahls im Kodierer angepasst wird, werden die Pixel mit sich selbst multipliziert, d. h. quadriert.
Da die Quadrierung eine nichtlineare Transformation ist, erreicht diese Strukturänderung die für Berechnungen neuronaler Netze wesentliche Nichtlinearität zu einem Bruchteil des Energieaufwands. Diese Kodierung kann zwei-, drei- oder sogar zehnmal durchgeführt werden, wodurch die Nichtlinearität der Transformation und die Genauigkeit der Berechnung erhöht werden.
„Wir schätzen, dass mit unserem System der Energiebedarf zur optischen Berechnung einer Multiplikation acht Größenordnungen geringer ist als bei einem elektronischen System“, sagt Psaltis.
Moser und Psaltis betonen, dass die Skalierbarkeit ihres Niedrigenergieansatzes ein großer Vorteil sei, da das ultimative Ziel darin bestünde, durch den Einsatz hybrider elektronisch-optischer Systeme den Energieverbrauch digitaler neuronaler Netzwerke zu senken.
Um eine solche Skalierung zu erreichen, bedarf es jedoch weiterer technischer Forschung. Da optische Systeme beispielsweise andere Hardware verwenden als elektronische Systeme, arbeiten die Forscher bereits an der Entwicklung eines Compilers, der digitale Daten in Code übersetzt, den optische Systeme verwenden können.
Mehr Informationen:
Mustafa Yildirim et al, Nichtlineare Verarbeitung mit linearer Optik, Naturphotonik (2024). DOI: 10.1038/s41566-024-01494-z