Das Swiss Plasma Center (SPC) der EPFL verfügt über jahrzehntelange Erfahrung in Plasmaphysik und Plasmakontrollmethoden. DeepMind ist ein wissenschaftliches Entdeckungsunternehmen, das 2014 von Google übernommen wurde und sich der „Lösung von Intelligenz zur Förderung von Wissenschaft und Menschheit“ verschrieben hat. Gemeinsam haben sie eine neue magnetische Steuerungsmethode für Plasmen entwickelt, die auf Deep Reinforcement Learning basiert, und sie erstmals in der Tokamak-Forschungseinrichtung TCV des SPC auf ein reales Plasma angewendet. Ihre Studie wurde gerade in veröffentlicht Natur.
Tokamaks sind Donut-förmige Geräte für die Erforschung der Kernfusion, und das SPC ist eines der wenigen Forschungszentren weltweit, das eines in Betrieb hat. Diese Geräte verwenden ein starkes Magnetfeld, um Plasma bei extrem hohen Temperaturen – Hunderte von Millionen Grad Celsius, sogar heißer als der Kern der Sonne – einzuschließen, sodass eine Kernfusion zwischen Wasserstoffatomen stattfinden kann. Die bei der Fusion freigesetzte Energie wird für die Nutzung zur Stromerzeugung untersucht.
Was den Tokamak des SPC einzigartig macht, ist, dass er eine Vielzahl von Plasmakonfigurationen zulässt, daher sein Name: Tokamak mit variabler Konfiguration (TCV). Das bedeutet, dass Wissenschaftler damit neue Ansätze zum Einschließen und Kontrollieren von Plasmen untersuchen können. Die Konfiguration eines Plasmas bezieht sich auf seine Form und Position im Gerät.
Eine Substanz kontrollieren, die so heiß ist wie die Sonne
Tokamaks bilden und erhalten Plasmen durch eine Reihe von Magnetspulen, deren Einstellungen, insbesondere Spannung, sorgfältig kontrolliert werden müssen. Andernfalls könnte das Plasma mit den Gefäßwänden kollidieren und sich verschlechtern. Um dies zu verhindern, testen die Forscher am SPC ihre Steuerungskonfigurationen zunächst an einem Simulator, bevor sie sie im TCV-Tokamak einsetzen.
„Unser Simulator basiert auf mehr als 20 Jahren Forschung und wird kontinuierlich aktualisiert“, sagt Federico Felici, SPC-Wissenschaftler und Mitautor der Studie. „Trotzdem sind noch langwierige Berechnungen nötig, um für jede Variable in der Steuerung den richtigen Wert zu ermitteln. Hier setzt unser gemeinsames Forschungsprojekt mit DeepMind an.“
Die Experten von DeepMind entwickelten einen KI-Algorithmus, der spezifische Plasmakonfigurationen erstellen und aufrechterhalten kann, und trainierten ihn auf dem Simulator des SPC. Dazu musste der Algorithmus zunächst viele verschiedene Regelstrategien in der Simulation ausprobieren und Erfahrungen sammeln. Basierend auf den gesammelten Erfahrungen generierte der Algorithmus eine Steuerungsstrategie, um die gewünschte Plasmakonfiguration zu erzeugen. Dazu musste der Algorithmus zunächst eine Reihe verschiedener Einstellungen durchlaufen und die daraus resultierenden Plasmakonfigurationen analysieren. Dann wurde der Algorithmus aufgefordert, in die andere Richtung zu arbeiten – um eine bestimmte Plasmakonfiguration zu erzeugen, indem er die richtigen Einstellungen identifizierte.
Nach dem Training war das KI-basierte System in der Lage, eine breite Palette von Plasmaformen und fortschrittlichen Konfigurationen zu erzeugen und aufrechtzuerhalten, darunter eine, bei der zwei separate Plasmen gleichzeitig im Gefäß gehalten werden. Schließlich testete das Forschungsteam sein neues System direkt auf dem Tokamak, um zu sehen, wie es sich unter realen Bedingungen verhält.
Die Zusammenarbeit des SPC mit DeepMind geht auf das Jahr 2018 zurück, als Felici zum ersten Mal DeepMind-Wissenschaftler bei einem Hackathon in der Londoner Zentrale des Unternehmens traf. Dort erläuterte er das Magnetsteuerungsproblem des Tokamaks seiner Forschungsgruppe. „DeepMind war sofort an der Aussicht interessiert, ihre KI-Technologie in einem Bereich wie der Kernfusion und insbesondere an einem realen System wie einem Tokamak zu testen“, sagt Felici.
Martin Riedmiller, Leiter des Steuerungsteams bei DeepMind und Mitautor der Studie, fügt hinzu: „Die Mission unseres Teams besteht darin, eine neue Generation von KI-Systemen – Closed-Loop-Steuerungen – zu erforschen, die in komplexen dynamischen Umgebungen von Grund auf neu lernen können Fusionsplasma in der realen Welt bietet fantastische, wenn auch äußerst herausfordernde und komplexe Möglichkeiten.“
Verschiedene Plasmaformen, die mit dem Reinforcement-Learning-Controller erzeugt werden Credit: DeepMind & SPC/EPFL
Eine Win-Win-Zusammenarbeit
Nach einem Gespräch mit Felici bot DeepMind an, mit dem SPC zusammenzuarbeiten, um ein KI-basiertes Steuerungssystem für seinen Tokamak zu entwickeln. „Wir haben der Idee sofort zugestimmt, weil wir das enorme Innovationspotenzial gesehen haben“, sagt Ambrogio Fasoli, Direktor des SPC und Mitautor der Studie. „Alle DeepMind-Wissenschaftler, mit denen wir zusammengearbeitet haben, waren sehr enthusiastisch und wussten viel über die Implementierung von KI in Steuerungssystemen.“ Felici seinerseits war beeindruckt von den erstaunlichen Dingen, die DeepMind in kurzer Zeit leisten kann, wenn es seine Bemühungen auf ein bestimmtes Projekt konzentriert.
DeepMind hat auch viel von dem gemeinsamen Forschungsprojekt profitiert, was zeigt, welche Vorteile ein multidisziplinärer Ansatz für beide Seiten hat. Brendan Tracey, leitender Forschungsingenieur bei DeepMind und Mitautor der Studie, sagt: „Die Zusammenarbeit mit dem SPC drängt uns, unsere Reinforcement-Learning-Algorithmen zu verbessern, und kann dadurch die Forschung zur Plasmafusion beschleunigen.“
Dieses Projekt sollte der EPFL den Weg ebnen, andere gemeinsame F&E-Möglichkeiten mit externen Organisationen zu suchen. „Wir sind immer offen für innovative Win-Win-Kooperationen, bei denen wir Ideen austauschen und neue Perspektiven erkunden können, um so das Tempo der technologischen Entwicklung zu beschleunigen“, sagt Fasoli.
Jonas Degrave et al, Magnetische Kontrolle von Tokamak-Plasmen durch tiefes Verstärkungslernen, Natur (2022). DOI: 10.1038/s41586-021-04301-9