EPFL und DeepMind nutzen KI zur Steuerung von Plasmen

Das Swiss Plasma Center (SPC) der EPFL verfügen über jahrzehntelange Erfahrung in der Plasmaphysik und in Methoden der Plasmakontrolle. DeepMind ist ein wissenschaftliches Forschungsunternehmen, das 2014 von Google übernommen wurde und sich dem Ziel ‹intelligenter Lösungen, um Wissenschaft und Menschheit voranzubringen› verschrieben hat. Gemeinsam haben sie eine neue magnetische Kontrollmethode für Plasmen entwickelt, die auf Deep Reinforcement Learning basiert, und diese erstmals auf ein reales Plasma in der Tokamak-Forschungsanlage TCV des SPC angewendet. Ihre Studie wurde soeben in Nature veröffentlicht.

Tokamaks sind donutförmige Geräte zur Erforschung der Kernfusion, und das SPC ist eines der wenigen Forschungszentren der Welt, in dem eines in Betrieb ist. Diese Geräte nutzen ein starkes Magnetfeld, um Plasma bei extrem hohen Temperaturen – Hunderte von Millionen Grad Celsius, sogar heisser als der Sonnenkern – einzuschliessen, so dass eine Kernfusion zwischen Wasserstoffatomen stattfinden kann. Die bei der Kernfusion freigesetzte Energie wird für die Stromerzeugung untersucht. Das Besondere am Tokamak des SPC ist, dass er eine Vielzahl von Plasmakonfigurationen zulässt, daher sein Name: Tokamak mit variabler Konfiguration (TCV). Das bedeutet, dass die Forschenden damit neue Ansätze für den Einschluss und die Kontrolle von Plasmen erforschen können. Die Konfiguration eines Plasmas bezieht sich auf seine Form und Position in der Vorrichtung.

Kontrolle einer Substanz, die so heiß ist wie die Sonne

Tokamaks bilden und erhalten Plasmen durch eine Reihe von Magnetspulen, deren Einstellungen, insbesondere die Spannung, sorgfältig kontrolliert werden müssen. Andernfalls könnte das Plasma mit den Gefässwänden kollidieren und beschädigt werden. Um dies zu verhindern, testen die Forschenden des SPC die Konfiguration ihrer Kontrollsysteme zunächst an einem Simulator, bevor sie sie im TCV-Tokamak einsetzen: «Unser Simulator basiert auf mehr als 20 Jahren Forschung und wird ständig aktualisiert», sagt Federico Felici, Wissenschaftler am SPC und Mitautor der Studie, «aber trotzdem sind langwierige Berechnungen erforderlich, um den richtigen Wert für jede Variable im Kontrollsystem zu ermitteln. Genau hier setzt unser gemeinsames Forschungsprojekt mit DeepMind an.»

3D-Modell des TCV-Vakuumgefäßes, in dem sich das Plasma befindet, umgeben von verschiedenen Magnetspulen, die das Plasma an seinem Platz halten und seine Form beeinflussen. Bildrechte: DeepMind & SPC/EPFL

Die Experten von DeepMind entwickelten einen KI-Algorithmus, der bestimmte Plasmakonfigurationen erstellen und aufrechterhalten kann, und trainierten ihn im Simulator des SPC. Dazu liess man den Algorithmus zunächst viele verschiedene Kontrollstrategien in der Simulation ausprobieren und Erfahrungen sammeln. Auf der Grundlage der gesammelten Erfahrungen generierte der Algorithmus eine Steuerungsstrategie, um die gewünschte Plasmakonfiguration zu erzeugen. Dazu musste der Algorithmus zunächst eine Reihe verschiedener Einstellungen durchlaufen und die sich daraus ergebenden Plasmakonfigurationen analysieren. Dann wurde der Algorithmus aufgefordert, in die andere Richtung zu arbeiten – eine bestimmte Plasmakonfiguration durch die richtigen Einstellungen zu erzeugen. Nach dem Training war das KI-basierte System in der Lage, eine breite Palette von Plasmaformen und fortgeschrittenen Konfigurationen zu erzeugen und aufrechtzuerhalten, darunter auch eine, bei der zwei getrennte Plasmen gleichzeitig im Behälter aufrechterhalten werden. Schliesslich testete das Forschungsteam sein neues System direkt am Tokamak, um zu sehen, wie es unter realen Bedingungen funktionieren würde.

Verschiedene Plasmaformen, die mit dem Reinforcement Learning Controller erzeugt wurden
Bildrechte: DeepMind & SPC/EPFL

Die Zusammenarbeit des SPC mit DeepMind geht auf das Jahr 2018 zurück, als Felici zum ersten Mal DeepMind-Forschende bei einem Hackathon in der Londoner Zentrale des Unternehmens traf. Dort erläuterte er das Problem der magnetischen Steuerung von Tokamaks seiner Forschungsgruppe. «DeepMind war sofort an der Aussicht interessiert, ihre KI-Technologie in einem Bereich wie der Kernfusion und insbesondere an einem realen System wie einem Tokamak zu testen», sagt Felici. Martin Riedmiller, Leiter des Kontrollteams bei DeepMind und Mitverfasser der Studie, fügt hinzu: «Unser Team hat es sich zur Aufgabe gemacht, eine neue Generation von KI-Systemen zu erforschen – geschlossene Regelkreise – die in komplexen dynamischen Umgebungen von Grund auf lernen können. Die Steuerung eines Fusionsplasmas in der realen Welt bietet fantastische, wenn auch äusserst anspruchsvolle und komplexe Möglichkeiten.»

Eine Zusammenarbeit, von der alle profitieren

Nach einem Gespräch mit Felici bot DeepMind an, mit dem SPC zusammenzuarbeiten, um ein KI-gestütztes Steuerungssystem für dessen Tokamak zu entwickeln: «Wir haben der Idee sofort zugestimmt, weil wir das enorme Innovationspotenzial gesehen haben», sagt Ambrogio Fasoli, der Direktor des SPC und Mitautor der Studie. «Alle DeepMind-Wissenschaftlerinnen, mit denen wir zusammengearbeitet haben, waren sehr enthusiastisch und wussten viel über die Implementierung von KI in Steuerungssystemen», so Felici, der seinerseits beeindruckt war von den erstaunlichen Dingen, die DeepMind in kurzer Zeit erreichen kann, wenn es seine Anstrengungen auf ein bestimmtes Projekt konzentriert.

Auch DeepMind hat viel von dem gemeinsamen Forschungsprojekt profitiert, was die Vorteile eines multidisziplinären Ansatzes für beide Seiten verdeutlicht. Brendan Tracey, leitender Forschungsingenieur bei DeepMind und Mitautor der Studie, sagt: «Die Zusammenarbeit mit dem SPC treibt uns dazu an, unsere Algorithmen für Reinforcement Learning zu verbessern, und so die Forschung zur Verschmelzung von Plasmen zu beschleunigen.»

Dieses Projekt dürfte der EPFL den Weg für weitere gemeinsame Forschungs- und Entwicklungsprojekte mit externen Organisationen ebnen: «Wir sind immer offen für innovative Kooperationen, bei denen beide Seiten profitieren und bei denen wir Ideen austauschen und neue Perspektiven erforschen können, um so die technologische Entwicklung zu beschleunigen», sagt Fasoli.