Wie sagt ein iPhone das nächste Wort voraus, das Sie in Ihre Nachrichten eingeben werden? Die Technologie dahinter, die auch den Kern vieler KI-Anwendungen bildet, wird Transformator genannt; ein Deep-Learning-Algorithmus, der Muster in Datensätzen erkennt.
Jetzt haben Forscher der EPFL und des KAIST einen Transformator für Metal-Organic Frameworks (MOFs), eine Klasse poröser kristalliner Materialien, entwickelt. Durch die Kombination organischer Linker mit Metallknoten können Chemiker Millionen verschiedener Materialien mit potenziellen Anwendungen in der Energiespeicherung und Gastrennung synthetisieren.
Der „MOFtransformer“ ist als ChatGPT für Forscher konzipiert, die MOFs untersuchen. Seine Architektur basiert auf einer KI namens Google Brain, die natürliche Sprache verarbeiten kann und den Kern populärer Sprachmodelle wie GPT-3, dem Vorgänger von ChatGPT, bildet. Die zentrale Idee hinter diesen Modellen ist, dass sie auf eine große Textmenge vortrainiert sind. Wenn wir also beispielsweise auf einem iPhone mit der Eingabe beginnen, „kennen“ Modelle wie dieses das wahrscheinlichste nächste Wort und vervollständigen es automatisch.
„Wir wollten diese Idee für MOFs untersuchen, aber anstatt einen Wortvorschlag zu machen, wollten wir, dass es eine Eigenschaft vorschlägt“, sagt Professor Berend Smit, der die EPFL-Seite des Projekts leitete. „Wir haben den MOFTransformer mit einer Million hypothetischer MOFs vortrainiert, um ihre wesentlichen Eigenschaften zu lernen, die wir als Satz darstellten. Das Modell wurde dann darauf trainiert, diese Sätze zu vervollständigen, um die korrekten Eigenschaften des MOF zu erhalten.“
Anschließend passten die Forscher den MOFTransformer für Aufgaben im Zusammenhang mit der Wasserstoffspeicherung an, wie z. B. die Speicherkapazität von Wasserstoff, seinen Diffusionskoeffizienten und die Bandlücke des MOF (eine „Energiebarriere“, die bestimmt, wie leicht sich Elektronen durch ein Material bewegen können). ).
Der Ansatz zeigte, dass der MOFTransformer im Vergleich zu herkömmlichen maschinellen Lernmethoden, die viel mehr Daten benötigen, Ergebnisse mit viel weniger Daten erzielen kann. „Aufgrund des Vortrainings kennt der MOFT-Transformator bereits viele der allgemeinen Eigenschaften von MOFs; und aufgrund dieses Wissens benötigen wir weniger Daten, um für eine andere Eigenschaft zu trainieren“, sagt Smit. Außerdem könnte für alle Eigenschaften das gleiche Modell verwendet werden, während beim herkömmlichen maschinellen Lernen für jede Anwendung ein eigenes Modell entwickelt werden muss.
Der MOFTransformer ist ein Game-Changer für die Untersuchung von MOFs und liefert schnellere Ergebnisse mit weniger Daten und einem umfassenderen Verständnis des Materials. Die Forscher hoffen, dass der MOFTransformer den Weg für die Entwicklung neuer MOFs mit verbesserten Eigenschaften für die Wasserstoffspeicherung und andere Anwendungen ebnen wird.
Die Ergebnisse werden in der Zeitschrift veröffentlicht Natur-Maschinen-Intelligenz.
Mehr Informationen:
Jihan Kim, Ein multimodaler Vortrainingstransformator für universelles Transferlernen in metallorganischen Gerüsten, Natur-Maschinen-Intelligenz (2023). DOI: 10.1038/s42256-023-00628-2. www.nature.com/articles/s42256-023-00628-2