Künstliche neuronale Netze lernen besser, wenn sie Zeit damit verbringen, überhaupt nicht zu lernen

Je nach Alter benötigt der Mensch in 24 Stunden 7 bis 13 Stunden Schlaf. In dieser Zeit passiert viel: Herzfrequenz, Atmung und Stoffwechsel schwanken und fließen; Hormonspiegel passen sich an; der Körper entspannt sich. Nicht so sehr im Gehirn.

„Das Gehirn ist sehr beschäftigt, wenn wir schlafen, und wiederholt, was wir tagsüber gelernt haben“, sagte Maxim Bazhenov, Ph.D., Professor für Medizin und Schlafforscher an der University of California San Diego School of Medicine. „Schlaf hilft, Erinnerungen neu zu organisieren und präsentiert sie auf die effizienteste Weise.“

In früheren veröffentlichten Arbeiten haben Bazhenov und Kollegen darüber berichtet, wie sich Schlaf aufbaut rationales Gedächtnisdie Fähigkeit, sich willkürliche oder indirekte Assoziationen zwischen Objekten, Personen oder Ereignissen zu merken, und schützt vor dem Vergessen alte Erinnerungen.

Künstliche neuronale Netze nutzen die Architektur des menschlichen Gehirns, um zahlreiche Technologien und Systeme zu verbessern, von der Grundlagenforschung und Medizin bis hin zu Finanzen und sozialen Medien. In gewisser Weise haben sie übermenschliche Leistungen erzielt, wie zum Beispiel Rechengeschwindigkeit, aber sie scheitern in einem Schlüsselaspekt: ​​Wenn künstliche neuronale Netze sequentiell lernen, überschreiben neue Informationen frühere Informationen, ein Phänomen, das als katastrophales Vergessen bezeichnet wird.

„Im Gegensatz dazu lernt das menschliche Gehirn kontinuierlich und integriert neue Daten in vorhandenes Wissen“, sagte Bazhenov, „und es lernt normalerweise am besten, wenn neues Training mit Schlafphasen zur Gedächtniskonsolidierung verzahnt wird.“

Schreiben in der Ausgabe vom 18. November 2022 von PLOS Computerbiologie, Seniorautor Bazhenov und Kollegen diskutieren, wie biologische Modelle dazu beitragen können, die Gefahr des katastrophalen Vergessens in künstlichen neuronalen Netzen zu mindern und ihren Nutzen für ein breites Spektrum von Forschungsinteressen zu steigern.

Die Wissenschaftler nutzten Spiking Neural Networks, die natürliche neuronale Systeme künstlich nachahmen: Anstatt kontinuierlich Informationen zu kommunizieren, werden sie als diskrete Ereignisse (Spikes) zu bestimmten Zeitpunkten übertragen.

Sie fanden heraus, dass, wenn die Spiking-Netzwerke auf eine neue Aufgabe trainiert wurden, aber mit gelegentlichen Offline-Perioden, die den Schlaf nachahmten, das katastrophale Vergessen gemildert wurde. Wie das menschliche Gehirn, sagten die Studienautoren, ermöglichte der „Schlaf“ für die Netzwerke ihnen, alte Erinnerungen abzuspielen, ohne explizit alte Trainingsdaten zu verwenden.

Erinnerungen werden im menschlichen Gehirn durch synaptische Gewichtsmuster dargestellt – die Stärke oder Amplitude einer Verbindung zwischen zwei Neuronen.

„Wenn wir neue Informationen lernen“, sagte Bazhenov, „feuern Neuronen in einer bestimmten Reihenfolge und dies erhöht die Synapsen zwischen ihnen. Während des Schlafs werden die während unseres Wachzustands gelernten Spiking-Muster spontan wiederholt. Dies wird als Reaktivierung oder Replay bezeichnet.

„Die synaptische Plastizität, die Fähigkeit, sich zu verändern oder zu formen, ist während des Schlafs immer noch vorhanden und kann die synaptischen Gewichtsmuster, die das Gedächtnis repräsentieren, weiter verbessern und dabei helfen, das Vergessen zu verhindern oder den Wissenstransfer von alten zu neuen Aufgaben zu ermöglichen.“

Als Bazhenov und Kollegen diesen Ansatz auf künstliche neuronale Netze anwendeten, stellten sie fest, dass er den Netzen dabei half, katastrophales Vergessen zu vermeiden.

„Das bedeutete, dass diese Netzwerke wie Menschen oder Tiere kontinuierlich lernen konnten. Das Verständnis, wie das menschliche Gehirn Informationen während des Schlafs verarbeitet, kann helfen, das Gedächtnis bei Menschen zu verbessern. Die Verbesserung des Schlafrhythmus kann zu einem besseren Gedächtnis führen.

„In anderen Projekten verwenden wir Computermodelle, um optimale Strategien zur Anwendung von Stimulation während des Schlafs zu entwickeln, wie z. B. Hörtöne, die den Schlafrhythmus verbessern und das Lernen verbessern. Dies kann besonders wichtig sein, wenn das Gedächtnis nicht optimal ist, z. B. wenn das Gedächtnis nachlässt Alterung oder bei bestimmten Erkrankungen wie der Alzheimer-Krankheit.

Zu den Co-Autoren gehören: Ryan Golden und Jean Erik Delanois, beide an der UC San Diego; und Pavel Sanda, Institut für Informatik der Tschechischen Akademie der Wissenschaften.