Wissenschaftler rekonstruieren ausschließlich „Gehirnaufzeichnungen“ von Patienten und rekonstruieren ein Lied von Pink Floyd

Die berühmten Texte von Pink Floyd entstehen aus einem trüben, aber dennoch musikalischen Klang: „Alles in allem war es nur ein Ziegelstein in der Wand.“

Diese spezielle Aufnahme stammt jedoch nicht vom Album „The Wall“ von 1979 oder von einem Pink-Floyd-Konzert.

Stattdessen erstellten die Forscher es aus den wiederhergestellten Gehirnwellen von Menschen, die das Lied „Another Brick in the Wall, Teil 1“ hörten.

Dies ist das erste Mal, dass Forscher ein erkennbares Lied ausschließlich aus Gehirnaufzeichnungen rekonstruiert haben, heißt es in einem neuen Bericht, der am 15. August in der Zeitschrift veröffentlicht wurde PLOS-Biologie.

Letztendlich hofft das Forschungsteam, dass ihre Ergebnisse zu einer natürlicheren Sprache über Gehirn-Maschine-Schnittstellen führen werden, die die Kommunikation mit Menschen unterstützen, die durch Lähmungen „eingesperrt“ sind und nicht sprechen können.

„Im Moment ist es roboterhaft, wenn wir nur Worte machen“, sagte ein leitender Forscher Dr. Robert KnightProfessor für Psychologie und Neurowissenschaften an der University of California, Berkeley.

Denken Sie an die Computerrede eines der berühmtesten eingesperrten Patienten der Welt: Stephen Hawking.

Die menschliche Sprache besteht aus Wörtern, hat aber auch eine Musikalität, sagte Knight, wobei die Menschen auf der Grundlage musikalischer Konzepte wie Intonation und Rhythmus unterschiedliche Bedeutungen und Emotionen hinzufügen.

„Musik ist universell. Sie existierte wahrscheinlich in Kulturen vor der Sprache“, sagte Knight. „Wir möchten dieses musikalische Extraktionssignal mit dem Wortextraktionssignal verschmelzen, um eine menschlichere Schnittstelle zu schaffen.“

In die Gehirne von Patienten implantierte Elektroden erfassten die elektrische Aktivität von Gehirnregionen, von denen bekannt ist, dass sie Eigenschaften von Musik – Ton, Rhythmus, Harmonie und Worte – verarbeiten, während die Forscher einen dreiminütigen Ausschnitt aus dem Lied abspielten.

Diese Aufzeichnungen wurden von 29 Patienten in den Jahren 2012 und 2013 gesammelt. Alle Patienten litten an Epilepsie, und Chirurgen implantierten die Elektroden, um die genaue Gehirnregion zu bestimmen, die ihre Anfälle verursachte, sagte Knight.

„Während sie im Krankenhaus auf drei Anfälle warten [to pinpoint the location of the seizures]„Wir können Experimente wie diese durchführen, wenn die Patienten damit einverstanden sind“, erklärte Knight.

Ab 2017 begannen die Forscher damit, die aufgezeichneten Gehirnwellen in einen Computer einzuspeisen, der für die Analyse der Daten programmiert war.

Schließlich wurde der Algorithmus intelligent genug, um die Gehirnaktivität in eine Reproduktion des Pink-Floyd-Songs zu entschlüsseln, den die Patienten Jahre zuvor gehört hatten.

„Diese Studie stellt einen Fortschritt im Verständnis der Neuroanatomie der Musikwahrnehmung dar“, sagte er Dr. Alexander Pantelyat, ein Neurologe für Bewegungsstörungen, Geiger und Direktor des Johns Hopkins Center for Music and Medicine. Pantelyat war an der Forschung nicht beteiligt.

„Die Genauigkeit der Geräuscherkennung muss in Zukunft verbessert werden, und es ist nicht klar, ob diese Erkenntnisse direkt auf die Dekodierung der prosodischen Elemente der Sprache – Ton, Tonfall, Stimmung – anwendbar sind“, sagte Pantelyat.

„Diese frühen Erkenntnisse versprechen jedoch eine Verbesserung der Qualität der Signalerkennung für Gehirn-Computer-Schnittstellen, indem sie auf den oberen Schläfengyrus abzielen“, fügte Pantelyat hinzu. „Das gibt Hoffnung für Patienten, die aufgrund verschiedener neurologischer Erkrankungen wie ALS Kommunikationsschwierigkeiten haben.“ [amyotrophic lateral sclerosis] oder traumatische Hirnverletzung.“

Tatsächlich zeigten die Ergebnisse, dass sich die Hörregionen des Gehirns als besseres Ziel für die Wiedergabe von Sprache erweisen könnten, sagte der leitende Forscher Ludovic BellierPostdoktorand am Helen Wills Neuroscience Institute der UC Berkeley.

Viele frühere Versuche, Sprache aus Gehirnwellen zu reproduzieren, konzentrierten sich auf den motorischen Kortex, den Teil des Gehirns, der die Bewegungen von Mund und Stimmbändern erzeugt, die zur Erzeugung der Akustik der Sprache dienen, sagte Bellier.

„Im Moment ist die Technologie eher wie eine Tastatur für den Geist“, sagte Bellier in einer Pressemitteilung. „Man kann seine Gedanken nicht von einer Tastatur ablesen. Man muss die Tasten drücken. Und es entsteht eine Art Roboterstimme; es gibt sicher weniger von dem, was ich als Ausdrucksfreiheit bezeichne.“

Bellier selbst ist seit seiner Kindheit Musiker und trat zeitweise sogar in einer Heavy-Metal-Band auf.

Mithilfe der Gehirnaufzeichnungen konnten Bellier und seine Kollegen auch neue Bereiche des Gehirns identifizieren, die an der Rhythmuserkennung beteiligt sind. Darüber hinaus reagierten verschiedene Bereiche des Hörbereichs auf unterschiedliche Geräusche, beispielsweise Synthesizernoten oder anhaltenden Gesang.

Die Forscher bestätigten, dass die rechte Gehirnhälfte stärker auf Musik eingestellt sei als die linke, sagte Knight.

Zum jetzigen Zeitpunkt sei die Technologie noch nicht so weit fortgeschritten, dass Menschen diese Sprachqualität mithilfe von EEG-Messungen aus der Kopfhaut reproduzieren könnten, sagte Knight. Es sind Elektrodenimplantate erforderlich, was einen invasiven chirurgischen Eingriff bedeutet.

„Das Signal, das wir aufzeichnen, wird als Hochfrequenzaktivität bezeichnet und ist auf den Kortex sehr robust, etwa 10 Mikrovolt“, sagte Knight. „Aber bis es die Kopfhaut erreicht, sinkt es um das Zehnfache, was bedeutet, dass es sich um ein Mikrovolt handelt, was dem Geräuschpegel allein der Aktivität der Kopfhautmuskulatur entspricht.“

Außerdem seien bessere Elektroden erforderlich, um wirklich eine qualitativ hochwertige Sprachwiedergabe zu ermöglichen, fügte Knight hinzu. Er stellte fest, dass die verwendeten Elektroden einen Abstand von 5 Millimetern hatten und viel bessere Signale erhalten werden können, wenn sie 1,5 Millimeter voneinander entfernt sind.

„Was wir wirklich brauchen, sind Raster mit höherer Dichte, denn bei jedem maschinellen Lernansatz kommt es auf die Datenmenge an, die man über einen bestimmten Zeitraum eingibt“, sagte Knight. „Wir waren auf 64 Datenpunkte über 3 Minuten beschränkt. Wenn wir 6.000 über 6 Minuten hätten, wäre die Songqualität meiner Meinung nach unglaublich.“

Knight sagte, sein Team habe gerade ein Stipendium für die Erforschung von Patienten mit Broca-Aphasie erhalten, einer Art Gehirnstörung, die die Sprechfähigkeit beeinträchtigt.

„Diese Patienten können nicht sprechen, aber sie können singen“, sagte Knight. Die in dieser Studie gewonnenen Erkenntnisse könnten dem Team helfen, besser zu verstehen, warum Menschen mit diesen Verletzungen singen können, was sie nicht sagen können.

Urheberrecht © 2023 Gesundheitstag. Alle Rechte vorbehalten.