Les célèbres paroles de Pink Floyd émergent d’un son à la fois boueux et musical : « Dans l’ensemble, ce n’était qu’une brique dans le mur. »
Mais cet enregistrement particulier ne vient pas de l’album « The Wall » de 1979 ou d’un concert de Pink Floyd.
Au lieu de cela, les chercheurs l’ont créé à partir des ondes cérébrales reconstituées de personnes écoutant la chanson « Another Brick in the Wall, Part 1 ».
C’est la première fois que des chercheurs reconstruisent une chanson reconnaissable uniquement à partir d’enregistrements cérébraux, selon un nouveau rapport publié le 15 août dans la revue PLOS Biologie.
En fin de compte, l’équipe de recherche espère que leurs découvertes conduiront à une parole plus naturelle à partir d’interfaces cerveau-machine qui facilitent la communication avec les personnes «enfermées» par la paralysie et incapables de parler.
« En ce moment, quand nous ne faisons que des mots, c’est robotique », a déclaré un chercheur principal Dr Robert Knightprofesseur de psychologie et de neurosciences à l’Université de Californie à Berkeley.
Considérez le discours informatique associé à l’un des patients enfermés les plus célèbres au monde, Stephen Hawking.
La parole humaine est composée de mots, mais elle a aussi une musicalité, a déclaré Knight, les gens ajoutant différentes significations et émotions basées sur des concepts musicaux comme l’intonation et le rythme.
« La musique est universelle. Elle existait probablement dans les cultures avant la langue », a déclaré Knight. « Nous aimerions fusionner ce signal d’extraction musicale avec le signal d’extraction de mots, pour créer une interface plus humaine. »
Des électrodes implantées sur le cerveau des patients ont capturé l’activité électrique des régions cérébrales connues pour traiter les attributs de la musique – ton, rythme, harmonie et paroles – pendant que les chercheurs jouaient un extrait de trois minutes de la chanson.
Forme d’onde de la chanson originale transformée en un spectrogramme auditif de magnitude uniquement, puis retransformée en forme d’onde. Crédit : Bellier et al., 2023, PLOS Biology, CC-BY 4.0 (creativecommons.org/licenses/by/4.0/)
Extrait de chanson reconstruit à l’aide de modèles non linéaires alimentés avec les 347 électrodes significatives des 29 patients. Crédit : Bellier et al., 2023, PLOS Biology, CC-BY 4.0 (creativecommons.org/licenses/by/4.0/)
Extrait de chanson reconstruit à l’aide de modèles non linéaires alimentés avec les 61 électrodes significatives d’un seul patient. Crédit : Bellier et al., 2023, PLOS Biology, CC-BY 4.0 (creativecommons.org/licenses/by/4.0/)
Ces enregistrements ont été recueillis auprès de 29 patients en 2012 et 2013. Tous les patients souffraient d’épilepsie et les chirurgiens ont implanté les électrodes pour aider à déterminer la région cérébrale précise à l’origine de leurs crises, a déclaré Knight.
« Pendant qu’ils sont à l’hôpital en attendant d’avoir trois crises [to pinpoint the location of the seizures]nous pouvons faire des expériences comme celles-ci si les patients sont d’accord », a expliqué Knight.
À partir de 2017, les chercheurs ont commencé à alimenter ces ondes cérébrales enregistrées dans un ordinateur programmé pour analyser les données.
Finalement, l’algorithme est devenu assez intelligent pour décoder l’activité cérébrale en une reproduction de la chanson de Pink Floyd que les patients avaient entendue des années plus tôt.
« Cette étude représente un pas en avant dans la compréhension de la neuroanatomie de la perception musicale », a déclaré Dr Alexandre Pantelyat, neurologue spécialisé dans les troubles du mouvement, violoniste et directeur du Johns Hopkins Center for Music and Medicine. Pantelyat n’a pas été impliqué dans la recherche.
« La précision de la détection des sons doit être améliorée à l’avenir et il n’est pas clair si ces résultats seront directement applicables au décodage des éléments prosodiques de la parole – ton, inflexion, humeur », a déclaré Pantelyat.
« Cependant, ces premières découvertes sont prometteuses pour améliorer la qualité de la détection des signaux pour les interfaces cerveau-ordinateur en ciblant le gyrus temporal supérieur », a ajouté Pantelyat. « Cela offre de l’espoir aux patients qui ont des problèmes de communication en raison de diverses maladies neurologiques telles que la SLA [amyotrophic lateral sclerosis] ou une lésion cérébrale traumatique. »
En fait, les résultats ont montré que les régions auditives du cerveau pourraient s’avérer une meilleure cible en termes de reproduction de la parole, a déclaré le chercheur principal. Ludovic Bellierstagiaire postdoctoral au Helen Wills Neuroscience Institute de l’UC Berkeley.
De nombreux efforts antérieurs pour reproduire la parole à partir des ondes cérébrales se sont concentrés sur le cortex moteur, la partie du cerveau qui génère les mouvements de la bouche et des cordes vocales utilisées pour créer l’acoustique de la parole, a déclaré Bellier.
« En ce moment, la technologie ressemble plus à un clavier pour l’esprit », a déclaré Bellier dans un communiqué de presse. « Vous ne pouvez pas lire vos pensées sur un clavier. Vous devez appuyer sur les boutons. Et cela fait une sorte de voix robotique; bien sûr, il y a moins de ce que j’appelle la liberté d’expression. »
Bellier lui-même est musicien depuis l’enfance, jouant même à un moment donné dans un groupe de heavy metal.
À l’aide des enregistrements cérébraux, Bellier et ses collègues ont également pu identifier de nouvelles zones du cerveau impliquées dans la détection du rythme. De plus, différentes zones de la région auditive ont répondu à différents sons, tels que des notes de synthétiseur par rapport à des voix soutenues.
Les enquêteurs ont confirmé que le côté droit du cerveau est plus sensible à la musique que le côté gauche, a déclaré Knight.
À ce stade, la technologie n’est pas suffisamment avancée pour que les gens puissent reproduire cette qualité de parole en utilisant des lectures EEG prises sur le cuir chevelu, a déclaré Knight. Des implants d’électrodes sont nécessaires, ce qui signifie une chirurgie invasive.
« Le signal que nous enregistrons est appelé activité à haute fréquence, et il est très robuste sur le cortex, environ 10 microvolts », a déclaré Knight. « Mais il y a une baisse de 10 fois au moment où il atteint le cuir chevelu, ce qui signifie qu’il s’agit d’un microvolt, ce qui correspond au niveau de bruit de l’activité musculaire du cuir chevelu. »
De meilleures électrodes sont également nécessaires pour vraiment permettre une reproduction de la parole de qualité, a ajouté Knight. Il a noté que les électrodes utilisées étaient distantes de 5 millimètres et que de bien meilleurs signaux peuvent être obtenus si elles sont distantes de 1,5 millimètre.
« Ce dont nous avons vraiment besoin, ce sont des grilles à plus haute densité, car pour toute approche d’apprentissage automatique, c’est la quantité de données que vous insérez sur quelle période », a déclaré Knight. « Nous étions limités à 64 points de données sur 3 minutes. Si nous en avions 6 000 sur 6 minutes, la qualité de la chanson serait, je pense, incroyable. »
Knight a déclaré que son équipe venait d’obtenir une subvention pour rechercher des patients atteints d’aphasie de Broca, un type de trouble cérébral qui interfère avec la capacité de parler.
« Ces patients ne peuvent pas parler, mais ils peuvent chanter », a déclaré Knight. Ce qui a été appris dans cette étude pourrait aider l’équipe à mieux comprendre pourquoi les personnes atteintes de ces blessures peuvent chanter ce qu’elles ne peuvent pas dire.
Plus d’information:
La musique peut être reconstruite à partir de l’activité du cortex auditif humain à l’aide de modèles de décodage non linéaires, PLoS Biologie (2023). DOI : 10.1371/journal.pbio.3002176 , journals.plos.org/plosbiology/ … journal.pbio.3002176
Copyright © 2023 Journée de la santé. Tous droits réservés.