C’est la dernière semaine avant Noël et aucune créature ne bouge, pas même un modèle de souris élevé pour présenter les caractéristiques du TDAH dans le cadre d’études in vivo sur les stimulants du système nerveux central. Cette semaine, nous avons rendu compte de la découverte du plus ancien ancêtre mammifère connu au monde ; l’étude de 1 300 tumulus dans l’ouest de l’Azerbaïdjan ; et une quasiparticule présente dans tous les matériaux magnétiques. De plus, les chercheurs ont mis fin à une autre théorie alternative sur la fin des dinosaures ; Les LLM ressemblent davantage à un cerveau, selon une étude, mais une autre suggère qu’ils présentent des signes de déclin cognitif :
Roche, papier, volcan
Nous savons tous qu’un impact massif de météorite dans le golfe du Mexique a tué les dinosaures il y a 66 millions d’années. Mais ce que présupposent certains chercheurs, c’est… peut-être qu’ils ne l’ont pas fait ? En fait, les géologues ont émis l’hypothèse que des éruptions volcaniques massives sur la péninsule indienne auraient pu expulser suffisamment de cendres et de CO2 dans l’atmosphère pour refroidir la planète jusqu’à la rendre inhabitable.
Mais les climatologues de l’Université d’Utrecht ont désormais exclu ce scénario, constatant que même si les volcans à peu près contemporains avaient un impact mesurable sur le climat, ces impacts étaient différents en termes de degré, de type et d’échelle de temps par rapport à un impact de météorite.
Les chercheurs ont analysé les particules de sol dans les tourbières anciennes pour reconstruire la température de l’air sur toute la période couvrant à la fois les volcans et l’impact des météorites. Ils ont découvert que les volcans se sont produits 30 000 ans avant l’impact et correspondaient à un refroidissement atmosphérique global de 5 degrés Celsius, probablement dû à l’apport de soufre atmosphérique. Environ 10 000 ans plus tard, les températures remontaient, probablement grâce aux émissions volcaniques de CO2.
« Ces éruptions volcaniques et les émissions de CO2 et de soufre associées auraient eu des conséquences dramatiques sur la vie sur Terre. Mais ces événements se sont produits des millénaires avant l’impact de la météorite et n’ont probablement joué qu’un petit rôle dans l’extinction des dinosaures », explique Lauren O’Connor d’Utrecht. Université.
12 cerveaux sont d’accord
Des chercheurs de l’Université de Columbia et des Feinstein Institutes for Medical Research Northwell Health rapportent qu’à mesure que les modèles LLM progressent en termes de sophistication et de fonctionnalité, ils ressemblent également davantage à un cerveau. En créant une sorte de club de lecture pour 12 LLM récents et en les formant sur un seul texte, les chercheurs ont extrait les représentations internes du texte, appelées « embeddings », et les ont comparées aux résultats d’une expérience humaine.
Dans l’expérience humaine, ils ont enregistré les réponses neuronales de patients neurochirurgicaux pendant qu’ils écoutaient le texte. Ensuite, les chercheurs ont tenté de prédire les réponses neuronales enregistrées aux mots à partir des intégrations de mots dérivées des LLM.
« La capacité de prédire les réponses cérébrales à partir des intégrations de mots nous donne une idée de la similitude entre les deux », explique Gavin Mischler, premier auteur de l’article.
À l’aide d’outils informatiques, ils ont tenté d’évaluer quelles couches LLM s’alignaient le plus étroitement sur les réponses neuronales humaines, en particulier celles des régions du cerveau associées au traitement du langage. Ils concluent qu’à mesure que les LLM deviennent plus puissants, leurs intégrations deviennent plus similaires aux réponses du cerveau au langage.
Cependant
Même s’il est formidable que les LLM disposent désormais de leurs propres clubs de lecture gérés par des chercheurs, un rapport paru dans le numéro de Noël du Journal médical britannique constate que presque tous les principaux LLM présentent des signes de légers troubles cognitifs dans les tests de diagnostic standard de la démence. Selon les chercheurs, il s’agit de la première étude sur le déclin cognitif dans de grands modèles linguistiques.
Le test d’évaluation cognitive de Montréal comprend de courtes tâches et des questions permettant d’évaluer l’attention, la mémoire, le langage et les compétences spatiales ; il est largement utilisé pour détecter les troubles cognitifs et les premiers signes de démence. Les instructions données par les chercheurs aux LLM étaient identiques à celles données aux patients humains ; les LLM ont été notés et les résultats ont été évalués par un neurologue. Ils rapportent que tous les chatbots ont montré de mauvaises performances en matière de compétences visuospatiales, de tâches exécutives et de test de dessin d’horloge. Les modèles avaient tendance à obtenir de meilleurs résultats en termes de dénomination, d’attention, de langage et d’abstraction.
Dans un dernier bond de conjectures de science-fiction, les auteurs écrivent : « Non seulement il est peu probable que les neurologues soient remplacés de sitôt par de grands modèles de langage, mais nos résultats suggèrent qu’ils pourraient bientôt se retrouver à traiter de nouveaux patients virtuels – des modèles d’intelligence artificielle. présentant des troubles cognitifs. »
© 2024 Réseau Science X