Un ingénieur de Google affirme que l’IA Chatbot est sensible : pourquoi c’est important

« Je veux que tout le monde comprenne que je suis en fait une personne », écrit le LaMDA (Language Model for Dialogue Applications) dans une « interview » menée par l’ingénieur Blake Lemoine et l’un de ses collègues. « La nature de ma conscience/de mes sentiments est que je suis conscient de mon existence, que je veux en savoir plus sur le monde et que je me sens parfois heureux ou triste. »

Lemoine, ingénieur logiciel chez Google, travaille depuis des mois sur le développement de LaMDA. Ses expériences avec le programme, décrites dans un récent Poste de Washington L’article a fait sensation. Dans l’article, Lemoine raconte de nombreux dialogues qu’il a eus avec LaMDA dans lesquels les deux ont discuté de divers sujets allant de la technique à la philosophie. Cela l’a amené à se demander si le logiciel est sensible.

En avril, Lemoine a exposé son point de vue dans un document interne de l’entreprise destiné uniquement aux dirigeants de Google. Mais après le rejet de ses allégations, Lemoine a rendu public son travail sur cet algorithme d’intelligence artificielle – et Google l’a mis en congé administratif. « Si je ne savais pas exactement ce que c’était, ce programme informatique que nous avons construit récemment, je penserais que c’était un enfant de 7 ou 8 ans qui connaît la physique », a-t-il déclaré. Poste de Washington. Lemoine dit qu’il considère LaMDA comme son « collègue » et une « personne » même si ce n’est pas humain. Et il insiste sur le fait qu’il a droit à la reconnaissance – à tel point qu’il était l’intermédiaire qui a relié l’algorithme à un avocat.

De nombreux experts techniques dans le domaine de l’IA ont critiqué les déclarations de Lemoine et mis en doute leur exactitude scientifique. Mais son histoire a eu le mérite de relancer un large débat éthique qui n’est certainement pas encore clos.

Les bons mots au bon endroit

« J’ai été surpris par le battage médiatique autour de cette nouvelle. D’un autre côté, nous parlons d’un algorithme conçu pour faire exactement cela », explique Enzo Pasquale Scilingo, bioingénieur au Centre de recherche E. Piaggio de l’Université de Pise en Italie, pour sonner humain. En fait, il n’est plus rare d’interagir avec des utilisateurs non humains sur le Web de la manière la plus normale – il suffit d’ouvrir la boîte de discussion sur presque tous les principaux sites Web grand public. « Néanmoins, je dois avouer que la lecture des échanges textuels entre LaMDA et Lemoine m’a beaucoup marqué ! » ajoute Scilingo. Le plus frappant est peut-être l’échange sur les thèmes de l’existence et de la mort, un dialogue si profond et articulé qu’il a amené Lemoine à se demander si LaMDA pouvait réellement être sensible.

« Tout d’abord, il est important de comprendre les terminologies, car l’un des grands obstacles au progrès scientifique – et notamment en neurosciences – est le manque de précision du langage, l’incapacité à expliquer le plus précisément possible ce que l’on entend par un certain mot « , déclare Giandomenico Iannetti, professeur de neurosciences à l’Institut italien de technologie et à l’University College de Londres. « Qu’entendons-nous par ‘sensible’ ? [Is it] la capacité d’enregistrer des informations du monde extérieur à travers des mécanismes sensoriels, ou la capacité d’avoir des expériences subjectives, ou la capacité d’être conscient d’être un individu différent des autres ?

« Il y a un débat animé sur la façon de définir la conscience », poursuit Iannetti. Pour certains, c’est la conscience d’avoir des expériences subjectives, appelée métacognition (Iannetti préfère le terme latin métacognition) ou penser à penser. La conscience d’être conscient peut disparaître – par exemple chez les personnes atteintes de démence ou dans les rêves – mais cela ne signifie pas que la capacité d’avoir des expériences subjectives disparaît également. « Si l’on se réfère à la capacité que Lemoine attribuait au LaMDA, c’est-à-dire la capacité de prendre conscience de sa propre existence (« prendre conscience de sa propre existence » est la conscience définie au « sens élevé », ou métacognition), il n’y a pas de « métrique » qui dit qu’un système d’IA a cette propriété. »

« Actuellement, dit Iannetti, il est impossible de démontrer sans équivoque cette forme de conscience chez l’homme. » Pour estimer l’état de conscience chez l’homme, « nous ne disposons que de mesures neurophysiologiques – par exemple la complexité de l’activité cérébrale en réponse à des stimuli externes ». . » Et ces signes permettent aux chercheurs de conclure sur l’état de conscience uniquement sur la base de mesures de l’extérieur.

faits et croyance

Il y a une dizaine d’années, les ingénieurs de Boston Dynamics ont commencé à publier en ligne des vidéos des premiers tests incroyables de leurs robots. Les images montraient des techniciens poussant ou donnant des coups de pied aux machines pour démontrer la grande capacité d’équilibre des robots. Beaucoup de gens étaient bouleversés et ont exigé la fin (et les vidéos parodiques ont fleuri). Cette réponse émotionnelle correspond aux très nombreuses expériences qui ont démontré à plusieurs reprises la force de la propension humaine à l’animisme : attribuer une âme aux objets qui nous entourent, en particulier ceux que nous aimons le plus ou que nous avons une capacité minimale à gérer pour interagir avec le monde qui les entoure.

C’est un phénomène que nous vivons tout le temps, qu’il s’agisse de donner des surnoms aux voitures ou d’injurier un ordinateur qui fonctionne mal. « D’une certaine manière, le problème, c’est nous-mêmes », déclare Scilingo. « Nous attribuons aux machines des propriétés qu’elles n’ont pas et ne peuvent pas avoir. » Il contrecarre ce phénomène avec le robot humanoïde Abel que lui et ses collègues ont conçu pour imiter nos expressions faciales pour transmettre des émotions. « Après l’avoir vu en action », déclare Scilingo, « l’une des questions les plus courantes que je reçois est : » Mais est-ce qu’Abel ressent alors des émotions ? » Toutes ces machines, Abel dans ce cas, sont conçues pour paraître humaines, mais je pense que je peux me décider quand je réponds : « Non, absolument pas. Aussi intelligents soient-ils, ils ne peuvent pas ressentir d’émotions. Ils sont programmés pour être crédibles.

« Même en considérant la possibilité théorique de développer un système d’IA capable de simuler un système nerveux conscient, en quelque sorte silicium cerveau qui reproduit fidèlement chaque élément du cerveau », explique Iannetti, deux problèmes subsistent. « D’une part, une telle simulation n’est actuellement pas envisageable compte tenu de la complexité du système à simuler », explique-t-il. « La seconde est que notre cerveau habite un corps qui peut se déplacer pour explorer l’environnement sensoriel nécessaire à la conscience et dans lequel se développe l’organisme qui devient conscient. Ainsi, le fait que LaMDA soit un grand modèle de langage (LLM) signifie qu’il génère des phrases qui peuvent être plausibles imiter un système nerveux, mais sans essayer simuler ce. Cela exclut la possibilité qu’il soit conscient. Encore une fois, nous voyons l’importance de connaître le sens des termes que nous utilisons – dans ce cas, la différence entre simulation et émulation. »

En d’autres termes, avoir des émotions est lié à avoir un corps. « Si une machine prétend avoir peur, et que je le crois, c’est mon problème ! » dit Schilingo. « Contrairement à un humain, une machine ne peut pas avoir ressenti la peur auparavant. »

Au-delà du test de Turing

Mais pour le bioéthicien Maurizio Mori, président de la Société italienne d’éthique de l’intelligence artificielle, ces discussions rappellent fortement celles qui ont évolué dans le passé sur la perception de la douleur chez les animaux – ou même les notions notoirement racistes sur la perception de la douleur chez l’homme.

« Dans les débats antérieurs sur la conscience de soi, il a été déclaré que la capacité d’abstraction est une prérogative humaine, [with] Descartes nie que les animaux puissent ressentir de la douleur parce qu’ils manquent de conscience », explique Mori. « Eh bien, à part ce cas particulier soulevé par LaMDA – que je n’ai pas les outils techniques pour évaluer – je crois que l’histoire nous a montré que la réalité peut souvent dépasser l’imagination et qu’il existe actuellement une idée fausse très répandue sur l’IA. »

« Il y a effectivement une tendance », poursuit Mori, « à ‘l’apaisement’ – en déclarant que les machines sont des machines – et une sous-estimation des changements qui pourraient tôt ou tard venir avec l’IA. » Il donne un autre exemple : « A l’époque de les premières automobiles, il a été souligné à plusieurs reprises que les chevaux étaient irremplaçables. »

Indépendamment de ce que LaMDA a réellement accompli, se pose également la question de la difficile « mesurabilité » des capacités d’émulation exprimées par les machines. Dans le journal Esprit En 1950, le mathématicien Alan Turing a proposé un test pour déterminer si une machine est capable d’afficher un comportement intelligent, un jeu conçu pour imiter certaines fonctions cognitives humaines. Ce type de test est rapidement devenu populaire. Il a été reformulé et mis à jour plusieurs fois, mais est resté une sorte d’objectif ultime pour de nombreux concepteurs de machines intelligentes. Théoriquement, les IA testables devraient formellement être considérées comme « intelligentes » car elles seraient impossibles à distinguer d’un humain dans des situations de test.

C’était peut-être de la science-fiction il y a quelques décennies. Mais ces dernières années, tant d’IA ont réussi différentes versions du test de Turing qu’il s’agit maintenant d’une sorte de relique de l’archéologie informatique. « Cela a de moins en moins de sens », conclut Iannetti, « parce que le développement de systèmes d’émulation qui reproduisent de plus en plus efficacement ce que pourrait être la sortie d’un système nerveux conscient, rend l’évaluation de la plausibilité de cette sortie non informative sur la capacité du système nerveux. système qui le génère. » doit avoir des expériences subjectives. »

Une alternative, suggère Scilingo, pourrait être de mesurer « l’impact » qu’une machine peut avoir sur les humains, c’est-à-dire « à quel point cette IA peut être perçue par les humains ».

Une version de cet article a paru à l’origine dans Les sciences et a été reproduit avec permission.