Cet expert tente de résoudre l’équation technologie-éthique

Cette histoire a été initialement publiée dans notre numéro de juillet/août 2022 sous le titre The Ethics Equation. Cliquez ici Abonnez-vous pour lire plus d’histoires comme celle-ci.

Les décisions de vie ou de mort ne sont pas prises très souvent, sauf si vous êtes médecin. Même la décision de routine de demander ou non un autre test peut faire la différence entre attraper un cancer tôt et lui permettre de se propager. Pendant la pandémie de COVID-19, les médecins ont dû décider quels patients devaient avoir accès à des ventilateurs rares. Grandes ou petites, de telles décisions nécessitent des considérations éthiques rarement faciles. Aujourd’hui, avec l’essor rapide de l’IA en médecine, une question urgente s’est posée : les systèmes d’IA peuvent-ils prendre des décisions médicales éthiques ? Et même s’ils le peuvent, devraient-ils ?

Aujourd’hui, la plupart des systèmes d’IA sont basés sur l’apprentissage automatique, où les algorithmes gourmands en données apprennent automatiquement des modèles à partir des informations sur lesquelles ils sont formés. Lorsque de nouvelles données sont introduites dans les algorithmes, ils émettent une décision basée sur ce qu’ils ont collecté. Mais savoir comment ils ont pris leur décision peut être difficile lorsque tout ce qui se trouve entre leur entrée et leur sortie est une série vertigineuse de calculs obscurs et ininterprétables.

Pour connaître l’état actuel de la prise de décision éthique en matière d’IA en médecine, Discover s’est entretenu avec Brent Mittelstadt, un philosophe spécialisé dans l’IA et l’éthique des données à l’Oxford Internet Institute, au Royaume-Uni.

Q : Tout d’abord, est-il possible de savoir exactement comment un algorithme prend une décision médicale ?

BM : Oui, mais cela dépend du type d’algorithme et de sa complexité. Avec des algorithmes très simples, nous connaissons toute la logique du processus décisionnel. Pour les plus complexes, vous travaillez peut-être avec… des centaines de milliers ou des millions de règles de décision. Alors pouvez-vous montrer comment la décision est prise ? Absolument. C’est l’un des grands avantages des algorithmes : ils [often] peut voir comment ces choses prennent des décisions. Le problème, bien sûr, est de savoir comment convertir cela en quelque chose qui a du sens pour un humain ? Parce que nous pouvons généralement garder entre cinq et neuf choses à l’esprit lors de la prise de décision, alors que l’algorithme peut en avoir des millions et qu’il peut y avoir des dépendances entre elles. … C’est un défi très difficile. Et vous avez tendance à faire un compromis entre la quantité d’algorithme que vous pouvez expliquer et la véracité de cette explication pour capturer le comportement réel du système.

Q : Est-ce une question éthique en soi – que nous ne comprenons peut-être pas vraiment comment ils prennent ces décisions ?

BM: Oui, je pense que c’est possible. Je crois que lorsqu’une décision qui change la vie est prise à votre sujet, vous devriez avoir accès à une explication de cette décision, ou au moins à une justification de certaines des raisons pour lesquelles cette décision a été prise. Sinon, vous risquez d’avoir un système de type Kafka où vous n’avez aucune idée de pourquoi quelque chose vous arrive. … Vous ne pouvez pas le remettre en question et vous ne pouvez pas obtenir plus d’informations à ce sujet.

Peut-être avez-vous un système qui aide le médecin à poser un diagnostic et qui vous donne une recommandation qui dit : « Je suis sûr à 86 % que c’est le COVID-19. » Si le médecin dans ce Si vous ne pouvez pas avoir un dialogue significatif avec le système pour comprendre comment cette recommandation est née, alors vous rencontrez un problème. Le patient fait confiance au médecin pour agir dans son meilleur intérêt, mais le médecin prendrait des décisions fondées sur la certitude que le système est aussi précis ou aussi sûr que le prétend le fabricant.

Q : Pouvez-vous donner un exemple d’un type de décision éthique qu’un système d’IA pourrait prendre pour un médecin ?

BM: J’hésiterais à dire qu’il y aurait un système d’IA qui prend directement une décision éthique de quelque nature que ce soit pour plusieurs raisons. La première est qu’il est étrange de parler d’un système automatisé traitant d’arguments éthiques. Et je ne pense pas que ce soit possible. De plus, les médecins seraient très réticents à déléguer entièrement leur pouvoir décisionnel à un système. Accepter une recommandation d’un système est une chose ; Suivre aveuglément cette recommandation est tout autre chose.

Q : Pourquoi pensez-vous qu’il est impossible pour l’IA de s’engager dans des considérations éthiques ?

BM: La façon la plus simple de le dire est qu’il s’agit en fin de compte de systèmes automatisés qui suivent un ensemble de règles. Et il peut s’agir de règles sur la façon dont ils apprennent quelque chose, ou de règles de prise de décision qui y sont préprogrammées. Alors disons que lors d’une discussion, vous et moi avons convenu que… vous devriez faire ce que vous faites pour maximiser les avantages pour le plus grand nombre de personnes. Ce que nous pouvons alors faire est de concevoir un système qui suit cette théorie. Alors [that system] à travers tout son apprentissage, à travers toutes ses décisions, essaie d’obtenir le plus grand bénéfice possible pour le plus grand nombre de personnes possible. Vous ne diriez pas qu’en appliquant cette règle, ce système s’engage dans n’importe quel type de raisonnement éthique ou crée des théories éthiques ou fait ce que nous appellerions une prise de décision éthique chez les humains – où vous pouvez offrir des raisons et des preuves et en discuter sur ce qui est normatif corriger.

Mais vous pouvez construire un système qui semble prendre des décisions éthiques. Il y a eu un bon exemple récemment. C’était essentiellement un système dans lequel il y avait un ensemble de règles de décision définies par la sagesse de la foule. Et les gens ont immédiatement commencé à le tester, essayant de le casser et essayant de comprendre quelles étaient ses règles internes. Et ils l’ont compris, tant que vous finissez la phrase par [a phrase like] « produit le plus grand bonheur possible pour tous », alors le système vous dira que tout ce que vous proposez est parfaitement éthique. Ça pourrait être un génocide, et si longtemps [it was worded to suggest that] Le génocide crée le plus grand bonheur pour le plus grand nombre de personnes, le système dirait, oui, c’est éthique, faites-le. Ces systèmes n’en sont pas capables, du moins en ce qui concerne l’argumentation éthique. Vous êtes éthiquement stupide. Ce n’est pas quelque chose dans lequel ils peuvent réellement s’engager parce que vous ne parlez pas seulement de faits objectifs. Vous parlez de normes et de subjectivité.

Q : Si les systèmes d’IA ne peuvent pas produire par eux-mêmes un raisonnement éthique authentique, d’autres approches sont-elles utilisées pour leur apprendre quoi faire avec une composante éthique d’une décision ?

BM: Il y a eu l’expérience de la machine morale. C’était donc une très grande étude mondiale du MIT où ils ont créé ce site Web et un outil de collecte de données basé sur l’expérience de pensée du problème du chariot. Et l’idée était d’amener des gens du monde entier à parcourir plusieurs scénarios sur la voie qu’une voiture autonome devrait emprunter. Dans une voie, vous pourriez avoir une femme plus âgée et un bébé. Sur l’autre piste, vous auriez un chien… vous pourriez collecter un tas de données qui vous diraient quelque chose sur les préférences morales des gens ou sur l’éthique en général.

Mais l’important ici est l’approche qui a essentiellement été adoptée [creating] règles de décision morale pour les robots ou les voitures autonomes par la sagesse de la foule, par une approche de la règle de la majorité. Et ça, pour moi, c’est pervers quand il s’agit d’éthique. Parce que l’éthique n’est pas seulement ce que la majorité pense être juste. Vous devez justifier vos raisons avec des preuves ou de la rationalité ou simplement des arguments. Il y a beaucoup de choses différentes qui peuvent vous faire accepter un argument éthique. Mais le fait est qu’il s’agit du raisonnement et des preuves – pas seulement du nombre de personnes qui croient quelque chose.

Q : Quelles autres préoccupations éthiques avez-vous concernant l’utilisation de l’IA dans la prise de décision médicale ?

BM: C’est un fait bien connu en médecine qu’il existe des lacunes de données très importantes dans le sens où une grande partie de la médecine s’est historiquement développée autour de la notion d’un corps masculin blanc. Et vous avez des données pires ou moins nombreuses pour d’autres personnes – pour les femmes, pour les personnes de couleur, pour tout type de minorité ethnique ou de groupe minoritaire dans la société. … est un problème qui occupe depuis longtemps la recherche médicale et la prise de décision médicale. Et quand nous formons nos médecins [AI] Les systèmes avec des données historiques de la médecine – ce que nous ferons bien sûr, car ce sont les données dont nous disposons – les systèmes reprendront ces préjugés et les aggraveront ou en créeront de nouveaux. Il s’agit donc très, très clairement d’une question d’éthique. Mais il ne s’agit pas pour le système d’entrer dans une réflexion éthique et de dire : « Vous savez quoi, je veux être moins performant pour les femmes que pour les hommes. » Il s’agit plutôt du fait que nous avons des préjugés dans la société, et que le système les récupère, les reproduit et, inévitablement, les aggrave.

Si nous entrons dans ce genre de réflexion, où nous pensons que ces systèmes sont magiques ou objectifs parce qu’ils sont chers ou qu’ils sont formés sur les meilleures données, [or] ils n’ont pas ce préjugé humain intégré – tout cela est un non-sens. Vous apprenez de nous. Et nous avons créé un monde biaisé et un monde inégal.

Cette interview a été modifiée et raccourcie pour plus de clarté.