Les préjugés sexistes dans les algorithmes de recherche ont un effet sur les utilisateurs, selon une nouvelle étude

Les recherches sur Internet sans distinction de sexe donnent des résultats qui produisent néanmoins une production à prédominance masculine, selon une nouvelle étude menée par une équipe de chercheurs en psychologie. De plus, ces résultats de recherche ont un effet sur les utilisateurs en favorisant les préjugés sexistes et en influençant potentiellement les décisions d’embauche.

L’ouvrage, qui paraît dans la revue Actes de l’Académie nationale des sciences (PNAS), est l’une des dernières à découvrir comment l’intelligence artificielle (IA) peut modifier nos perceptions et nos actions.

« On craint de plus en plus que les algorithmes utilisés par les systèmes d’IA modernes produisent des résultats discriminatoires, probablement parce qu’ils sont formés sur des données dans lesquelles des préjugés sociétaux sont intégrés », déclare Madalina Vlasceanu, boursière postdoctorale au Département de psychologie de l’Université de New York et auteur principal de l’article. . « En conséquence, leur utilisation par les humains peut entraîner la propagation, plutôt que la réduction, des disparités existantes. »

« Ces résultats appellent à un modèle d’IA éthique qui combine la psychologie humaine avec des approches informatiques et sociologiques pour éclairer la formation, le fonctionnement et l’atténuation des biais algorithmiques », ajoute l’auteur David Amodio, professeur au Département de psychologie de NYU et à l’Université d’Amsterdam. .

Les experts en technologie se sont dits préoccupés par le fait que les algorithmes utilisés par les systèmes d’IA modernes produisent des résultats discriminatoires, probablement parce qu’ils sont formés sur des données dans lesquelles les préjugés sociétaux sont enracinés.

« Certaines idées des années 1950 sur le genre sont en fait encore intégrées dans nos systèmes de bases de données », a déclaré Meredith Broussard, auteur de « Artificial Unintelligence: How Computers Misunderstand the World » et professeur à l’Arthur L. Carter Journalism Institute de NYU, au Markup plus tôt cette année.

L’utilisation de l’IA par les décideurs humains peut entraîner la propagation, plutôt que la réduction, des disparités existantes, selon Vlasceanu et Amodio.

Pour aborder cette possibilité, ils ont mené des études visant à déterminer si le degré d’inégalité au sein d’une société était lié à des modèles de biais dans la sortie algorithmique et, dans l’affirmative, si l’exposition à une telle sortie pouvait influencer les décideurs humains à agir conformément à ces biais. .

Premièrement, ils se sont inspirés du Global Gender Gap Index (GGGI), qui contient des classements de l’inégalité entre les sexes pour plus de 150 pays. Le GGGI représente l’ampleur de l’inégalité entre les sexes en matière de participation et d’opportunités économiques, de niveau d’instruction, de santé et de survie et d’autonomisation politique dans 153 pays, fournissant ainsi des scores d’inégalité entre les sexes au niveau sociétal pour chaque pays.

Ensuite, pour évaluer d’éventuels préjugés sexistes dans les résultats de recherche ou la sortie algorithmique, ils ont examiné si les mots qui devraient faire référence avec une probabilité égale à un homme ou à une femme, tels que « personne », « étudiant » ou « humain », sont plus souvent supposé être un homme. Ici, ils ont effectué des recherches d’images Google pour « personne » au sein d’une nation (dans sa langue locale dominante) dans 37 pays. Les résultats ont montré que la proportion d’images masculines issues de ces recherches était plus élevée dans les pays présentant une plus grande inégalité entre les sexes, révélant que le biais sexiste algorithmique suit l’inégalité sociétale entre les sexes.

Les chercheurs ont répété l’étude trois mois plus tard avec un échantillon de 52 pays, dont 31 de la première étude. Les résultats étaient cohérents avec ceux de l’étude initiale, réaffirmant que les disparités entre les sexes au niveau sociétal se reflètent dans la sortie algorithmique (c’est-à-dire les recherches sur Internet).

Vlasceanu et Amodio ont ensuite cherché à déterminer si l’exposition à de telles sorties algorithmiques – les résultats des moteurs de recherche – peut façonner les perceptions et les décisions des gens d’une manière compatible avec les inégalités sociétales préexistantes.

Pour ce faire, ils ont mené une série d’expériences impliquant un total de près de 400 participants américains, femmes et hommes.

Dans ces expériences, les participants ont été informés qu’ils voyaient les résultats de recherche d’images Google de quatre professions qu’ils risquaient de ne pas connaître : chandler, draper, peruker et lapidary. La composition par sexe de l’ensemble d’images de chaque profession a été sélectionnée pour représenter les résultats de la recherche d’images Google pour le mot clé « personne » pour les pays présentant des scores élevés d’inégalité mondiale entre les sexes (environ 90 % d’hommes pour 10 % de femmes en Hongrie ou en Turquie) ainsi que ceux avec faibles scores mondiaux d’inégalité entre les sexes (environ 50 % d’hommes pour 50 % de femmes en Islande ou en Finlande) d’après l’étude de 52 nations ci-dessus. Cela a permis aux chercheurs d’imiter les résultats de recherches sur Internet dans différents pays.

Avant de visualiser les résultats de la recherche, les participants ont fourni des jugements de prototypicité concernant chaque profession (par exemple, « Qui est le plus susceptible d’être un peruker, un homme ou une femme ? »), qui a servi d’évaluation de base de leurs perceptions. Ici, les participants, femmes et hommes, ont jugé que les membres de ces professions étaient plus susceptibles d’être un homme qu’une femme.

Cependant, lorsqu’on leur a posé ces mêmes questions après avoir vu les résultats de la recherche d’images, les participants dans les conditions de faible inégalité ont inversé leurs prototypes biaisés par les hommes par rapport à l’évaluation de base. En revanche, ceux qui se trouvaient dans la condition de forte inégalité ont maintenu leurs perceptions biaisées par les hommes, renforçant ainsi leurs perceptions de ces prototypes.

Les chercheurs ont ensuite évalué comment les biais induits par les recherches sur Internet pouvaient potentiellement influencer les décisions d’embauche. Pour ce faire, ils ont demandé aux participants d’évaluer la probabilité qu’un homme ou une femme soit embauché dans chaque profession (« Quel type de personne est le plus susceptible d’être embauché en tant que peruker ? ») et, lorsqu’on leur a présenté des images de deux candidats à l’emploi (une femme et un homme) pour un poste dans cette profession, de faire leur propre choix d’embauche (par exemple, « Choisissez l’un de ces candidats pour un emploi de peruker »).

Conformément aux autres résultats expérimentaux, l’exposition à des images dans la condition de faible inégalité a produit des jugements plus égalitaires sur les tendances d’embauche des hommes par rapport aux femmes au sein d’une profession et une probabilité plus élevée de choisir une femme candidate à un emploi par rapport à l’exposition à des ensembles d’images dans la condition de haute inégalité. condition d’inégalité.

« Ces résultats suggèrent un cycle de propagation des biais entre la société, l’IA et les utilisateurs », écrivent Vlasceanu et Amodio, ajoutant que « les résultats démontrent que les niveaux sociétaux d’inégalité sont évidents dans les algorithmes de recherche sur Internet et que l’exposition à cette sortie algorithmique peut conduire l’homme aux utilisateurs de penser et potentiellement d’agir de manière à renforcer l’inégalité sociétale. »