L’embauche est normalement présentée comme un excellent exemple de biais algorithmique. C’est là qu’une tendance à favoriser certains groupes par rapport à d’autres se fixe accidentellement dans un système d’IA conçu pour effectuer une tâche spécifique.
Il y a d’innombrables histoires à propos de ça. L’exemple le plus connu est peut-être celui où Amazone essayé d’utiliser l’IA dans le recrutement. Dans ce cas, les CV ont été utilisés comme données pour entraîner ou améliorer cette IA.
Comme la plupart des CV provenaient d’hommes, l’IA a appris à filtrer tout ce qui était associé aux femmes, comme être présidente d’un club d’échecs féminin ou diplômée d’un collège féminin. Inutile de dire qu’Amazon n’a pas fini par utiliser le système plus largement.
De même, la pratique du tournage entretiens vidéo puis l’utilisation d’une IA pour les analyser pour déterminer l’aptitude d’un candidat est régulièrement critiquée pour sa potentiel de produire des résultats biaisés. Pourtant, les partisans de l’IA dans l’embauche suggèrent qu’elle rend les processus d’embauche plus équitables et plus transparents en réduisant préjugés humains. Cela soulève une question : l’IA utilisée dans l’embauche reproduit-elle inévitablement des biais, ou pourrait-elle en fait rendre l’embauche plus équitable ?
D’un point de vue technique, le biais algorithmique fait référence à les erreurs qui conduisent à des résultats inégaux pour différents groupes. Cependant, plutôt que de considérer le biais algorithmique comme une erreur, il peut également être considéré comme une fonction de la société. L’IA est souvent basée sur des données tirées du monde réel et ces ensembles de données reflètent la société.
Par exemple, si les femmes de couleur sont sous-représentées dans les ensembles de données, le logiciel de reconnaissance faciale a une plus grande taux d’échec lors de l’identification des femmes à la peau plus foncée. De même, pour les entretiens vidéo, il y a préoccupation que le ton de la voix, l’accent ou les modèles de langage spécifiques au sexe et à la race peuvent influencer les évaluations.
Biais multiples
Un autre exemple est que l’IA pourrait apprendre, sur la base des données, que les personnes appelées « Mark » réussissent mieux que les personnes nommées « Mary » et sont donc mieux classées. Les préjugés existants dans la société sont reflétés et amplifiés par les données.
Bien sûr, les données ne sont pas la seule façon dont l’embauche assistée par l’IA peut être biaisée. Si la conception de l’IA s’appuie sur l’expertise d’un gamme de personnes telles que des scientifiques des données et des experts en apprentissage automatique (où un système d’IA peut être formé pour améliorer ce qu’il fait), des programmeurs, des professionnels des RH, des recruteurs, des psychologues industriels et organisationnels et des responsables du recrutement, on prétend souvent que seuls 12% des chercheurs en apprentissage automatique sont des femmes. Cela fait craindre que le groupe de personnes qui conçoivent ces technologies soit plutôt étroit.
Les processus d’apprentissage automatique peuvent également être biaisés. Par exemple, une entreprise qui utilise des données pour aider les entreprises à embaucher des programmeurs a découvert qu’un bon prédicteur de bonnes compétences en codage fréquentait un Dessin animé japonais site Internet. Hypothétiquement, si vous vouliez embaucher des programmeurs et utiliser ces données dans l’apprentissage automatique, une IA pourrait alors suggérer de cibler les personnes qui ont étudié la programmation à l’université, qui ont « programmeur » dans leur titre de poste actuel et qui aiment Dessins animés japonais. Alors que les deux premiers critères sont des exigences du poste, le dernier n’est pas nécessaire pour effectuer le travail et ne doit donc pas être utilisé. En tant que tel, la conception de l’IA dans les technologies d’embauche nécessite une attention particulière si nous visons à créer des algorithmes qui prennent en charge l’inclusion.
Évaluations d’impact et Audits IA qui vérifient systématiquement les effets discriminatoires sont essentiels pour garantir que l’IA dans l’embauche ne perpétue pas les préjugés. Les résultats peuvent ensuite être utilisés pour ajuster et adapter la technologie pour s’assurer que de tels biais ne se reproduisent pas.
Examen attentif
Les fournisseurs des technologies d’embauche ont développé différents outils tels que l’audit pour vérifier les résultats par rapport aux caractéristiques protégées ou la surveillance de la discrimination en identifiant les mots masculins et féminins. En tant que tels, les audits peuvent être un outil utile pour évaluer si les technologies d’embauche produisent des résultats biaisés et pour rectifier cela.
L’utilisation de l’IA dans l’embauche conduit-elle inévitablement à la discrimination ? Dans mon récent articlej’ai montré que si l’IA est utilisée de manière naïve, sans mettre en place de garde-fous pour éviter les biais algorithmiques, alors la technologie répétera et amplifiera les biais qui existent dans la société et créera potentiellement de nouveaux biais qui n’existaient pas auparavant.
Cependant, s’il est mis en œuvre en tenant compte de l’inclusion dans les données sous-jacentes, dans les conceptions adoptées et dans la manière dont les décisions sont prises, l’embauche assistée par l’IA pourrait en fait être un outil pour créer plus d’inclusion.
L’embauche assistée par l’IA ne signifie pas que les décisions finales d’embauche sont ou devraient être laissées aux algorithmes. Ces technologies peuvent être utilisées pour filtrer les candidats, mais les décisions finales d’embauche incombent aux humains. Par conséquent, l’embauche peut être améliorée si l’IA est mise en œuvre en tenant compte de la diversité et de l’inclusion. Mais si la décision finale d’embauche est prise par un recruteur directeur qui ne sait pas comment créer un environnement inclusif, les préjugés peuvent réapparaître.
Cet article est republié de La conversation sous licence Creative Commons. Lis le article original.