Comment l’IA crée un monde en ligne plus sûr

De la cyberintimidation sur les réseaux sociaux aux attaques dans le métaverse, Internet peut être un endroit dangereux. La modération de contenu en ligne est l’un des moyens les plus importants pour les entreprises de rendre leurs plateformes plus sûres pour les utilisateurs.

Cependant, la modération de contenu n’est pas une tâche facile. La quantité de contenu en ligne est écrasante. Les modérateurs doivent faire face à tout, du discours de haine et de la propagande terroriste à la nudité et au gore. La « surcharge de données » du monde numérique est aggravée par le fait qu’une grande partie du contenu est généré par l’utilisateur et difficile à identifier et à catégoriser.

L’IA pour détecter automatiquement les discours de haine

C’est là qu’intervient l’IA. En utilisant des algorithmes d’apprentissage automatique pour identifier et catégoriser le contenu, les organisations peuvent identifier le contenu dangereux dès sa création au lieu d’attendre des heures ou des jours pour une vérification humaine, réduisant ainsi le nombre de personnes exposées à un contenu dangereux.

Par exemple, Twitter utilise l’IA pour identifier et supprimer la propagande terroriste de sa plateforme. L’IA signale plus de la moitié des tweets qui violent les conditions d’utilisation, tandis que le PDG Parag Agrawal a pris sur lui d’utiliser l’IA pour détecter les discours de haine et la désinformation. Cependant, il reste encore beaucoup à faire car la toxicité est toujours endémique sur la plate-forme.

De même, l’IA de Facebook détecte près de 90 % des discours de haine supprimés de la plateforme, y compris la nudité, la violence et d’autres contenus potentiellement offensants. Cependant, comme Twitter, Facebook a encore un long chemin à parcourir.

Où l’IA tourne mal

Malgré ses promesses, la modération de contenu basée sur l’IA fait face à de nombreux défis. D’une part, ces systèmes signalent souvent à tort un contenu sûr comme dangereux, ce qui peut avoir de graves conséquences. Par exemple, au début de la pandémie, Facebook a marqué comme spam des articles d’actualité légitimes sur le coronavirus. Il a interdit par erreur une page Facebook du Parti républicain pendant plus de deux mois. Et il a signalé les publications et les commentaires sur le Plymouth Hoe, un monument public en Angleterre, comme offensants.

Cependant, le problème est délicat. Laisser du contenu non signalé peut avoir des répercussions encore plus dangereuses. Les tireurs des fusillades d’El Paso et de Gilroy ont rendu public leurs intentions violentes sur 8chan et Instagram avant de se lancer dans leurs tueries. Robert Bowers, l’auteur présumé du massacre de la synagogue de Pittsburgh, était actif sur Gab, un site Web de type Twitter utilisé par les suprématistes blancs. La désinformation sur la guerre en Ukraine a reçu des millions de vues et de likes sur Facebook, Twitter, YouTube et TikTok.

Un autre problème est que de nombreux systèmes de modération basés sur l’IA ont des préjugés raciaux qui doivent être corrigés afin de créer un environnement sûr et utilisable pour tout le monde.

Améliorer l’IA pour la modération

Pour résoudre ces problèmes, les systèmes de modération de l’IA ont besoin de données d’entraînement de meilleure qualité. Aujourd’hui, de nombreuses entreprises sous-traitent les données utilisées pour former leurs systèmes d’IA à des centres d’appels peu qualifiés et sous-formés dans des pays du tiers monde. Ces étiqueteurs n’ont pas les compétences linguistiques et le contexte culturel pour prendre des décisions de modération précises. Par exemple, si vous n’êtes pas familier avec la politique américaine, vous ne saurez probablement pas ce qu’est un message indiquant « 6. Janvier » ou « Rudy et Hunter » sont mentionnés, bien qu’ils soient importants pour la modération du contenu. À moins que vous ne soyez de langue maternelle anglaise, vous risquez de surindexer les termes profanes, même lorsqu’ils sont utilisés dans un contexte positif, et de mal qualifier les références à la Plymouth Hoe ou « c’est une si mauvaise chienne » comme offensantes.

Une entreprise qui résout ce défi est Surge AI, une plate-forme d’étiquetage de données conçue pour former l’IA aux nuances du langage. Elle a été fondée par une équipe d’ingénieurs et de chercheurs qui ont construit les plateformes de confiance et de sécurité sur Facebook, YouTube et Twitter.

Par exemple, Facebook a eu beaucoup de mal à collecter des données de haute qualité pour entraîner ses systèmes de modération dans des langues clés. Malgré la taille et la portée de l’entreprise en tant que plate-forme de communication mondiale, elle disposait à peine de suffisamment de contenu pour former et maintenir un modèle pour l’arabe standard, sans parler de dizaines de dialectes. L’absence d’une liste complète d’insultes toxiques dans les langues parlées en Afghanistan signifiait que l’entreprise avait potentiellement raté de nombreux messages blessants. Un modèle de discours de haine assamais était absent, bien que le personnel ait identifié le discours de haine comme un risque majeur en Assam en raison de la montée de la violence ethnique dans ce pays. Ce sont des problèmes que Surge AI aide à résoudre en se concentrant sur les langues et les ensembles de données de toxicité et de blasphème.

En bref, avec des ensembles de données plus grands et de meilleure qualité, les plateformes de médias sociaux peuvent former des algorithmes de modération de contenu plus précis pour détecter le contenu préjudiciable, aidant à le garder en sécurité et à l’abri des abus. Tout comme les grands ensembles de données ont alimenté les modèles de génération de langage de pointe d’aujourd’hui comme le GPT-3 d’OpenAI, ils peuvent également alimenter une meilleure IA pour la modération. Avec suffisamment de données, les modèles d’apprentissage automatique peuvent apprendre à détecter la toxicité avec une plus grande précision et sans les biais trouvés dans les ensembles de données de moindre qualité.

La modération de contenu alimentée par l’IA n’est pas une solution parfaite, mais c’est un outil précieux qui peut aider les entreprises à garder leurs plateformes sécurisées et sans danger. Avec l’utilisation croissante de l’IA, nous pouvons espérer un avenir où le monde en ligne sera un endroit sûr pour tout le monde.

Valerias Bangert est consultant en stratégie et innovation, fondateur de trois maisons de médias rentables et auteur publié.