Les chercheurs ont été déconcertés après que le dernier programme d’OpenAI, un développeur de systèmes d’intelligence artificielle, semble avoir créé un langage que lui seul peut comprendre.
DALL-E2 est un générateur de texte à image auto-apprenant lancé en janvier 2022, sa fonction principale est d’utiliser les invites de texte fournies par les utilisateurs et de produire une image pour faire correspondre les mots avec les sous-titres.
Cependant, selon Giannis Daras, doctorant en informatique, l’une des limites de DALL-E2 est sa capacité à produire du texte, car il ne peut renvoyer des mots absurdes que lorsqu’il y est invité.
Dans un article publié sur les archives scientifiques, Arxivplus tôt ce mois-ci, Daras a fourni un exemple de cette limitation, déclarant que le fait d’alimenter l’émission avec l’invite « deux agriculteurs parlant de légumes, avec sous-titres » renvoie une image dans laquelle deux agriculteurs se parlent tout en tenant des légumes dans leurs mains, mais le texte qui apparaît dans l’image semble être un charabia complet.
Une limitation connue de DALLE-2 est qu’il a du mal avec le texte. Par exemple, l’invite : « Deux agriculteurs parlent de légumes, avec des sous-titres » donne une image qui semble contenir du texte charabia. Cependant, le texte n’est pas aussi aléatoire qu’il y paraît au départ… (2/n) pic.twitter.com/B3e5qVsTKu
—Giannis Daras (@giannis_daras) 31 mai 2022
Mais les chercheurs ont maintenant réalisé qu’il pourrait y avoir beaucoup plus dans les mots apparemment incompréhensibles du programme. « Nous avons découvert que cette sortie de texte produite n’est pas aléatoire, mais révèle plutôt un vocabulaire caché que le modèle semble avoir développé en interne », a écrit Daras.
Il a également fourni un autre exemple : demander au programme de produire « une image du plan de mots » conduirait souvent à générer des images représentant un texte charabia. Cependant, le fait de renvoyer ce texte à l’IA entraînait fréquemment des images d’avions.
L’hypothèse de Daras est que l’IA semble avoir développé son propre vocabulaire et attribué un sens à certains mots qu’elle avait elle-même produits, comme dans le cas des agriculteurs, qui parlaient de légumes et d’oiseaux.
Mais bien que cela puisse être impressionnant, Daras ne semble pas trop ravi de l’idée, affirmant que s’il a raison sur la capacité de l’IA à produire son propre langage, cela pourrait poser de sérieux problèmes de sécurité pour le générateur de texte en image. .
« Le premier problème de sécurité concerne l’utilisation de ces invites de charabia comme des attaques contradictoires par porte dérobée ou des moyens de contourner les filtres », écrit-il dans son article. « Actuellement, les systèmes de traitement du langage naturel filtrent les invites de texte qui enfreignent les règles de la politique et des invites de charabia peuvent être utilisées pour contourner ces filtres. »
« Plus important encore, les invites absurdes qui génèrent constamment des images remettent en question notre confiance dans ces grands modèles génératifs », a-t-il ajouté.
Cependant, l’article de Daras n’a pas encore été évalué par des pairs et certains chercheurs ont remis en question ses conclusions, l’un d’eux déclarant que l’IA ne semble pas toujours fonctionner de la manière décrite.
L’analyste de recherche Benjamin Hilton dit qu’il a demandé au générateur de montrer deux baleines parlant de nourriture, avec des sous-titres. Au début, DALL-E2 n’a pas réussi à renvoyer de texte déchiffrable, alors le chercheur a continué jusqu’à ce qu’il le fasse finalement.
Hilton a déclaré que « ‘Evve waeles’ est soit un non-sens, soit une déformation du mot ‘baleines’. Giannis a eu de la chance quand ses baleines ont dit « Wa ch zod rea » et cela a généré des images de nourriture. Il a ajouté que certaines expressions, comme « rendu 3D », donnaient souvent des résultats complètement différents, suggérant qu’elles ne signifiaient pas exactement la même chose.
Néanmoins, Hilton a admis qu’un véritable examen par les pairs de l’article de Daras pourrait en révéler beaucoup plus et a insisté sur le fait qu’il pourrait encore y avoir quelque chose dans ses affirmations, car l’expression charabia « Apoploe vesrreaitais » renvoie systématiquement des images d’oiseaux.
DALL-E2 n’est pas la première IA à montrer des signes de développement d’une langue, auparavant Google Translate AI, qui utilise un réseau de neurones pour traduire entre certaines des langues les plus populaires, semble également avoir créé son propre vocabulaire artificiel qu’il utilisait pour traduire entre les langues dans lesquelles il n’a pas été explicitement formé.
L’IA de Facebook semble également avoir développé une forme de communication interne, après que deux chatbots se soient mis à parler d’une manière totalement incompréhensible pour les humains. En fait, il est allé si loin si vite que les chercheurs ont décidé de le débrancher avant qu’il ne puisse se développer davantage.
Les programmeurs de Facebook ont insisté sur le fait qu’ils voulaient que les robots IA parlent en anglais afin que les autres utilisateurs puissent les comprendre et ont noté que les humains ne seraient jamais en mesure de suivre l’évolution d’un langage généré par l’IA.
: