Les chatbots peuvent-ils fournir des informations précises sur les dangers du changement climatique ? Eh bien, cela dépend de divers facteurs, notamment du sujet spécifique, de l’emplacement envisagé et du montant de la rémunération du chatbot, selon un groupe de chercheurs de Virginia Tech.
« Je pense que ce que nous avons découvert, c’est que c’est acceptable d’utiliser l’intelligence artificielle, il faut juste être prudent et on ne peut pas le prendre mot pour mot », a déclaré Gina Girgente, qui a obtenu un baccalauréat en géographie au printemps dernier. « Ce n’est certainement pas une méthode infaillible. »
Girgente faisait partie d’une équipe de recherche interdisciplinaire qui a posé des questions sur trois dangers liés au changement climatique (tempêtes tropicales, inondations et sécheresses) dans 191 pays aux versions gratuites et payantes de ChatGPT. Développé par OpenAI Inc., ChatGPT est un modèle en grand langage conçu pour comprendre les questions et générer des réponses textuelles basées sur les demandes des utilisateurs.
Le groupe a ensuite comparé les réponses des chatbots aux indices de risque qu’ils ont générés à l’aide des données du Groupe d’experts intergouvernemental sur l’évolution du climat, un organisme des Nations Unies chargé d’évaluer la science liée au changement climatique.
« Dans l’ensemble, nous avons trouvé plus d’accords que d’improbables », a déclaré Carmen Atkins, auteur principal et doctorante de deuxième année. étudiant au Département de Géosciences. « Les résultats générés par l’IA étaient précis plus de la moitié du temps, mais ils étaient plus précis avec les tempêtes tropicales et moins avec les sécheresses. »
Dans un article Publié dans Communications Terre et Environnementle groupe a rapporté les réponses de ChatGPT4 alignées sur les indices avec les degrés de précision suivants :
Ils ont également constaté que la précision du chatbot augmentait lorsqu’on l’interrogeait sur les pays plus développés et que la version payante de la plateforme, actuellement ChatGPT-4, était plus précise que la version gratuite, qui était à l’époque ChatGPT-3.5.
Ils ont trouvé moins de cohérence dans les réponses sur le même sujet lorsqu’on leur a posé des questions sur certaines régions, en particulier de nombreux pays d’Afrique et du Moyen-Orient, considérés comme des pays à faible revenu ou en développement. Et ils ont découvert que la version payante de la plateforme, actuellement ChatGPT-4, était plus précise que la version gratuite, qui était à l’époque ChatGPT-3.5.
« Nous sommes les premiers à examiner cela de manière systématique, à notre connaissance, et au-delà de cela, c’est vraiment un appel à l’action pour que davantage de personnes se penchent sur cette question », a déclaré Atkins.
Selon la publication, les chercheurs ont sélectionné le service ChatGPT en raison de sa popularité, en particulier auprès des utilisateurs âgés de 18 à 34 ans, et de son taux d’utilisation dans les pays en développement.
Atkins et Girgente, qui seront étudiants diplômés à l’Université de Denver à l’automne, ont déclaré que l’idée du projet est née de leur passage dans la classe de Junghwan Kim, professeur adjoint au Département de géographie. Là, Kim a partagé certaines de ses propres recherches étudiant les préjugés géographiques dans ChatGPT lorsqu’on l’a interrogé sur des sujets de justice environnementale.
« Cela a ouvert toute l’idée des différentes choses que nous pourrions examiner avec ChatGPT », a déclaré Atkins. « Et pour moi, personnellement, le changement climatique et en particulier la connaissance du changement climatique, qui est essentielle pour lutter contre la désinformation, m’ont donné envie de voir si ChatGPT pourrait être utile ou nuisible à ce problème. »
Kim est également co-auteur de cette nouvelle étude, tout comme Manoochehr Shirzaei, professeur agrégé de géophysique et de télédétection.
Kim a déclaré qu’il pensait que les résultats seraient particulièrement importants à partager avec les étudiants qui pourraient faire trop confiance aux chatbots et qu’ils avaient également un impact sur sa propre utilisation du logiciel.
Bien que le groupe estime que ses résultats démontrent la nécessité évidente d’une approche prudente dans l’utilisation de l’intelligence artificielle générative, ils estiment également que cette étude n’est que le début des recherches nécessaires, qui devront être répétées à mesure que les différents logiciels continuent d’évoluer.
« Ce n’est que la pointe de l’iceberg, et plus que tout, nous voulons simplement attirer l’attention sur ces questions », a déclaré Atkins. « L’IA générative fait désormais partie de notre monde, mais nous devons l’utiliser de la manière la plus éclairée possible. »
Plus d’information:
Carmen Atkins et al, Les outils d’IA générative peuvent améliorer les connaissances sur le climat mais doivent être vérifiés pour déceler les biais et les inexactitudes, Communications Terre et Environnement (2024). DOI : 10.1038/s43247-024-01392-w