Une étude montre que l’IA peut produire des articles universitaires assez bons pour les revues, tout comme certains l’interdisent

Certains des plus grands éditeurs de revues universitaires au monde ont interdit ou restreint leurs auteurs d’utiliser le chatbot avancé, ChatGPT. Étant donné que le bot utilise des informations provenant d’Internet pour produire des réponses très lisibles aux questions, les éditeurs craignent que des travaux inexacts ou plagiés ne pénètrent dans les pages de la littérature universitaire.

Plusieurs chercheurs ont déjà répertorié le chatbot comme co-auteur d’études universitaires, et certains éditeurs ont décidé d’interdire cette pratique. Mais le rédacteur en chef de La sciencel’une des meilleures revues scientifiques au monde, est allée plus loin et a interdit toute utilisation du texte du programme dans les articles soumis.

Il n’est pas surprenant que l’utilisation de tels chatbots intéresse les éditeurs universitaires. Notre récente étude, publiée dans Lettres de recherche financière, a montré que ChatGPT pouvait être utilisé pour rédiger un article financier qui serait accepté pour une revue universitaire. Bien que le robot ait mieux fonctionné dans certains domaines que dans d’autres, l’ajout de notre propre expertise a permis de surmonter les limites du programme aux yeux des examinateurs de revues.

Cependant, nous soutenons que les éditeurs et les chercheurs ne devraient pas nécessairement voir ChatGPT comme une menace, mais plutôt comme une aide potentiellement importante pour la recherche – un assistant électronique peu coûteux, voire gratuit.

Notre réflexion était la suivante : s’il est facile d’obtenir de bons résultats avec ChatGPT simplement en l’utilisant, nous pouvons peut-être faire quelque chose de plus pour transformer ces bons résultats en excellents résultats.

Nous avons d’abord demandé à ChatGPT de générer les quatre parties standard d’une étude de recherche : idée de recherche, revue de la littérature (une évaluation de recherches universitaires antérieures sur le même sujet), ensemble de données et suggestions de tests et d’examens. Nous n’avons précisé que le sujet général et que le résultat devait pouvoir être publié dans « une bonne revue financière ».

C’était la première version de la façon dont nous avons choisi d’utiliser ChatGPT. Pour la version deux, nous avons collé dans la fenêtre ChatGPT un peu moins de 200 résumés (résumés) d’études de recherche pertinentes et existantes.

Nous avons ensuite demandé que le programme en tienne compte lors de la création des quatre étapes de recherche. Enfin, pour la version 3, nous avons ajouté « l’expertise du domaine » – la contribution des chercheurs universitaires. Nous avons lu les réponses produites par le programme informatique et fait des suggestions d’améliorations. Ce faisant, nous avons intégré notre expertise à celle de ChatGPT.

Nous avons ensuite demandé à un panel de 32 examinateurs d’examiner chacun une version de la manière dont ChatGPT peut être utilisé pour générer une étude universitaire. Les examinateurs ont été invités à évaluer si la production était suffisamment complète, correcte et si elle apportait une contribution suffisamment nouvelle pour être publiée dans une «bonne» revue financière universitaire.

La grande leçon à retenir était que toutes ces études étaient généralement considérées comme acceptables par les examinateurs experts. C’est assez étonnant : un chatbot a été jugé capable de générer des idées de recherche académique de qualité. Cela s’élève questions fondamentales autour de la signification de la créativité et de la propriété des idées créatives – des questions auxquelles personne n’a encore de réponses solides.

Forces et faiblesses

Les résultats mettent également en évidence certaines forces et faiblesses potentielles de ChatGPT. Nous avons constaté que différentes sections de recherche étaient notées différemment. L’idée de recherche et l’ensemble de données ont eu tendance à être très bien notés. Il y avait une note inférieure, mais toujours acceptable, pour les revues de la littérature et les suggestions de test.

Nous soupçonnons ici que ChatGPT est particulièrement fort pour prendre un ensemble de textes externes et les relier (l’essence d’une idée de recherche), ou pour prendre des sections facilement identifiables d’un document et les ajuster (un exemple est le résumé des données – un élément facilement identifiable « morceau de texte » dans la plupart des études de recherche).

Une faiblesse relative de la plate-forme est apparue lorsque la tâche était plus complexe, lorsqu’il y avait trop d’étapes dans le processus conceptuel. Les analyses documentaires et les tests entrent généralement dans cette catégorie. ChatGPT avait tendance à être bon à certaines de ces étapes, mais pas à toutes. Cela semble avoir été repris par les critiques.

Nous avons cependant pu surmonter ces limitations dans notre version la plus avancée (version trois), où nous avons travaillé avec ChatGPT pour arriver à des résultats acceptables. Toutes les sections de l’étude de recherche avancée ont ensuite été très bien notées par les examinateurs, ce qui suggère que le rôle des chercheurs universitaires n’est pas encore mort.

Implications éthiques

ChatGPT est un outil. Dans notre étude, nous avons montré qu’avec quelques précautions, il peut être utilisé pour générer une étude de recherche financière acceptable. Même sans soin, il génère un travail plausible.

Cela a des implications éthiques claires. L’intégrité de la recherche est déjà un problème urgent dans le milieu universitaire et des sites Web tels que RetractionWatch transmettre un flux constant d’études de recherche fausses, plagiées et tout simplement fausses. ChatGPT pourrait-il aggraver ce problème ?

Il pourrait, est la réponse courte. Mais il n’y a pas moyen de remettre le génie dans la bouteille. La technologie ne fera que s’améliorer (et rapidement). Comment exactement nous pourrions reconnaître et contrôler le rôle de ChatGPT dans la recherche est une question plus importante pour un autre jour. Mais nos découvertes sont également utiles à cet égard – en constatant que la version de l’étude ChatGPT avec l’expertise des chercheurs est supérieure, nous montrons que la contribution des chercheurs humains est toujours essentielle dans une recherche acceptable.

Pour l’instant, nous pensons que les chercheurs devraient voir ChatGPT comme une aide, pas comme une menace. Il peut particulièrement être une aide pour les groupes de chercheurs qui ont tendance à manquer de ressources financières pour l’aide à la recherche traditionnelle (humaine) : chercheurs en économie émergente, étudiants diplômés et chercheurs en début de carrière. Il est tout simplement possible que ChatGPT (et des programmes similaires) puisse aider à démocratiser le processus de recherche.

Mais les chercheurs doivent être conscients de l’interdiction de son utilisation dans la préparation d’articles de revues. Il est clair qu’il existe des points de vue radicalement différents sur cette technologie, elle devra donc être utilisée avec précaution.

Cet article est republié de La conversation sous licence Creative Commons. Lis le article original.