Pouvez-vous dire si ce que vous lisez en ce moment a été écrit par un humain ou généré par une intelligence artificielle ? Ça t’intéresse? Ce sont essentiellement les questions que les chercheurs de l’Université de Californie à San Diego ont posées lors d’une expérience avec ChatGPT dans un lycée régional.
Les chercheurs ont testé les enseignants et les élèves avec des paires d’essais – l’un par un lycéen et l’autre par ChatGPT – et leur ont demandé d’identifier quel essai était le travail d’un humain et lequel du modèle de langage de l’IA. Les enseignants avaient raison environ 70 % du temps. Les élèves ont obtenu une moyenne de 62 %.
Ceux-ci peuvent ne pas sembler être des marques terribles; ils passent des notes, n’est-ce pas ? Mais les chercheurs affirment que les chiffres devraient être bien supérieurs à 90 % s’il était facile de faire la différence.
La confiance n’était pas corrélée avec la précision non plus. Les personnes qui pensaient pouvoir repérer le travail du chatbot ne s’en sortaient pas mieux que celles qui étaient moins sûres de leurs capacités.
« Nous avons été surpris que les enseignants qui avaient de l’expérience avec ChatGPT ou une histoire d’enseignement de l’anglais au lycée aient trouvé la tâche si difficile », a déclaré l’auteur principal Gail Heyman, professeur de psychologie à l’UC San Diego School of Social Sciences.
Ces résultats soulignent les inquiétudes généralisées concernant le fait que les étudiants pourraient rendre les essais générés par l’IA comme les leurs et s’en tirer avec le comportement malhonnête.
« Mais aussi », a déclaré Heyman, « l’un des aspects les plus intéressants – et troublants – de notre étude est que les enseignants ont obtenu de moins bons résultats à la tâche d’identification lorsque la paire d’essais comprenait un essai d’étudiant particulièrement bien écrit. En fait, de nombreux enseignants ont déclaré qu’ils avaient deviné que l’essai le mieux écrit avait été généré par ChatGPT. Cette découverte suggère que les enseignants sont plus susceptibles d' »accuser » un essai bien écrit d’être produit par l’IA, ce qui a également des implications potentiellement préoccupantes dans un contexte réel. cadre de classe du monde. »
L’étude, publiée dans la revue Comportement humain et technologies émergentes, comprenait 69 enseignants du secondaire et 140 élèves du secondaire en tant que participants. Les sujets de dissertation étaient similaires à ceux qui sont couramment assignés dans les écoles. (Un sujet, par exemple, était: « Pourquoi la littérature est-elle importante? »)
L’étude a également interrogé les participants sur leurs opinions sur ChatGPT.
Les étudiants ont fait état d’un plus grand optimisme que leurs enseignants quant au rôle futur de ChatGPT dans l’éducation, et ont évalué les possibles violations de l’intégrité académique comme la soumission d’essais générés par l’IA comme les siens moins négativement que les enseignants.
Le co-auteur de l’étude, Riley Cox, un lycéen qui s’est porté volontaire comme assistant de recherche pour l’étude, a déclaré : « C’était excitant pour moi de voir mes camarades de classe et mes enseignants comprendre cette nouvelle technologie à la fois du point de vue d’un étudiant et d’un psychologue. C’était intéressant de voir que les enseignants avaient beaucoup d’inquiétudes à propos de ChatGPT qui ne semblaient pas concerner les étudiants. »
Comme l’a commenté un enseignant du secondaire qui a participé à l’étude : « Je pense que ChatGPT pourrait avoir des applications intéressantes en classe, mais mes inquiétudes l’emportent sur les aspects positifs. Je crains que nous assistions également au déclin de la pensée originale chez nos élèves. que leur capacité à persévérer grâce à un travail acharné. »
Les chercheurs pensent que leur étude met en évidence à la fois certains des défis et des opportunités que ChatGPT apporte à l’éducation.
« Nous sommes sur le point d’opérer un changement majeur dans les pratiques éducatives, car le contenu de haute qualité de type humain devient de plus en plus accessible à tous », a déclaré le co-auteur Tal Waltzer, chercheur postdoctoral au laboratoire de Heyman à l’UC San Diego. « La façon dont nous gérons exactement cette transition soulève des considérations éthiques importantes. Par exemple, le fait que la version payante de ChatGPT fonctionne mieux sur de nombreux tests standardisés que la version disponible gratuitement pourrait exacerber les préoccupations déjà existantes concernant l’équité dans l’éducation. »
Heyman et Waltzer prévoient de poursuivre leurs recherches dans ce domaine « afin de développer une base empirique pour les meilleures pratiques concernant l’utilisation éthique de l’IA dans l’enseignement secondaire », a déclaré Heyman. Ils étudieront quel type d’activités améliorent l’apprentissage, pour aider à comprendre comment ChatGPT pourrait être utilisé comme une sorte de collaborateur.
Plus d’information:
Tal Waltzer et al, Test de la capacité des enseignants et des étudiants à différencier les essais générés par ChatGPT et les étudiants du secondaire, Comportement humain et technologies émergentes (2023). DOI : 10.1155/2023/1923981