ChatGPT a été un sujet de grande discussion dans le milieu universitaire, en particulier sur la façon d’empêcher son utilisation non autorisée dans les cours. Cependant, les étudiants peuvent bénéficier de la compréhension de l’utilisation de l’intelligence artificielle générative (IA) comme outil pour gagner du temps et améliorer les performances des devoirs d’écriture.
Craig Hurwitz, cadre en résidence à la Pratt School of Engineering, a demandé aux étudiants diplômés de son cours « Emerging Trends in Financial Technology (Fintech) » de générer une première ébauche d’un essai avec l’aide de ChatGPT. Son hypothèse de travail était que lorsque les étudiants entreront sur le marché du travail, ils auront accès à l’IA générative et pourront l’utiliser à des fins de productivité. Il voulait expérimenter ChatGPT dans son cours pour donner aux étudiants un aperçu de première main sur la façon d’utiliser l’IA générative.
Pour le devoir, la classe a été chargée de lire une étude de cas et chaque étudiant a choisi une approche Fintech pour aider à résoudre un défi particulier mentionné dans le cas. Leur devoir écrit était un résumé de 750 mots convaincant l’instructeur (jouant le rôle de capital-risqueur) pourquoi il devrait envisager de se rencontrer pour discuter d’un investissement potentiel.
Les instructions demandaient à chaque étudiant de créer un premier brouillon à l’aide de ChatGPT. Après avoir généré le brouillon, ils ont importé le brouillon dans Microsoft Word et activé le « suivi des modifications ». Ils ont édité le brouillon initial et soumis le brouillon final avec le « suivi des modifications » toujours activé.
Cela a permis au professeur de voir le brouillon généré par ChatGPT, les modifications apportées à ce brouillon et le produit final soumis par chaque étudiant. La gamme de production finale non éditée variait d’environ 20% à plus de 90%. Après le devoir, les étudiants ont répondu à un sondage sur leurs expériences dans le cadre du devoir. Cet article résume les réactions des étudiants à l’utilisation de ChatGPT.
L’IA comme compétence professionnelle
Les étudiants ont considéré cette mission comme une formation importante car ils s’attendent à utiliser l’IA sur le lieu de travail. Il y a eu de nombreux commentaires sur la façon dont cette mission était une opportunité d’apprentissage sur la façon d’utiliser efficacement un chatbot d’IA et comment cela va être une compétence précieuse lorsqu’ils obtiendront leur diplôme et assumeront des rôles à temps plein sur le marché du travail.
Comme l’a expliqué un étudiant : « J’ai vraiment aimé travailler sur ce devoir. Je pense que ce que vous nous avez laissé faire correspond à ce qui se passera dans la vraie vie. Remplir ce devoir est une bonne pratique pour nous d’utiliser l’IA pour améliorer notre travail. »
Une compétence spécifique que les étudiants ont acquise est de savoir comment rédiger des invites efficaces dans ChatGPT. De nombreux étudiants ont réalisé que l’élaboration d’une invite appropriée est un processus itératif et est la clé d’une expérience réussie. Presque tous les étudiants se sont lancés dans cet exercice en essayant d’utiliser une seule invite pour créer l’intégralité de la dissertation.
Cependant, la plupart des étudiants ont trouvé que le résultat était trop général et, dans la plupart des cas, trop répétitif. La réaction la plus courante à cela était de soumettre à ChatGPT des questions de suivi spécifiques en utilisant un texte descriptif et succinct conçu pour créer une sortie pour un paragraphe particulier, ou plus précisément, une puce.
Plusieurs étudiants ont commenté l’importance de former ChatGPT à assumer un rôle particulier avant de l’inciter à générer une sortie écrite. « Je mettrais davantage l’accent sur la formation de l’IA à adopter une certaine personnalité, au lieu de passer beaucoup de temps à essayer de trouver la bonne invite », a commenté un étudiant dans l’enquête post-mission.
Efficacité d’écriture
Chaque étudiant a affirmé que l’utilisation d’un chatbot IA pour aider à générer un premier brouillon était utile. Quatre-vingt-dix pour cent des étudiants ont déclaré que l’utilisation d’un chatbot IA était un gain de temps. Un étudiant a fait remarquer : « Pour chaque minute que vous passez sur ChatGPT, vous gagnez dix minutes, mais assurez-vous de donner à l’IA les informations précises avec lesquelles vous voulez qu’elle fonctionne et le risque d’erreurs est minime. »
Vingt et un des 36 élèves de la classe qui parlent l’anglais comme langue seconde ont ressenti un autre avantage. Chacun d’entre eux a indiqué qu’il avait déjà utilisé ChatGPT avant cette mission. Un refrain commun était que l’utilisation d’un chatbot IA les aidait à écrire comme si l’anglais était leur langue maternelle. Cependant, comme l’a averti un étudiant, « la grammaire utilisée par l’IA était parfaite, mais j’ai trouvé le langage vague et peu sophistiqué ». Ce commentaire souligne la compréhension générale des étudiants des limites de ChatGPT.
Limites
Alors que les étudiants ont trouvé ChatGPT utile, il y avait des commentaires significatifs sur les limites de cette génération de la technologie. Les limitations appartenaient généralement à l’une des trois catégories suivantes : 1) sources incorrectes, 2) sources obsolètes et 3) le résultat n’est pas aussi bon que l’invite. « J’ai découvert que ChatGPT générait des informations correctes, mais avec une citation incorrecte », a noté un étudiant.
Plus de la moitié de la classe a trouvé que ChatGPT générait des informations incorrectes et seulement deux sur 36 ont exprimé leur confiance dans les sources citées par ChatGPT. Les étudiants ont compris que la vérification des faits est un élément essentiel de l’utilisation de ChatGPT pour l’écriture, car l’intégrité de la source est un gros problème. De plus, comme la mission des étudiants était de mettre en évidence les tendances émergentes dans la Fintech, ils ne pouvaient pas se fier aux anciennes données de ChatGPT (septembre 2021).
Notez que les étudiants ont utilisé le modèle GPT-3.5 pour ce devoir d’IA ; c’était avant la sortie de GPT-4.0, lorsque la possibilité de citer des sources s’est quelque peu améliorée, mais s’appuyer sur les sources fournies par GPT reste problématique.
De nombreux étudiants ont déclaré qu’ils aimaient travailler sur le devoir, mais qu’ils sont conscients des considérations éthiques telles que la propriété intellectuelle et qu’ils ont compris que des garde-fous sont nécessaires. Les étudiants ont compris que l’utilisation de ChatGPT ne peut être qu’une étape dans le processus d’écriture. « Le bot ne doit pas être utilisé comme une réponse finale, mais simplement comme un moyen de comprendre un sujet ou de réfléchir à des idées. La capacité de ChatGPT à synthétiser les sources et à condenser les informations est excellente, mais ne devrait pas remplacer nos propres filtres et notre capacité à le faire. même travail nous-mêmes. »
Conclusion
Les capacités d’IA générative progressent rapidement. C’est un outil de productivité qui sera probablement largement accepté et utilisé par la main-d’œuvre. Former les étudiants à utiliser la technologie de manière appropriée et efficace est une compétence de vie importante. Pour ceux qui s’inquiètent de savoir si la sortie générée par ChatGPT est le travail de l’outil ou de l’étudiant, rien ne remplace la recherche fondamentale, la compréhension claire de ce que vous voulez communiquer et la connaissance, à l’avance, la structure écrite que vous attendez de ChatGPT.
Du point de vue d’un professeur qui a passé la majeure partie de sa carrière dans l’industrie, il était gratifiant de voir à quelle vitesse les étudiants se sont adaptés à la technologie et l’ont optimisée, et comment cela a conduit à des essais produits plus efficacement et, dans de nombreux cas, de meilleure qualité que qu’ils auraient pu atteindre autrement.