L’évaluation est une partie essentielle du processus d’apprentissage, car elle permet de déterminer si les élèves ont réellement compris les concepts enseignés. L’indice de difficulté des items (le niveau de difficulté des items ou des questions) joue un rôle clé dans l’évaluation et représente le rapport entre le nombre d’élèves ayant choisi la bonne réponse et le nombre total d’élèves ayant répondu à chaque question. Cet indice peut donc fournir une mesure générale du niveau de difficulté des tests. De plus, la capacité des enseignants à créer des items et à prédire leur indice de difficulté affecte considérablement le processus d’évaluation.
Un problème récurrent est que les enseignants peuvent surestimer la difficulté des questions, ce qui souligne la nécessité d’améliorer les capacités de prédiction. Cependant, les recherches sur les programmes de développement du corps professoral visant à améliorer la capacité des enseignants à prédire et à ajuster la difficulté des questions sont limitées.
Pour combler cette lacune, une équipe de chercheurs de l’Université nationale de Pusan, dirigée par le professeur Sang Lee, vice-président des affaires médicales, professeur d’éducation médicale et professeur de médecine familiale, a mené une étude dont les conclusions sont les suivantes : publié dans Éducation médicale BMCL’étude a examiné si la formation répétée au développement d’éléments pour les professeurs des facultés de médecine améliorait leur capacité à prédire et à ajuster le niveau de difficulté des questions à choix multiples (QCM).
Expliquant le contexte de leur étude, le professeur Lee explique : « Tout comme le dernier coup de pinceau complète et perfectionne un tableau, l’éducation se perfectionne grâce à l’évaluation. Les membres du corps enseignant des facultés de médecine ne peuvent pas créer d’articles de haute qualité sans une formation adéquate. La formation au développement d’articles est essentielle, et cette étude démontre que l’efficacité de cette formation augmente avec la répétition. »
Des ateliers de développement d’items ont été organisés avec 62 participants, d’abord en 2016, puis en 2018, et les estimations de la précision des prédictions de difficulté des items ont été comparées. Avant l’atelier, les enseignants ont élaboré de nouveaux items, qui ont ensuite été révisés. Un comité de développement d’items a formé les membres du corps professoral en leur offrant un retour d’information continu et en les aidant à réviser les nouveaux items conformément aux normes nationales d’examen, avec une plage de difficulté idéale et une approche axée sur l’application. De plus, les indices de difficulté prédits par les participants ont été comparés aux analyses d’évaluation des étudiants en médecine de quatrième année.
L’étude a révélé qu’avant la formation, une concordance significative entre les indices de difficulté prévus et réels des items n’a été observée que pour une seule matière, la cardiologie. En revanche, une concordance significative a été observée pour quatre matières : la cardiologie, la neurologie, la médecine interne et la médecine préventive. Ces résultats suggèrent qu’une formation systématique et efficace peut améliorer la qualité des évaluations QCM dans l’enseignement médical.
Les séances de formation répétées ont considérablement amélioré la capacité des enseignants à prévoir et à ajuster avec précision les niveaux de difficulté des questions, ce qui a permis d’obtenir des évaluations efficaces et de meilleurs résultats pédagogiques. Malgré les avantages de l’atelier, il pourrait être difficile de maintenir ces résultats, en raison de sa durée de trois jours et des horaires chargés des enseignants participants. Cependant, les enseignants qui reçoivent une formation sur le développement et la modification des questions seront mieux équipés pour créer des questions et ajuster avec précision les niveaux de difficulté, améliorant ainsi les pratiques d’évaluation.
De plus, ces programmes de formation peuvent être appliqués dans tous les domaines académiques. En conclusion, cette étude préconise des programmes de développement continu du corps professoral pour assurer la création d’éléments appropriés en adéquation avec l’objectif de l’évaluation.
En parlant des applications potentielles de l’étude, le professeur Lee déclare : « L’entraînement répété au développement d’éléments permet non seulement d’ajuster le niveau de difficulté, mais aussi d’améliorer la construction des éléments, d’augmenter leur pouvoir discriminant et de répondre correctement à la question de la validité.
« Bientôt, nous entrerons dans une ère de développement d’items utilisant l’IA. Pour cela, des études comme la nôtre sont importantes pour fournir les informations nécessaires sur les items existants et les données de réponse des étudiants, ce qui aidera à développer un programme de développement d’items automatisé basé sur l’IA. »
Plus d’information:
Hye Yoon Lee et al., L’impact de la formation répétée au développement d’items sur la prédiction de l’indice de difficulté des items des membres du corps professoral en médecine, Éducation médicale BMC (2024). DOI: 10.1186/s12909-024-05577-x