Die Bewertung ist ein wesentlicher Bestandteil des Lernprozesses, da sie dabei hilft festzustellen, ob die Schüler die vermittelten Konzepte wirklich verstanden haben. Der Item-Schwierigkeitsindex (der Schwierigkeitsgrad von Items oder Fragen) spielt bei der Bewertung eine Schlüsselrolle und stellt das Verhältnis der Anzahl der Schüler dar, die die richtige Antwort gewählt haben, zur Gesamtzahl der Schüler, die auf jede Frage geantwortet haben. Dieser Index kann daher ein allgemeines Maß für den Schwierigkeitsgrad von Tests liefern. Darüber hinaus wirkt sich die Fähigkeit der Pädagogen, Items zu erstellen und ihren Schwierigkeitsindex vorherzusagen, erheblich auf den Bewertungsprozess aus.
Eine immer wiederkehrende Herausforderung besteht darin, dass Pädagogen den Schwierigkeitsgrad von Aufgaben überschätzen, was die Notwendigkeit verbesserter Vorhersagefähigkeiten unterstreicht. Es gibt jedoch nur wenig Forschung zu Programmen zur Personalentwicklung, die darauf abzielen, die Fähigkeit von Lehrern zu verbessern, den Schwierigkeitsgrad von Aufgaben vorherzusagen und anzupassen.
Um diese Lücke zu schließen, führte ein Forscherteam der Pusan National University unter der Leitung von Professor Sang Lee, Vizepräsident für medizinische Angelegenheiten, Professor für medizinische Ausbildung und Professor für Familienmedizin, eine Studie durch, deren Ergebnisse veröffentlicht In BMC Medizinische Ausbildung. Die Studie untersuchte, ob wiederholtes Training zur Aufgabenentwicklung für medizinische Fakultäten deren Fähigkeit verbesserte, den Schwierigkeitsgrad von Multiple-Choice-Fragen (MCQs) vorherzusagen und anzupassen.
Prof. Lee erläutert den Hintergrund ihrer Studie wie folgt: „Genauso wie der letzte Strich ein Gemälde vollendet und perfektioniert, wird auch die Ausbildung durch Bewertung perfektioniert. Ohne entsprechende Schulung können Medizinstudenten keine hochwertigen Produkte herstellen. Schulungen zur Produktentwicklung sind unerlässlich und diese Studie zeigt, dass die Wirksamkeit solcher Schulungen mit der Wiederholung zunimmt.“
Zunächst wurden 2016 und später 2018 Workshops zur Aufgabenentwicklung mit 62 Teilnehmern durchgeführt, bei denen die geschätzten Genauigkeiten der Aufgabenschwierigkeitsvorhersagen verglichen wurden. Vor dem Workshop entwickelten die Lehrkräfte neue Aufgabenentwürfe, die dann überprüft wurden. Ein Aufgabenentwicklungsausschuss schulte die Fakultätsmitglieder, indem er ihnen kontinuierliches Feedback gab und ihnen half, die neu entworfenen Aufgaben gemäß den nationalen Prüfungsstandards mit einem idealen Schwierigkeitsbereich und einem anwendungsbezogenen Schwerpunkt zu überarbeiten. Darüber hinaus wurden die von den Teilnehmern vorhergesagten Schwierigkeitsindizes mit Evaluationsanalysen von Medizinstudenten im vierten Jahr verglichen.
Die Studie ergab, dass vor dem Training nur für ein Fach, nämlich Kardiologie, eine signifikante Übereinstimmung zwischen den vorhergesagten und tatsächlichen Schwierigkeitsindizes beobachtet wurde. Im Gegensatz dazu wurde für vier Fächer eine signifikante Übereinstimmung beobachtet: Kardiologie, Neurologie, Innere Medizin und Präventivmedizin. Diese Ergebnisse deuten darauf hin, dass systematisches und effektives Training die Qualität von MCQ-Bewertungen in der medizinischen Ausbildung verbessern kann.
Wiederholte Schulungen verbesserten die Fähigkeit der Lehrkräfte, den Schwierigkeitsgrad der Aufgaben präzise vorherzusagen und anzupassen, erheblich, was zu effektiveren Beurteilungen und besseren Bildungsergebnissen führte. Trotz der Vorteile des Workshops könnte es aufgrund der dreitägigen Dauer und der vollen Terminkalender der teilnehmenden Lehrkräfte schwierig sein, diese Ergebnisse aufrechtzuerhalten. Lehrkräfte, die eine Schulung zur Aufgabenentwicklung und -anpassung erhalten, sind jedoch besser in der Lage, Aufgaben zu erstellen und den Schwierigkeitsgrad präzise anzupassen, wodurch die Bewertungspraktiken verbessert werden.
Darüber hinaus können diese Schulungsprogramme in allen akademischen Bereichen angewendet werden. Abschließend plädiert diese Studie für kontinuierliche Programme zur Fakultätsentwicklung, um die Erstellung geeigneter Elemente sicherzustellen, die auf den Zweck der Bewertung abgestimmt sind.
Zu den möglichen Anwendungen der Studie meint Prof. Lee: „Wiederholtes Training zur Aufgabenentwicklung hilft nicht nur dabei, den Schwierigkeitsgrad anzupassen, sondern verbessert auch die Konstruktion der Aufgaben, erhöht ihre Unterscheidungskraft und geht angemessen auf die Frage der Gültigkeit ein.“
„Bald wird es eine Ära der Aufgabenentwicklung mit Hilfe von KI geben. Dafür sind Studien wie unsere wichtig, da sie die notwendigen Informationen über bestehende Aufgaben und die Antwortdaten der Studenten liefern, die bei der Entwicklung eines KI-gestützten automatisierten Aufgabenentwicklungsprogramms helfen werden.“
Mehr Informationen:
Hye Yoon Lee et al., Der Einfluss wiederholten Aufgabenentwicklungstrainings auf die Vorhersage des Aufgabenschwierigkeitsindex von Mitgliedern der medizinischen Fakultät, BMC Medizinische Ausbildung (2024). DOI: 10.1186/s12909-024-05577-x