Schüler bevorzugen Lehrerfeedback gegenüber KI-Feedback, so die Studie

Feedback spielt beim Lernen eine entscheidende Rolle, da es den Einzelnen dabei hilft, seine Leistung zu verstehen und zu verbessern. Aufgrund der großen und vielfältigen Studierendenpopulationen weltweit kann es jedoch oft eine Herausforderung sein, zeitnahe und personalisierte Beobachtungen bereitzustellen.

Aktuelle Fortschritte im Bereich der generativen künstlichen Intelligenz bieten eine Lösung für diese Herausforderungen. Allerdings konzentrieren sich die meisten bestehenden Studien in erster Linie auf technologische Aspekte wie die Modellgenauigkeit und übersehen dabei häufig die sozial-emotionalen Aspekte der Akzeptanz von KI.

Nun haben Forscher des Machine Learning for Education Laboratory (ML4ED), das zur Fakultät für Computer- und Kommunikationswissenschaften (IC) der EPFL gehört, untersucht, wie sich die Identität des Feedbackgebers auf die Wahrnehmung der Studierenden auswirkt.

Ihre Arbeit ist veröffentlicht als Vorabdruck.

In ihrem Beitrag mit dem Titel „KI oder Mensch? Evaluating Student Feedback Perceptions in Higher Education“, der auf der Europäische Konferenz zum technologiegestützten Lernen 2024beschreiben die Forscher, wie mehr als 450 EPFL-Studenten aus verschiedenen akademischen Programmen und Niveaus personalisiertes Feedback in authentischen Bildungsumgebungen bewerteten, sowohl vor als auch nach der Offenlegung, ob es von einem Menschen stammte oder von KI generiert wurde.

„Unsere Forschung hat ergeben, dass Studierende, bevor sie erkennen, ob ihnen ein Mensch oder eine KI Feedback gibt, keinen Unterschied in der Qualität oder Freundlichkeit wahrnehmen. Nachdem sie herausgefunden haben, dass es eine KI war, die das Feedback gab, haben sie entweder die Bewertung der KI gesenkt oder die Bewertung des Menschen erhöht, was uns sagt, dass sie der KI nicht vertrauen“, erklärt Professorin Tanja Käser, Leiterin des ML4ED-Labors.

Die Studienteilnehmer wurden außerdem gebeten, den Feedbackgeber richtig zu erraten. Insgesamt errieten 274 der 457 Teilnehmer richtig, welches Feedback von Menschen stammte und welches von KI generiert wurde. Die Forscher stellten fest, dass weder Alter noch Geschlecht einen signifikanten Einfluss auf die richtigen Antworten hatten, wohl aber die Art der Kursaufgabe. Bei Projekten, bei denen es um Programmierung ging, identifizierten die Studenten Feedback leichter als von KI generiert als bei kurzen logischen Beweisaufgaben.

Eine der zentralen Fragen, die sich aus der Studie ergibt, ist nach Ansicht der Forscher, wie sich die wahrgenommene Vertrauensbasis in KI als Feedbackgeber auf die tatsächliche Umsetzung von KI-Feedback im Unterricht auswirken kann.

„Dies hat wichtige Auswirkungen auf das Lernen. Gutes Feedback wird Ihnen sagen, was Sie gut gemacht haben, was nicht und welche Maßnahmen Sie in Zukunft ergreifen können. Wenn Sie weniger bereit sind, das Feedback zu beachten, das Sie erhalten, weil es von der KI stammt und Sie ihm nicht vertrauen, ist es weniger wahrscheinlich, dass Sie Ihren Lernerfolg verbessern, wenn in den Klassenzimmern mehr dieser Modelle integriert werden“, sagte Tanya Nazaretsky, Postdoktorandin im ML4ED-Labor und Hauptautorin des Papiers.

Es wird zunehmend klar, dass KI im Bildungsbereich sehr nützlich sein kann, um das Lernen zu unterstützen, und es besteht eine hohe Bereitschaft, sie zu akzeptieren. Es gibt jedoch wahrgenommene Hindernisse in Bezug auf mangelnde Transparenz und Rechenschaftspflicht, Datenschutzverletzungen und Trainingsdatenquellen.

„Ein wichtiges Anliegen war die Fähigkeit der KI, den realen Lernkontext außerhalb ihrer Grenzen zu verstehen. Viele Studenten äußerten den Kommentar: ‚Die KI kennt mich nicht als Person, die KI sieht nur, was im System ist, aber es gibt andere Faktoren, die für den Lernprozess wichtig sind und die die KI nicht sehen kann.‘ Trotz der Bereitschaft, KI zu akzeptieren, herrscht ein echter Vertrauensmangel und dies behindert ihre Einführung in der Praxis“, fuhr Nazaretsky fort.

Im Nachhinein sei die starke Präferenz für menschliches gegenüber KI-Feedback unerwartet gewesen, sagt Käser. Sie zeige aber, dass noch viel mehr Forschung zur Akzeptanz und Integration von KI in Lernumgebungen nötig sei.

„Nehmen wir einmal an, die KI wäre perfekt; wir müssen noch zeigen, wie sie angepasst und nahtlos in Lehrpläne und Unterricht integriert werden kann. Eines der wichtigsten Ergebnisse dieser Studie ist, dass wir den menschlichen Faktor nie vergessen sollten.“