Personalisierung von Prüfungen durch ChatGPT-4o? Argumentative Validität von personalisierten Prüfungen im Zeitalter generativer Künstlicher Intelligenz

Abstract

Generative Künstliche Intelligenz (genKI) kann Lern- und Prüfungsprozesse individualisieren – je nach Einsatz kann sie dabei erweiternd oder transformierend wirken (Puentedura 2006). Zu überprüfen gilt, inwiefern solche personalisierten Prüfungen valide sind und in welchem Masse diese das Verhältnis von Standardisierung und Personalisierung in prüfungsbezogenen Prozessen verändern. Vor diesem Hintergrund untersucht die empirische Studie die Validität von zwei personalisierten Prüfungen – eine kontextualisierte, textbasierte Prüfung (erweiternd) und die Nutzung eines Prüfungsbots während der Prüfungssitua­tion (transformierend) – anhand einer argumentativen Evidenzkette (St-Onge et al. 2017; Huggins-Manley et al. 2022), strukturiert durch die prüfungsbezogenen Prozesse scoring, administration, evaluation, decision und impact (Sinharay et al. 2025). In einem Kontrollgruppendesign (n = 18) erhielten Expert:innen u. a. aus dem Bereich Angewandte Künstliche Intelligenz entweder die von einer Lehrkraft entwickelte standardisierte Prüfung oder eine davon abgeleitete, von genKI entwickelte kontextualisierte Prüfung, die beide im Kurs «KI-Management» eines Weiterbildungsinstituts eingesetzt werden könnten. Die Ergebnisse zeigen, dass der erweiternde Personalisierungsgrad die Validität nicht signifikant beeinträchtigt oder aufwertet; ein signifikanter authentizitätsfördernder Effekt zeigt sich bei der kontextualisierten Prüfung. Für den Einsatz eines Prüfungsbots gilt: Validität ist dann gefährdet, wenn die Eigenleistung der lernenden Person nicht mehr ersichtlich ist; vorteilig wirkt der Prüfungsbot beim Geben von Feedback während und nach der Prüfung. Somit könnten Lern- und Prüfungsprozesse weiter ausdifferenziert und die Konzepte Standardisierung und Personalisierung als komplementär verstanden werden (Bates et al. 2019).