1. Einleitung1
Die fortschreitende Datafizierung von Bildungskontexten (Jarke und Breiter 2019) ermöglicht das Sammeln, Auswerten und Verknüpfen unterschiedlicher Daten von Lernenden und eröffnet damit neue Perspektiven auf Lernprozesse. Insbesondere die Anwendung von Verfahren des maschinellen Lernens für Lernanalysen (Learning Analytics, Ifenthaler und Drachsler 2018) verspricht, hierbei Lernprozesse individuell zu verfolgen und zu vermessen, Entwicklungen zu erfassen und vorherzusagen sowie Rückmeldungen zu geben und Lernverläufe zu optimieren. Welche Entwicklungen diesbezüglich für den Bereich Schule in Deutschland zu erwarten sind, mag ein Blick auf den Einsatz von Learning Analytics in Schulsystemen anderer Länder (Knox 2017) bzw. in der Hochschulbildung (Büching u. a. 2019) zeigen. In den USA verwendeten beispielsweise schon 2015 fast die Hälfte aller Schulen Frühwarnsysteme (Early Warning Indicator and Intervention Systems – EWS), um Schülerinnen und Schüler zu identifizieren, die mit hoher Wahrscheinlichkeit die Schule nicht beenden (U.S. Department of Education 2016). Im Hochschulbereich werden neben solchen «profiling»- bzw. «predictio»-Verfahren Learning Analytics auch in den Feldern der «intelligent tutoring systems, assessment and evaluation» sowie der «adaptive systems and personalisation» genutzt (zum Überblick vgl. Zawacki-Richter u. a. 2019). Grundlage für die meisten Learning Analytics bilden Daten über Aktivitäten von Lernenden in Lernmanagementsystemen (LMS), d. h. der Interaktionen mit Inhalten (z. B. Login-Häufigkeit, Verweildauer) oder mit anderen Lernenden. Hierbei werden nur solche Aktivitäten verfolgt, die innerhalb des LMS und damit der formellen Bildungsinstitution und seiner Angebote bzw. Vorgaben stattfinden. Auf der anderen Seite verändert sich die Art und Weise, wie sich Menschen in tiefgreifend mediatisierten Lebenswelten (Hepp 2018) und einer Kultur der Digitalität (Stalder 2016) Wissen aneignen und Kompetenzen (weiter-)entwickeln können. Neben Angeboten in Form von digitalen Lehrwerken, Büchern, Fachzeitschriften, Wikis, Webseiten oder Blogs spielen heute ebenso Tutorials, Erklärvideos, Challenges oder Interviews, interaktive Lernumgebungen oder der Austausch in sozialen Netzwerken eine wichtige Rolle. So verwendet über die Hälfte der Schülerinnen und Schüler in Deutschland regelmässig die Videoplattform YouTube, um für die Schule zu lernen (Rat für kulturelle Bildung 2019). Wenn das Lernen auf so unterschiedlichen Wegen erfolgen kann, wie können diese Aktivitäten und ihre digitalen Spuren (Breiter und Hepp 2018) für Lernanalysen nutzbar gemacht werden und welche Auswirkungen hätte diese Art der «Dauerbeobachtung» aus Sicht der Lernenden?
Der vorliegende Beitrag wendet sich diesen beiden Fragen der Datafizierung von Bildungskontexten im Rahmen eines Projekts zum non-formalen Musiklernen zu. Dort wurden Musikschulkurse zum Thema Songwriting in hybriden Lehr-/Lernarrangements begleitet und während des gesamten Kursverlaufs die Bildschirmaktivitäten der Teilnehmenden aufgezeichnet. Diese Methode ermöglicht es, auch dann den Lernenden «über die Schulter zu schauen», wenn diese sich fernab institutioneller Lernangebote und -umgebungen auf ihren persönlichen Lernpfaden bewegen. Die Lernenden wurden im Anschluss der Kurse befragt, wie sie diese Form der Datenerfassung wahrgenommen haben und welche Rolle diese Art der Beobachtung für ihre Kursaktivitäten spielte. Nach der Darstellung des Forschungsstands und einer kurzen Projektbeschreibung wird zunächst das Vorgehen für die Erhebung der unterschiedlichen Daten im Projekt vorgestellt. Besonderes Augenmerk wird erstens auf die Erhebung und die automatisierte Auswertung der Bildschirmaufzeichnungen gelegt. Zweitens wird der Fokus auf die zentralen Ergebnisse der Teilnehmenden-Interviews zur Wahrnehmung dieser hoch immersiven Form der Datensammlung gerichtet. Drittens und abschliessend werden unsere Ergebnisse im Spannungsfeld technisch-realisierbarer Möglichkeiten und Fragen der Daten-Selbstbestimmung und Akzeptanz durch Lernende mit Blick auf einen möglichen Einsatz im Bereich der Schule diskutiert.
2. Forschungsstand
2.1 Datenquellen für Learning Analytics in Bildungskontexten
Unter dem Begriff Learning Analytics wird im Allgemeinen das Messen, Sammeln, Analysieren und Darstellen von Daten über Lernende und ihre Lernkontexte verstanden, um Lernprozesse zu verstehen und Lernumgebungen zu optimieren (Perrotta und Williamson 2018; Ifenthaler und Drachsler 2018). Das Ziel solcher maschinellen Lernanalysen besteht darin, Vorhersagen zu treffen bzw. Handlungsempfehlungen für didaktische Interventionen zu erstellen (Huang und Fang 2013). Ein geteiltes Kernverständnis im Bereich der vorhersagenden Analysen im Bildungswesen besteht darin, dass Anwesenheit, Verhalten und Kursleistung starke Prädiktoren für den Bildungsabschluss darstellen (Bruce u. a. 2011). In der Praxis stützen sich die meisten prädiktiven Instrumente auf akademische Leistungsdaten, d. h. Kursnoten und standardisierte Tests (Coleman, Baker und Stephenson 2019), ergänzt durch sozio-demographische Daten und sozio-ökonomische Indikatoren (Qazdar u. a. 2019; Sorensen 2019). Die Hauptdatenquelle für die Durchführung von Analysen und Vorhersagen bilden in der Regel LMS (Pardo und Delgado-Kloos 2011; Clow 2013; Tempelaar, Rienties, und Giesbers 2015). Die Verwendung von Daten aus den LMS macht es einfach, die Aktivitäten der Lernenden unauffällig und mit geringem Aufwand zu verfolgen. Allerdings schränkt der Rückgriff auf LMS-Daten als einzige Datenquelle auch den Umfang der Analyse ein. Dies trifft insbesondere dann zu, wenn wenige oder keine Prüfungen bzw. Bewertungen der Leistungen der Lernenden durchgeführt werden (können) oder Wege und Strategien der Lernenden in den Fokus rücken, die sich nicht allein aus den LMS-Protokolldateien ableiten lassen. Formative Bewertungsverfahren finden kaum Berücksichtigung. Aufschluss über erfolgreiche oder weniger erfolgreiche Lernwege kann in diesen Fällen nur gegeben werden, wenn die gesammelten Datenspuren oder Log-Einträge in ihrem Kontext analysiert und mit weiteren Informationen verknüpft werden. In diesem Fall geht es darum, digitale Spuren der Lernprozesse mit Hilfe methodischer Triangulation zu aussagekräftigen Ergebnissen im Erhebungskontext zusammenzuführen und zu analysieren (Reigeluth 2014). Insbesondere im Bereich der Informatik-Didaktik zeigen Beispiele, wie Daten zu Tastatureingaben, Klicks, Variablen- oder Quellcodeänderungen für die Analyse und Unterstützung der Lernenden während des Prozesses verwendet werden (Blikstein 2011). Für die Schule ist dieser Bereich noch nahezu ungenutzt. Bildschirmaufzeichnungen als Datenquelle zur Verfolgung von Benutzenden-Aktivitäten werden vor allem in der Forschung zur Mensch-Computer-Interaktion eingesetzt (Reeves u. a. 2021) und erst seit kurzer Zeit auch in Learning Analytics-Kontexten. Portowitz et al. (2014) verwenden beispielsweise Bildschirmaufnahmen und Mausbewegungsdaten, um zu evaluieren, wie sich Kinder bei Musikaufgaben verhalten. Krieter und Breiter (2018a) haben einen Ansatz zur automatischen Generierung von Protokolldateien aus mobilen Bildschirmaufzeichnungen vorgestellt, indem sie Techniken der Computer Vision und des maschinellen Lernens verknüpfen. Sie zeigen, wie ihr Ansatz genutzt werden kann, um Daten für Learning Analytics unabhängig von den in der digitalen Lernumgebung verwendeten Anwendungen zu generieren (vgl. auch Krieter und Breiter 2018b).
2.2 Nutzendenperspektiven auf Learning Analytics in Bildungskontexten
Mit der zunehmenden Bedeutung von Learning Analytics und der wachsenden Zahl an Bildungsinstitutionen, welche Daten für Lernanalysen sammeln und verwenden, erhalten ethische Aspekte dieser Prozesse verstärkt Aufmerksamkeit (Prinsloo und Slade 2015; Tsai, Whitelock-Wainwright und Gašević 2020; vgl. kritisch dazu Komljenovic 2020). Dabei stehen vor allem Anpassungen institutioneller Richtlinien hinsichtlich datenschutzrechtlicher und technischer Anforderungen im Fokus, die durch die Integration von Learning Analytics in den Bildungsbereich entstehen. Darüber hinaus werden Wahrnehmungen und Ansichten der Lernenden zu diesen Prozessen ‒ in denen sie Hauptakteurinnen und -akteure, Nutzniessende und Betroffene sind – hoch relevant (Drachsler und Greller 2012). Ifenthaler und Schumacher (2016) kommen zum Schluss, dass bisher nur wenige empirische Ergebnisse aus der Forschung zur Studierendenperspektive zu Datenschutzfragen im Zusammenhang mit Learning Analytics vorliegen. In ihrer Online-Befragung mit 330 Studierenden untersuchten sie die Bereitschaft der Teilnehmenden, bestimmte Daten für spezifische Formen von Learning Analytics zur Verfügung zu stellen. Als entscheidenden Faktor für die Bereitschaft und Akzeptanz und somit einer erfolgreichen Implementierung von Learning Analytics stellen sie die Transparenz heraus, d. h. eine Informiertheit der Studierenden. Ergebnisse aus früheren Forschungen von Prinsloo und Slade (2013) weisen in eine ähnliche Richtung. Sie nutzten in ihrer Studie ein Online-Forum, um die Meinungen und Ansichten der Studierenden zur Erhebung und Verarbeitung ihrer Daten zu analysieren. Über mehrere Wochen wurden Beiträge und Diskussionen im Forum gesammelt, über welches die Studierenden als Interessenvertretende zur Erstellung neuer Richtlinien für den Einsatz von Learning Analytics einbezogen wurden. Als entscheidenden Garanten für eine Akzeptanz solcher Verfahren machen Slade und Prinsloo die Offenlegung darüber aus, welche Daten erhoben und gespeichert werden, wie lange diese gespeichert werden, wer Zugang zu diesen hat und aus welchem Grund. Eine neuere Studie von Schumacher und Ifenthaler (2018) untersuchte Merkmale, die Studierende von Learning Analytics erwarten. Sie verwendeten hierfür einen Mixed-Method-Ansatz aus explorativen qualitativen Interviews und einer anschliessenden quantitativen Befragung. Ihre Ergebnisse weisen darauf hin, dass viele Studierende dem Einsatz von Learning Analytics offen gegenüberstehen, sofern die Daten transparent zur Verbesserung von Lernergebnissen genutzt werden.
3. Projektbeschreibung
In unserer Studie untersuchten wir das Lernverhalten bei der Aneignung musikbezogener Inhalte in nicht linear organisierten digitalen Lernumgebungen. Zu diesem Zweck wurden zwei Musikkurse für Musikschulen bzw. Volkshochschulen zur Vermittlung verschiedener musiktheoretischer und -praktischer Inhalte zum Thema Songwriting und Musikproduktion konzipiert, um Lernwege und -strategien für die selbstgesteuerte Aneignung musikalischer Fähigkeiten und Fertigkeiten zu erforschen. Es wurden insgesamt zwei Kurse durchgeführt, welche Ende 2018 (C1) und Ende 2019 (C2) starteten. Die Kursdauer betrug drei bis vier Monate, in denen die Teilnehmenden durch datengenerierende Lernangebote zur intensiven Auseinandersetzung mit Inhalten und Problemstellungen zu Themen wie Recording und Mixing, Harmonik, Stilkunde, Hörschule u. a. angeregt wurden. Die Kursteilnehmenden waren frei in der Auswahl der inhaltlichen Themenschwerpunkte in den Selbstlernphasen und wurden hierfür zum einen vom Kursleiter in den Präsenzzeiten motiviert, sich eigenständig Themen zu nähern und sich über die Nutzung digitaler Medien selbständig Lernmaterialien und Lernwege zu eröffnen. In den wöchentlichen Treffen wurden insofern Anregungen für das musikalische Selbstlernen gegeben, kooperatives Lernen angebahnt sowie musikalische Lernergebnisse und -schwierigkeiten besprochen. Zum anderen erfolgte die Themenbearbeitung im Rahmen einer vorstrukturierten Lernumgebung im Lernmanagementsystem moodle. Das LMS bot speziell gestaltete Lerninhalte zur Inspiration an und wurde darüber hinaus für die Kurskommunikation respektive -organisation genutzt. Teilnehmende erhielten für die Dauer des Kurses jeweils ein Android-Tablet, eine Tastatur und Kopfhörer zur Benutzung in den Präsenzzeiten und Selbstlernphasen zuhause. Mit Methoden der Informatik konnten die digitalen Spuren der individuellen Lernaktivitäten ausserhalb der vorgegebenen Kursstruktur verfolgt werden, um das Lernverhalten bei der Aneignung musikbezogener Inhalte umfassend zu erforschen.
4. Projektdaten: Erhebung, Nutzung und Verknüpfung
Wie im Forschungsstand (Kap. 2) zur Nutzung von Daten für Learning Analytics im Bildungsbereich bereits dargelegt, werden in der Bildung vorrangig und ausschliesslich Daten aus Lernmanagementsystemen für Analysen und Vorhersagen genutzt. Im Projekt musicalytics umfasst die Datensammlung dagegen weitere Datenquellen. Neben den Log-Dateien aus dem Lernmanagementsystem wurden Log-Dateien ebenfalls über eine automatisierte Auswertung der Bildschirmvideos sowie durch das Betriebssystem Android auf den Kurs-Tablets generiert und sowohl für quantitative als auch qualitative Analysemethoden verwendet. Eine Log-Datei ist ein automatisch erzeugtes Textdokument, in dem Einträge über spezifische Ereignisse gespeichert werden. Ursprünglich ist der Zweck von Logdateien, Ereignisse während des Betriebs eines Computersystems aufzuzeichnen, beispielsweise Fehler, Status oder Informationen über die Leistung (Eick, Nelson, und Schmidt 1994). Format und Inhalt solcher Log-Dateien variieren, abhängig von deren Ziel und Zweck. Jansen et al. (2008, 2) definieren eine Logdatei daher allgemein als «eine elektronische Aufzeichnung von Interaktionen, die zwischen einem System und den Benutzern dieses Systems stattgefunden haben». Log-Dateien sind in der Forschung zu einem gängigen und effektiven Instrument zur Durchführung von gross angelegten Studien geworden und werden im Hochschulbereich im grossen Umfang eingesetzt (vgl. Krieter und Breiter 2020). Im Folgenden geben wir einen Überblick über die unterschiedlichen Datenquellen, deren Nutzung und Verknüpfungsmöglichkeiten im Projekt.
Figure 1. Übersicht der im Projekt genutzten Datenquellen.
4.1 LMS Log-Dateien
Im Lernmanagementsystem moodle werden Bestands-, Kurs-, Nutzungs- sowie Inhaltsdaten erfasst, die sich, abhängig von einer Zugriffsberechtigung, in Log-Dateien ausgeben und herunterladen lassen. Die Dateien können u. a. Aufschluss über die Häufigkeit des Einloggens, die Verweildauer im System, den Umfang von betrachteten Inhalten, bearbeiteten Aufgaben, Teilnahmen an Diskussionen u. v. m. geben. Solche Daten stellen die Hauptquelle für die Durchführung von Analysen und Vorhersagen im Bereich der Learning Analytics an Hochschulen und Schulen dar und wurden im Rahmen der Kursdurchführung im Projekt erhoben und mit anderen Daten verknüpft.
4.2 System Log-Dateien
Mit der Übertragung der Kontrolle über die Bildschirmaufzeichnung auf die Teilnehmenden besteht immer das Risiko, dass forschungsrelevante Lernaktivitäten, bewusst oder versehentlich, nicht aufgezeichnet werden. Aus diesem Grund wurden für den zweiten Kurs zusätzlich System Log-Dateien auf dem Kurs-Tablet erfasst. In den Protokolldateien werden betriebssystemrelevante Ereignisse gespeichert, z. B. wann der Bildschirm eingeschaltet oder welche App installiert bzw. wann und wie lange geöffnet wurde. In der Auswertung dieser Daten wurden die Zeiträume genauer betrachtet, in denen die Teilnehmenden die Bildschirmaufzeichnung aktiv abschalteten. So entstand ein genaueres Bild, was vor bzw. nach dem Abschalten der Aufzeichnungen passierte. Wichtige Anhaltspunkte kristallisierten sich heraus, etwa, ob in dieser Zeit z. B. kursrelevante Aktivitäten bewusst nicht aufgezeichnet wurden.
4.3 Bildschirmvideos und Video Log-Dateien
Für die Bildschirmaufzeichnung wurde im Projekt eine eigene App entwickelt und auf allen Kurs-Tablets installiert. Die App öffnet sich für die Teilnehmenden nach dem Start des Betriebssystems und fordert diese zum Start der Aufzeichnung auf. Durch ein Symbol in der Statusleiste war jederzeit erkennbar, ob die Bildschirmaufzeichnung (de-)aktiviert war. Es bestand zudem die Möglichkeit, über die App die Aufzeichnungsfunktion zu stoppen bzw. erneut zu starten. Die gespeicherten Videodaten wurden über eine gesicherte Verbindung direkt an den Server des Forschungsteams übertragen. Für zwei Musikkurse mit insgesamt 16 Teilnehmenden wurden über einen Zeitraum von drei bzw. vier Monaten ca. 320 Stunden (knapp zwei Wochen) Videomaterial aufgezeichnet. Um dieses für die Analyse zugänglich zu machen, bestand die Herausforderung in der Codierung des Materials. Bei dieser Menge an Daten war eine Sichtung und manuelle Codierung durch das Forschungsteam, insbesondere bei der Vielzahl unterschiedlicher Ereignisse und Verläufe, nicht zu bewerkstelligen. Vor diesem Hintergrund wurden Log-Files anhand der Bildschirmvideos (vgl. Krieter und Breiter 2018a) automatisch generiert, ähnlich einer automatischen Annotation der Videos. Ausgehend von unterschiedlichen musikpädagogischen Fragestellungen erfolgten in einem explorativen Prozess die Sichtung und Analysen von Beispielsequenzen im Videomaterial. Daraufhin wurden spezifische Ereignisse festgelegt und anschliessend mithilfe des entwickelten Algorithmus, welcher auf Methoden des maschinellen Sehens und Lernens basiert, erkannt bzw. in den Log-Files gespeichert. Dabei werden anhand bestimmter Merkmale alle Videoframes untersucht, um relevante Momente in den Videoaufnahmen automatisiert zu identifizieren. Je detaillierter die Suchkriterien sukzessive definiert wurden, um so ausführlichere Informationen konnten aus dem Material gewonnen und miteinander verknüpft werden. Der Algorithmus macht sich dabei die Vorteile von mobilen Endgeräten wie Tablets und Smartphones zu Nutze, da in der Regel dort nur eine App in der Nutzungsphase auf dem Bildschirm angezeigt wird, was das Auffinden von Elementen auf dem Bildschirm effizienter ermöglicht als auf einem Desktop mit vielen Fenstern oder sogar mehreren Bildschirmen. So lassen sich einzelne Apps und Interaktionen mittels Methoden des maschinellen Sehens schnell erkennen und zuordnen. Ebenso eröffnet die Analyse von Texten auf dem Bildschirm die Möglichkeit, viele Informationen abzuleiten und zusätzlich in Log-Dateien zu speichern, um noch gezielter spezifische Aktionen und Inhalte von Forschungsinteresse zu finden (vgl. Krieter und Breiter 2018a).
4.4 Analysepotenziale der Verknüpfung von Log-Daten
Das im Folgenden skizzierte Beispiel möchte den potenziellen Mehrwert der Kombination von Bildschirmaufzeichnungen, LMS- und System Log-Dateien durch eine Verknüpfung unterschiedlicher Datenquellen verdeutlichen, um so für die Verfolgung und Analyse von Lernaktivitäten ein detailliertes Gesamtbild und Verständnis zu erlangen.
Figure 2. Visualisierung von vier Log-Einträgen aus den Bildschirmaufzeichnungen und den dazugehörigen Bildschirmfotos aus den Videos.
Abb. 2.: Visualisierung von vier Log-Einträgen aus den Bildschirmaufzeichnungen und den dazugehörigen Bildschirmfotos aus den Videos.
In Kombination mit den Bildschirmaufzeichnungen wird ein deutlich differenziertes Gesamtbild möglich und der Kontext der einzelnen Aktionen erschliessbar. Nur anhand der moodle Log-Dateien wären das Beispiel in Abb. 2 nach dem ersten Bild vorbei und die folgenden Aktivitäten nicht nachvollziehbar. Mit den System Log-Dateien wäre in diesem Fall nur zu erkennen, dass der Browser, eine Musik-App und danach die YouTube-App geöffnet wurden, ohne die inhaltlichen Verbindungen für die Abfolge herstellen zu können. Durch die Verknüpfungen mit den Log-Dateien aus den Bildschirmvideos können die Aktivitäten der Teilnehmenden im LMS beispielsweise mit spezifischen Phasen des Ausprobierens, der Komposition und des Songarrangements, aber auch des Suchverhaltens und der Suchverläufe fallspezifisch und fallübergreifend über dessen Grenzen hinaus verfolgt und damit analysiert werden. Die detaillierte Auswertung von Lernaktivitäten und -strategien soll in diesem Beitrag nicht weiter ausgeführt, sondern der Fokus im Folgenden auf die Perspektiven der Lernenden auf die Datensammlung mittels Langzeit-Bildschirmaufzeichnungen in diesem spezifischen Bildungssetting gelegt werden.
5. Erhebung und Auswertung der Interviews
Neben der Generierung von Log-Dateien wurden für das Projekt nach Abschluss der Kurse (März 2019 und Januar 2020) mit allen Teilnehmenden Interviews durchgeführt. Die leitfadengestützten Interviews (Helfferich 2019) bezogen nicht nur Erfahrungen mit den Bildschirmaufzeichnungen, sondern auch Erwartungen, Motivation und Lernstrategien der Teilnehmenden vor und während des Kurses ein. Ein Teilnehmer (C1P5) lehnte die Audioaufzeichnung des Interviews ab. Insofern konnten 15 Interviews transkribiert und in die Analyse eingegliedert werden. Die Länge der Interviews betrug zwischen 18 und 47 Minuten. Für die Auswertung wurde das Verfahren der induktiven Kategorienentwicklung (Mayring 2000) verwendet. In der zusammenfassenden qualitativen Inhaltsanalyse wird ein aus der Forschungsfrage abgeleitetes Kriterium entwickelt, welches die Analyse des betrachteten Textmaterials bestimmt und leitet. Diesem Kriterium folgend werden das Material durchgearbeitet und Schritt für Schritt vorläufige Kategorien durch Reduktion und Abstrahierung induktiv abgeleitet und festgelegt. Innerhalb einer Rückkopplungsschleife werden diese vorläufigen Kategorien mehrfach überarbeitet, schliesslich auf Hauptkategorien reduziert und auf ihre Zuverlässigkeit überprüft. Die Auswertung erfolgte entlang der Erfahrungen, Wahrnehmungen und Bewertungen der Teilnehmenden in Hinblick auf die Thematisierung der Bildschirmaufzeichnung im Kursverlauf. Im Folgenden werden zentrale Ergebnisse dieser Befragung hinsichtlich Datafizierung, Akzeptanz und Empowerment vorgestellt.
6. Zentrale Ergebnisse der Interviewstudie
6.1 Datafizierung in der Bildung: Zwischen Antrieb, Kontrolle und Vorteil
In der qualitativ-inhaltsanalytischen Auswertung kristallisierten sich die folgenden drei Typen heraus:
Typ 1: Performer ‒ «Ich fühlte mich herausgefordert, euch Daten zu liefern» (C2P2, Z. 543)
Für diese Gruppe von sechs Teilnehmenden (C1P6/C1P7/C2P1/C2P2/C2P3/C2P5) stehen mit den Bildschirmaufzeichnungen im Kursverlauf vor allem die eigenen Leistungen in Qualität und Umfang im Vordergrund. Zum einen sind es mögliche Einschätzungen und Bewertungen durch den Kursleiter, welche auf musikalische Anforderungen, Erwartungen und persönliche Motivationen mit Blick auf den Kurs und seine Ziele verweisen:
«man selber überlegt ‹Was mache ich da (.) mache ich da totalen Mist› und jetzt gucken sie was ich da für einen Mist mache (.) weil ich die Knöpfe hier durcheinander drücke oder erstmal alle Knöpfe ausprobiere (.) so irgendwie».
(C2P1, Z. 622-627)
Zum anderen werden die aufgezeichneten Aktivitäten für die Relevanz und Verwertbarkeit der wissenschaftlichen Begleitforschung thematisiert:
«ich bin da ein bisschen im positiven Sinne (.) hoffentlich (.) eitel (.) dass das ein Forschungsprojekt ist finde ich total gut».
(C1P6, Z. 458-460)
Unabhängig davon, ob die eigene Performanz vor dem Kurs- oder dem Forschungskontext eingeordnet wird, beschreiben die Befragten das Bewusstsein des «tracking» als motivierend bis hin zu einer Verpflichtung sich selbst, dem Kursleiter oder den Forschern gegenüber, Daten zu produzieren
«ja es hat mich ein bisschen sozusagen angereizt oder angetrieben möglichst hochwertige Dinge zu produzieren […] also ich fand das schon herausfordernd».
(C2P5, Z. 442-446)
Typ 2: Controller ‒ «ganz okay (.) weil das konnte man abschalten» (C1P9, Z. 249)
In dieser Gruppe von ebenfalls sechs Teilnehmenden (C1P1/C1P2/C1P4 /C1P9/C2P4/C2P6) wird das Thema Bildschirmaufzeichnung für den Kursverlauf als unproblematisch beschrieben und in den Interviews nicht weiter vertieft:
«nee (.) das habe ich komplett ausgeblendet (.) also das ist mir im Grunde auch egal (.) das ist nicht so das ich mich da irgendwie beobachtet fühle oder zensiert fühle oder so».
(C2P6, Z. 480-482)
Die Befragten dieser Gruppe betonen allerdings die hohe Relevanz von Kontrollmöglichkeiten im Prozess der Datenaufzeichnung und damit die Kontrolle über ihre Daten
«da habe ich es dann einfach ausgeschaltet (…) ja war gut, hervorragend».
(C2P4, Z. 276-278)
Für das Kurssetting heben sie die Visualisierung der laufenden Aufnahme durch ein Symbol auf dem Tablet-Bildschirm positiv hervor. Darüber hinaus thematisieren sie die Möglichkeit, durch einen virtuellen Schalter die Aufzeichnungssoftware jederzeit zu deaktivieren und damit selbst entscheiden zu können, was und wann aufgezeichnet wird:
«man hatte ja auch die Möglichkeit (.) wenn man jetzt zum Beispiel irgendwie das WLAN-Passwort eingegeben hat oder so (.) die Aufzeichnung mal eben auszuschalten».
(C1P1, Z. 317-322)
Der wichtigste Punkt für die Kontrolle in diesem Zusammenhang stellt jedoch die spezifische Einschränkung von Aktivitäten auf dem Kurs-Tablet dar. Die Befragten unterstreichen hier, nur kursrelevante Aktivitäten auf dem zur Verfügung gestellten Tablet zu erledigen. Dagegen wird die private Nutzung (Recherchen, Einkäufe, Onlinebanking, Pornographie) ausschliesslich auf privaten Geräten vorgenommen:
«das hat mich überhaupt nicht gestört (.) also (.) für mich war klar (.) das ich auf diesem Tablet jetzt keine privaten Sachen mache (.) ne».
(C1P4, Z. 419-420)
Insbesondere diese Trennung von privater und kursrelevanter Hardware war für die Befragten entscheidend, was sich ebenfalls später in der Diskussion um die Verwendung von privaten Geräten für eine solche Form der Datenerhebung zeigte. Grundsätzlich nimmt das Thema Schutz und Sicherheit der eigenen Daten in dieser Gruppe einen hohen Stellenwert ein.
Typ 3: Exploiter ‒ «Es ist der Preis, den ich bezahlen muss» (C1P3, Z. 811)
Für eine kleinere dritte Gruppe von drei Teilnehmenden (C1P3/C1P8/C2P7) stellte das Datensammeln mittels Bildschirmaufzeichnungen im Kurs vor allem eine Notwendigkeit dar:
«das ist halt auch, wenn ich so ein Gerät schon mal kostenlos habe, dann mache ich natürlich auch irgendwas, was verlangt wird».
(C2P7, Z. 396-398)
Die Befragten sehen die Bildschirmaufzeichnung als Teil einer Tauschbeziehung. Darin wird der Wert der zur Verfügung gestellten persönlichen Daten als «Preis» für eine Gegenleistung (kostenlose Kursteilnahme und gestelltes Tablet) im Projekt hervorgehoben:
«das nehme ich in Kauf (.) weil ich das, also ja so als Geschenk annehme überhaupt mitmachen zu dürfen (.) das war ja nun schon ein besonderes Angebot, da und so, dass da irgendwas auch mit reinnehmen, dass man dafür was liefern muss ist ja klar».
(C1P8, Z. 278-281)
Auch für diese Teilnehmenden spielt Datenschutz eine wichtige Rolle, wobei sie vor allem den Wert ihrer persönlichen Daten reflektieren. Dabei werden Befürchtungen über den Kontrollverlust über die eigenen Daten beispielsweise in der Nutzung spezifischer Programme für wirtschaftliche Interessen von Firmen, aber auch staatliche Eingriffe in die Privatsphäre angesprochen. Die Befragten kritisieren das für sie oftmals undurchschaubare und unkontrollierbare Sammeln von persönlichen Daten. Über die Bildschirmaufzeichnungen im Kursverlauf fühlen sie sich dagegen ausreichend informiert und ebenso sehen sie sich in der Position, eine Entscheidung treffen zu können, welche Daten sie einbringen und welche Gegenleistung sie hierfür erhalten:
«auch die Firmen (.) wo dann alles aufgezeichnet wird (.) was die ja nicht mal dürfen aber teilweise trotzdem machen (.) ähm (.) ja (.) ist mir schon klar alles was hier drauf ist (.) alles was passiert ist aufgezeichnet worden (.) ok (.) war mir klar (.) aber ich hab‘ hier ein (???) gleich Null (.) weil ich hab‘ (.) ich weiss genau, was hier passiert und äh ((I: mhm)) ähm (.) das ist der Preis den ich bezahlen muss (.) also (.) den war ich bereit zu bezahlen».
(C1P3, Z. 703-708)
6.2 Akzeptanz von Learning Analytics: Transparenz, Vertrauen und Kontrolle
Grundsätzlich zeigt sich in allen Interviews, dass die Verfolgung der Kursaktivitäten mittels Bildschirmaufzeichnungen für alle Teilnehmenden etwas Neues und Ungewohntes war. Keine bzw. Keiner der Teilnehmenden beschreibt allerdings, sich durch die Bildschirmaufzeichnungen anders verhalten zu haben:
«Ja, man denkt da schon drüber nach, ne. Man denkt schon, ja, Big Brother is watching you, das schon. Aber ich hätte, glaube ich, wäre glaube ich nicht anders vorgegangen, wenn das, wenn ich nicht überwacht worden wäre. Das glaube ich nicht».
(C2P4, Z. 249-253)
In den Ausführungen der Befragten werden ambivalente Positionierungen hinsichtlich Selbstbestimmung, Entgrenzung, Vermessung, Kontrolle und persönlichen Vorteilen thematisiert. Ausschlaggebend für die Akzeptanz unseres Vorgehens war für alle Befragten letztlich aber die umfangreiche und verständliche Aufklärung zur Datenerhebung und Auswertung, das Vertrauen in die Forscher und die Möglichkeit einer weitreichenden Kontrolle über die Datenerhebung:
«Insofern, das fand ich schon okay, gerade wenn man die Möglichkeit hat das auch mal zu unterbrechen. Und auch in dieser anfänglichen Datenschutzerklärung, das war ja sehr genau alles beschrieben, was mit den Daten passiert, wie die erhoben werden, wie lange die gespeichert werden und wer die einsehen kann und so (…) wenn das dann bei so einem Kurs auf wenige Seiten geschrieben ist und auch gut verständlich, dann letztendlich auch okay, sage ich mal».
(C1P1, Z. 320-328)
6.3 Empowerment: Sicherheit durch Hardware-Trennung
Zum Abschluss des Interviews wurde den Teilnehmenden die Frage gestellt, ob sie der Bildschirmaufzeichnung im Kursverlauf auch auf ihren privaten Geräten zugestimmt hätten und wie sie ihre Entscheidung begründen. In diesem hypothetischen Szenario hätte die Aufnahme-App auf dem privaten Tablet, Smartphone oder Laptop installiert werden müssen. Die überwiegende Mehrheit der Befragten schliesst dies für sich kategorisch aus («das könnt ihr total vergessen, auf gar keinen Fall» C2P2, Z. 590). Für sie war die physische Beschränkung der Datenaufzeichnung auf das Kurs-Tablet der zentrale Faktor, um sich auf diese Art der Verfolgung von Kursaktivitäten einzulassen. Gegen die Aufzeichnungen auf den privaten Geräten werden übergreifend drei Punkte angeführt. Erstens wird die Unsicherheit beschrieben, technisch nicht nachvollziehen und damit kontrollieren zu können, was und wann für die Forschung aufgezeichnet wird. Das für den Forschungsprozess entgegengebrachte Vertrauen trifft auf eine Grenze («Nicht, dass ich euch nicht trauen würde, aber» C2P3, Z. 539). Zweitens besteht die Sorge, die Aufzeichnung während der Nutzung zu vergessen und damit versehentlich private Daten preiszugeben. Drittens bezieht sich darauf, dass auch andere Personen aus dem persönlichen Umfeld (Partnerinnen und Partner, Familienmitglieder, Freundinnen und Freunde) die Geräte nutzen und der Schutz ihrer Daten damit gefährdet sein könnte. Sechs der 15 Befragten gaben allerdings an, dass sie auch dieser Erweiterung der Aufzeichnungen zugestimmt hätten. Sie gehören überwiegend der Gruppe der leistungsorientierten Befragten (Performer) an. In der weiteren Analyse wurden ihre Aussagen untersucht. Das zentrale Argument für die Bereitschaft, private Geräte für eine solche Bildschirmaufzeichnung zur Verfügung zu stellen, war für die Befragten das Vertrauen in die Forschungsakteurinnen und -akteure sowie die ethischen und datenschutzrechtlichen Richtlinien der Forschung («naja, also wenn ihr es seid» C1P9, Z. 329). Die gleichen technischen Steuerungsmöglichkeiten wie auf dem zur Verfügung gestellten Tablet vorausgesetzt (Visualisierung bei der Aufnahme und Abschaltfunktion), hätten sie der Installation einer Aufzeichnungssoftware auf ihren privaten Geräten zugestimmt. Es bleibt an dieser Stelle offen, ob und wie viele der Befragten aus dieser Gruppe die Installation der Aufzeichnungssoftware letztlich auch zugelassen hätten.
7. Diskussion
Das Dilemma, durch die zunehmende Datafizierung von Bildungskontexten eine Individualisierung, Rückmeldung, Unterstützung und Vorhersage von Lernprozessen einerseits verbessern zu können und andererseits immer stärker in die Privatsphäre der Lernenden einzudringen, lässt sich nicht vollständig auflösen. Insbesondere die in unserem Projekt verwendete Methode der Aufzeichnung von Bildschirmaktivitäten verweist auf die technischen Möglichkeiten, wie Lernenden zukünftig umfassend und dauerhaft «über die Schulter» geschaut und alle Aktivitäten auf digitalen Bildschirmmedien für Learning Analytics genutzt werden könnten. Die Ergebnisse aus unserem Projekt für die technische Umsetzung von Bildschirmaufzeichnungen, deren Aufbereitung durch automatisierte Annotationen als Vorstufe einer Verwendung für maschinelle Lernanalysen sowie erste Schritte der Verknüpfungen mit anderen Datenquellen liefern wichtige Erfahrungen und Erkenntnisse für den Einsatz dieser noch wenig genutzten Art der Datafizierung in Bildungskontexten. Die Herausforderungen bestehen dabei nicht in der Aufzeichnung, sondern darin, die grosse Mengen an visuellen Daten in ihrer Komplexität für eine Analyse und Auswertungen maschinell «lesbar» zu machen. In unserem Projekt mit 16 Teilnehmenden in zwei Kursen wurden ca. 320 Stunden Videomaterial aufgezeichnet. Mit Blick auf potenzielle Nutzendenzahlen formaler Bildungsinstitutionen würde sich die Menge an Daten erheblich vergrössern, was derzeit unter den gegebenen Rechnerleistungen nur für eine Anwendung in einem begrenzten Umfeld bzw. Umfang denkbar wäre. Darüber hinaus blieben Fragen für die Skalierung solcher Verfahren beispielsweise in der Schule oder Hochschule hinsichtlich Datenschutzes und Governance zu klären. In der Ausrichtung eines Grundlagenforschungsprojekts konnten wir indes zeigen, wie diese visuellen Daten mit Methoden des maschinellen Sehens und Lernens automatisch annotiert und für weitere Analysen verwendet werden können. Durch die interdisziplinäre Zusammenarbeit zwischen Musikdidaktik, Erziehungswissenschaft und Informatik können neue Wege für die Erforschung von informellen Lernprozessen forciert und methodisch-inhaltliche Schnittstellen zwischen den Disziplinen verfolgt werden. Mittel- und langfristig muss das Ziel sein, die Erkenntnisse solcher Forschung für formale Bildungsinstitutionen zu nutzen. Auf der anderen Seite bergen solche technischen Innovationen auch Risiken. Es müssen daher Zweckmässigkeit und Auswirkungen einer solchen Form der «Dauerbeobachtung» durch Forschende hinsichtlich ethischer und datenschutzrechtlicher Konsequenzen a priori bewertet und entsprechende Massnahmen zur Transparenz, Mitbestimmung und Kontrolle über die Daten der Lernenden getroffen werden. Hierbei lassen sich aus unseren Ergebnissen spezifische Anforderungen für den erfolgreichen Einsatz der Datafizierung in Bildungskontexten, auch für den Einsatz in formalen Bildungskontexten, ableiten. Es gilt, unterschiedliche Perspektiven der Nutzenden bzgl. Erhebung und Analyse ihrer digitalen Spuren zu berücksichtigen (und diese auch noch weiter zu erforschen). Unsere vorgestellte Typologie verweist darauf, dass vor allem drei zentrale Fragen für die Akzeptanz von Learning Analytics in weiteren Projekten im Bildungsbereich berücksichtigt werden sollten:
- Welche Leistungen sollen/müssen Lernende erbringen?
- Wie können Lernende Kontrolle über ihre Daten behalten?
- Welche Vorteile ergeben sich bzw. welcher Mehrwert ergibt sich für die Lernenden?
Die Antworten auf diese Fragen sind vorab zu klären, entsprechend zu kommunizieren sowie Möglichkeiten der Kontrolle über die Datensammlung zu schaffen. Unsere Ergebnisse bestätigen dahingehend die Bedeutung von Transparenz und Empowerment der Lernenden als wesentliche Voraussetzung für die Akzeptanz für Prozesse der Datafizierung im Bildungsbereich (vgl. Krieter, Viertel, und Breiter 2020). Diese Überlegungen berühren Fragen des Einsatzkontextes, insbesondere für solche hoch immersiven Formen der Datensammlung, welche auch Abhängigkeitsverhältnisse und damit die Entscheidungsmöglichkeiten der Beobachteten einschliessen. Unser Projekt fand im Rahmen eines non-formalen freiwilligen Weiterbildungsangebotes im Bereich der Erwachsenenbildung statt. Die Teilnehmenden hatten grosses Interesse an den spezifischen technisch-musikalischen Kursinhalten, waren neugierig, intrinsisch hoch motiviert und brachten einen Fundus an Wissen und Kompetenzen in den Kurs mit ein. Es bestand keine ‹klassische› Leistungserwartung bzw. ein Prüfungsdruck, wie sie in formalen Bildungssettings wie der Schule die Regel sind. Demnach konnten zu deren Überprüfung die gesammelten Daten der Bildschirmaufzeichnungen nicht herangezogen werden. Hinzu kommt, dass durch den sehr kleinen Kreis eine persönliche Ansprache und Begleitung durch die Kursleitung, welche gleichzeitig als Forscher im Projektteam agierte, ein vertrauensvolles Verhältnis zu den Kursteilnehmenden aufgebaut wurde. An dieser Stelle ist insbesondere die Pädagogik aufgefordert, sich kritisch mit der Datafizierung in Bildungskontexten auseinanderzusetzen und Entwicklungen nicht den informatorisch-technischen Möglichkeiten zu überlassen (vgl. Gapski u. a. 2015). Es müssen Fragen von privacy und empowerment der Lernenden stärker in einer technikdominierten Diskussion in den Vordergrund rücken. Nur darüber lassen sich Voraussetzungen schaffen für eine transparente, demokratische, datensparsame und nutzerzentrierte Gestaltung solcher Verfahren, insbesondere wenn deren Relevanz für formale Bildungskontexte in den Blickpunkt rückt. Eine solche Sensibilisierung für die Bedeutung von Algorithmen schliesst im Weiteren auch die (Weiter-)Qualifikation von Lehrenden in Schule und Hochschule mit ein.
8. Fazit und Ausblick
Mit Blick auf die hier vorgestellten Ergebnisse kann die Frage nicht abschliessend beantwortet werden, inwieweit Aktivitäten der Schülerinnen und Schüler unter dem Aspekt von Qualität bzw. Umfang und Bedeutung für Lern- und Bildungsprozesse im Bereich Schule durch Learning Analytics sichtbar gemacht werden sollten. Bisher werden solche automatische Lernanalysen vor allem mit hoch standardisierten Daten in einem begrenzten Ausmass und Umfeld durchgeführt. Um aber beispielsweise in der kulturellen Bildung Lernwege und Lernprozesse in den Blick zu nehmen, die sich bisher kaum erfassen lassen, sind neue Verfahren zur Verfolgung, Auswertung und Verknüpfung von digitalen Spuren der Lernenden zu entwickeln. Gerade in der kulturellen Bildung ergeben sich grosse Potenziale und das Feld der musikalischen Bildung eignet sich aufgrund seiner inhärenten Multimedialität als besonderer Experimentierraum (vgl. Lehmann-Wermser und Breiter 2021). Im schulischen Bereich werden die Fragen nach qualitativen Inhalten und Anbietenden für digitale Lehr-/Lernmaterialien, nach wirksamen Lernprogrammen und -umgebungen letztlich zunehmend wichtiger. Sie gewinnen im Alltag von Schülerinnen und Schüler eine immer grössere Bedeutung und sollten in einer lebensweltorientierten Schule, die sich mit den Veränderungen einer tiefgreifend mediatisierten Gesellschaft und einer Kultur der Digitalität konfrontiert sieht, entsprechende Beachtung finden (vgl. Allert und Richter 2016). Unsere Beispiele zeigen, dass eine Mischung qualitativer und quantitativer Verfahren auf der einen Seite und auf der anderen Seite eine Verbindung von digitalen Spuren (etwa von Bildschirmaufzeichnungen) und standardisierten Logfiles Potenzial für Analysen in einer grösseren Tiefe eröffnen. Andererseits birgt die Übertragung in den formalen Bildungsbereich auch eine grosse Verantwortung, die zunehmende Entgrenzung von Bildungskontexten und die möglichen Ausweitungen von Bewertungs- und Kontrollmöglichkeiten zu limitieren. Dass dies notwendig ist, zeigt sich bereits heute mit den Möglichkeiten der Datensammlungen im schulischen Bereich (Viertel, Ehrenspeck-Kolasa, und Spies 2017). Es bedarf somit technischer und rechtlicher Rahmungen, vor allem aber einer Sensibilisierung und Mitwirkung von Pädagogik, Erziehungs- und Bildungswissenschaft, Psychologie u. a., um die Potenziale und Risiken einer Datafizierung von Schule zu erforschen und sinnvoll zu gestalten. Daher geben unsere Ergebnisse wichtige Hinweise darauf, wie eine solche Form der Forschung und darüber hinaus eine mögliche Implementierung auch im Kontext von Schule gelingen kann. Wir konnten zeigen, dass es unterschiedliche Perspektiven der Lernenden zu beachten gibt. Zudem konnten wir zeigen, wie durch Transparenz und Kontrollmöglichkeiten für die Lernenden entsprechende Zugänge eröffnet werden können. Schliesslich bedarf es einer weitergehenden empirischen Überprüfung, inwieweit die von uns identifizierten Bedingungen für einen erfolgreichen Einsatz von Lernanalysen und insbesondere Bildschirmaufzeichnungen auch für andere Lern- und Bildungskontexte übertragen werden können. Es knüpfen hieran Fragen an, wie zukünftig solche Art der Forschung im schulischen Kontext mit Blick auf datenschutzrechtliche und forschungsethische Aspekte durchgeführt werden können, da aktuell noch zu wenige Erkenntnisse zu Fragen der Akzeptanz solcher – insbesondere hoch immersiven – Verfahren seitens Schülerinnen und Schüler, Lehrpersonen, Eltern oder der Schuladministration vorliegen.