Usage Analysis of a Dashboard for Automated Evaluation of Diagnostic Data in Literacy Practice
PDF (Deutsch)

Keywords

usage data analysis
teacher dashboards
data-driven decision making
basic education
alphabetisation
UX Design

How to Cite

Meyer, Imke Anna Maria. 2026. “Usage Analysis of a Dashboard for Automated Evaluation of Diagnostic Data in Literacy Practice”. MediaEducation: Journal for Theory and Practice of Media Education 71 (Mediendidaktik 2025):187-212. https://doi.org/10.21240/mpaed/71/2026.08.12.X.

License

Copyright (c) 2026 Imke Anna Maria Meyer

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

Abstract

Many adults in Germany have difficulties with reading, writing, and mathematics. Those affected can attend literacy and basic education courses. Here, teachers face the challenge of identifying and addressing individual competency deficits. The lea.Dashboard was developed to support teachers in evaluating diagnostic assessment data through interactive visualizations. This article examines, how teachers use the dashboard and how they manage the barriers to its use by analyzing usage data and conducting guided interviews. The results show that the dashboard supports teachers in identifying competence deficits, selecting appropriate learning materials, and documenting and handing over courses. However, there are significant differences in the duration and intensity of use among individual users. Usage patterns could be categorised at the level of pedagogical practice and institutional embedding. Different usage barriers were identified at the individual, institutional and systemic levels.

https://doi.org/10.21240/mpaed/71/2026.08.12.X

References

Ahn, June, Ha Nguyen, und Fabio Campos. 2021. «From Visible to Understandable: Designing for Teacher Agency in Education Data Visualizations». Contemporary Issues in Technology and Teacher Education (Waynesville, NC USA) 21 (1): 155 – 86.

Arbeiter, Jana, Marie Bickert, Lena Sindermann, und Veronika Thalhammer. 2025. «(K)eine Frage der Motivation – Eine mehrperspektivische Studie zu Risikofaktoren für Drop-out in der Alphabetisierung und Grundbildung». In Motivation und Verbindlichkeit bei gering literalisierten Erwachsenen, von Johanna Leck, Simone Ehmig, und Lukas Heymann. Herausgegeben von Melanie Jester. Bielefeld: Wbv Media.

Black, Paul, und Dylan Wiliam. 2018. «Classroom Assessment and Pedagogy». Assessment in Education: Principles, Policy & Practice 25 (6): 551 – 75. https://doi.org/10.1080/0969594X.2018.1441807.

Correll, Michael, und Michael Gleicher. 2014. Bad for Data, Good for the Brain: Knowledge-First Axioms For Visualization Design. http://nbn-resolving.de/urn:nbn:de:bsz:352-0-329455.

Datnow, Amanda, und Lea Hubbard. 2016. «Teacher Capacity for and Beliefs about Data-Driven Decision Making: A Literature Review of International Research». Journal of Educational Change 17 (1): 7 – 28. https://doi.org/10.1007/s10833-015-9264-2.

Ez-Zaouia, Mohamed. 2020. «Teacher-Centered Dashboards Design Process». 2nd International Workshop on eXplainable Learning Analytics, Companion Proceedings of the 10th International Conference on Learning Analytics & Knowledge LAK20 (Frankfurt, Germany), März. https://hal.science/hal-02516815.

Few, Stephen. 2012. Show me the Numbers. 2. Aufl. Herausgegeben von Jonathan G. Koomey. Burlingame, California: Analytics Press.

Frøsig, Thomas B. 2023. «Expanding the Technology Acceptance Model (TAM) to Consider Teachers Needs and Concerns in the Design of Educational Technology (EdTAM)». International Journal of Emerging Technologies in Learning (iJET) 18 (16): 130 – 40. https://doi.org/10.3991/ijet.v18i16.42319.

Grotlüschen, Anke. 2020. LEO 2018: Leben mit geringer Literalität. herausgegeben von Klaus Buddeberg. Bielefeld: Wbv Publikation. https://doi.org/10.3278/6004740w.

Grotlüschen, Anke, Yvonne Dessing, Alisha M. B. Heinemann, und Claudia Schepers. 2010. ­«Schreiben Alpha-Levels». Münster: Waxmann. https://www.ew.uni-hamburg.de/­einrichtungen/ew3/erwachsenenbildung-und-lebenslanges-lernen/files/kompetenzmodell-schreiben.pdf.

Hollender, Nina, Cristian Hofmann, Michael Deneke, und Bernhard Schmitz. 2010. «Integrating Cognitive Load Theory and Concepts of Human–Computer Interaction». Computers in Human Behavior 26 (6): 1278 – 88. https://doi.org/10.1016/j.chb.2010.05.031.

International Organization for Standardization. 2018. ISO 9241 – 11:2018(en) Ergonomics of human-system interaction — Part 11: Usability: Definitions and concepts. https://www.iso.org/obp/ui/#iso:std:iso:9241:-11:ed-2:v1:en.

Kaliisa, Rogers, Ioana Jivet, und Paul Prinsloo. 2023. «A Checklist to Guide the Planning, Designing, Implementation, and Evaluation of Learning Analytics Dashboards». International Journal of Educational Technology in Higher Education 20 (1): 28. https://doi.org/10.1186/s41239-023-00394-6.

Karademir, Onur, Lena Borgards, Daniele Di Mitri, Sebastian Strauß, Marcus Kubsch, Markus Brobeil, Adrian Grimm, Sebastian Gombert, Nikol Rummel, Knut Neumann, und Hendrik Drachsler. 2024. «Following the Impact Chain of the LA Cockpit: An Intervention Study Investigating a Teacher Dashboard’s Effect on Student Learning». Journal of Learning Analytics 11 (2): 215 – 28. https://doi.org/10.18608/jla.2024.8399.

Kirk, Andy. 2019. Data Visualisation. 2. Aufl. London: Sage.

Klemm, Ulrich, Holger Müller, und Anne Walther. 2023. «Grundbildungszentren für Alphabetisierung – Zum bundesweiten Entwicklungsstand ihrer Basisarbeit». forum erwachsenenbildung (56) 4: 47 – 49. Münster: Waxmann. https://www.waxmann.com/artikelART105523.

Koppel, Ilka. 2017. Entwicklung einer Online-Diagnostik für die Alphabetisierung. Wiesbaden: Springer. https://doi.org/10.1007/978-3-658-15769-2.

Koppel, Ilka, Karsten D. Wolf, Susanne Kley, und Imke A. M. Meyer. 2022. «Digitale Förderdiagnostik in der Basisbildung. Unterstützung für den Kursalltag mit lea.online». Magazin erwachsenenbildung.at, Nr. 47: 83 – 95. https://doi.org/10.25656/01:26037.

Krein, Ulrike, und Mandy Schiefner-Rohs. 2024. «Hey, ich habe gesehen, du hast noch zwölf Wissenslücken». In Datafizierung (in) der Bildung. Kritische Perspektiven auf digitale Vermessung in pädagogischen Kontexten, herausgegeben von Mandy Schiefner-Rohs, Sandra Hofhues, und Andreas Breiter, mit DIPF, Leibniz-Institut für Bildungsforschung und Bildungsinformation. Bielefeld: transcript. 391 pages. https://doi.org/10.25656/01:28433.

Kretschmann, Rudolf, und Petra Wieken. 2010a. «Lesen Alpha-Levels». Münster: Waxmann. https://www.ew.uni-hamburg.de/einrichtungen/ew3/erwachsenenbildung-und-lebenslanges-lernen/files/kompetenzmodell-lesen.pdf.

Kretschmann, Rudolf, und Petra Wieken. 2010b. «Sprachempfinden Alpha-Levels». Münster: Waxmann. https://www.ew.uni-hamburg.de/einrichtungen/ew3/erwachsenenbildung-und-lebenslanges-lernen/files/kompetenzmodell-sprachempfinden.pdf.

Kuckartz, Udo. 2018. Qualitative Inhaltsanalyse. Methoden, Praxis, Computerunterstützung. 4., Überarbeitete Aufl. Grundlagentexte Methoden. Weinheim: Beltz.

Küster, Jan, Tushar Garg, Karsten D. Wolf, und Muhammed Ali Yildiz. 2022. leaonline/leaonline-teacher: 1.0. Version 1.0.0. Zenodo, released März 28. https://doi.org/10.5281/ZENODO.10817475.

Langer, Sandra. 2025. «Die digitale Reise in der Grundbildung beginnen – Ready, steady, go». In Digitale Medien in der Grundbildung Erwachsener: Einsatzmöglichkeiten und Gelingensbedingungen, von Ilka Koppel und Sandra Langer. Herausgegeben von Lisa Maria David. Bielefeld: Wbv Publikation. https://doi.org/10.3278/9783763978168.

Leck, Johanna, Lukas Heymann, und Simone C. Ehmig. 2025. «Handlungsableitungen – Was bedeuten die Ergebnisse für die praktische Arbeit in der Alphabetisierung und Grundbildung?» In Motivation und Verbindlichkeit Bei Gering Literalisierten Erwachsenen, von Johanna Leck, Simone Ehmig, und Lukas Heymann. Herausgegeben von Melanie Jester. Bielefeld: wbv.

Light, Daniel, Dara Wexler, und Cricket Heinz. 2005. «Keeping teachers in the center: a framework for data-driven decision-making». In Proceedings of Society for Information Technology & Teacher Education International Conference 2005, herausgegeben von Caroline Crawford, Roger Carlsen, Ian Gibson, Karen MacFerrin, Jerry Price, Roberta Weber und Dee Anna Willis. Association for the Advancement of Computing in Education (AACE). https://www.learntechlib.org/p/18964.

Mandinach, Ellen, und Edith S. Gummer. 2016. Data literacy for educators: making it count in teacher preparation and practice. Technology, education-connections. New York: Teachers College Press.

Mandinach, Ellen, und Sharnell Jackson. 2012. Transforming Teaching and Learning Through Data-Driven Decision Making. Thousand Oaks, Kalifornien: Corwin Press. https://doi.org/10.4135/9781506335568.

Meyer, Imke A. M. 2024. «Zielgruppenorientierte Anforderungsanalyse eines Dashboards zur datengestützten Entscheidungsfindung für Lehrende im Grundbildungsbereich». MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung (Occasional Papers): 512 – 56. https://doi.org/10.21240/mpaed/00/2024.12.18.x.

Meyer, Imke A. M. 2026. «Evaluation eines Dashboard-Prototypen für Lehrende in der Alphabetisierung zur interaktiven Auswertung kompetenzdiagnostischer Datensätze». eleed – e-learning and education 1 (16). https://doi.org/10.57813/ELEED.V1I16.265.

Norman, Donald A. 2013. The Design of Everyday Things. Revised and Expanded ed. New York: Basic Books.

Ortmanns, Verena, Hella Huntemann, Thomas Lux, und Andreas Bachem. 2023. Volkshochschul-Statistik. Herausgegeben von Deutsches Institut für Erwachsenenbildung (DIE). Bielefeld: wbv. https://doi.org/10.3278/I73514.

Poh, Allison, Francisco Enrique Vicente Castro, und Ivon Arroyo. 2023. «Design Principles for Teacher Dashboards to Support In-Class Learning». ICLS 2023 Proceedings, Oktober 3, 736 – 43. https://doi.org/10.22318/icls2023.197114.

Rammstedt, Beatrice, Britta Gauly, Sanja Kapidzic, Débora B. Maehler, Silke Martin, Natascha Messing, Silke L. Schneider und Anouk Zabal. 2024. PIAAC 2023. Grundlegende Kompetenzen Erwachsener im internationalen Vergleich. Münster: Waxmann. https://doi.org/10.31244/9783830999652.

Schepers, Claudia, Susanne Kley, Lena Kosmalla, Melissa Winder, Imke A. M. Meyer, Karsten D. Wolf, und Ilka Koppel. 2022. «Handreichung zum Arbeiten mit den Anwendungen otu.lea, lea.Dashboard und lea.App». Universität Bremen. https://blogs.uni-bremen.de/leaonline/files/Handreichung_Orange_LeaOnline.pdf.

Schildkamp, Kim, Adam Handelzalts, Cindy L. Poortman, Hanadie Leusink, Marije Meerdink, Maaike Smit, Johanna Ebberle, und Mareille D. Hubers. 2018. The Data TeamTM Procedure: A Systematic Approach to School Improvement. Springer Texts in Education. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-58853-7.

Tufte, Edward R. 1998. The Visual Display of Quantitative Information. 16. Aufl. Cheshire: Graphics Press.

Van Leeuwen, Anouschka, Stephanie D. Teasley, und Alyssa Friend Wise. 2022. «Teacher and Student Facing Learning Analytics». In The Handbook of Learning Analytics, 2. Aufl., von Dragan Gašević und Agathe Merceron. Herausgegeben von Charles Lang, George Siemens, und Alyssa Friend Wise. SOLAR. https://doi.org/10.18608/hla22.013.

Wolf, Karsten D., Ilka Koppel, und Kai Schwedes. 2011. «Potenziale von Rich E-Assessment für die Förderdiagnostik funktionaler Analphabeten». In Literalitätsentwicklung von Arbeitskräften, herausgegeben von Anke Grotlüschen, Rudolf Kretschmann, Eva Quante-Brandt, und Karsten D. Wolf. Waxmann.