Zwischen Präzision und Sensitivität
PDF

Schlagworte

Systematisches Review
Sensitivität und Präzision
Künstliche Intelligenz
institutionelles Lehren und Lernen

Zitationsvorschlag

Köstler, Verena. 2023. „Zwischen Präzision Und Sensitivität: Generierung Eines Studienkorpus Am Beispiel Einer Fragestellung Zu Künstlicher Intelligenz (KI) in Bildungsprozessen“. MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung 54 (Research Syntheses): 1-27. https://doi.org/10.21240/mpaed/54/2023.08.10.X.

Lizenz

Copyright (c) 2023 Verena Köstler

Creative-Commons-Lizenz
Dieses Werk steht unter der Lizenz Creative Commons Namensnennung 4.0 International.

Abstract

Neben digitalisierungsbezogenen Fragestellungen im Kontext Lehren und Lernen im Allgemeinen rücken in jüngster Zeit auch im deutschsprachigen Raum KI-bezogene Fragestellungen im Besonderen in den Fokus der Forschung. In der weitgehend interdisziplinären Bearbeitung des Themas, international aufgegriffen unter artificial intelligence in education (AIED), sind technisch geprägte Fachdisziplinen im Vergleich zu pädagogisch-didaktischen Forschungsbereichen weitaus breiter vertreten (vgl. bspw. für die Hochschuldidaktik: Zawacki-Richter et al. 2019). Zur Stärkung eines erziehungswissenschaftlichen Zugangs wird die Generierung eines Studienkorpus exemplarisch für eine Forschungssynthese mit der Zielstellung eines systematischen Überblicks zu aktuellen Entwicklungen des KI-gestützten Lehrens und Lernens im Kontext institutioneller Bildung dargelegt. Die Entwicklung einer geeigneten Suchstrategie war geprägt von Abwägungen zwischen Präzision und Sensitivität (vgl. bspw. Campbell et al. 2018). Anhand der Prozesse Auswahl von Datenbanken, der Erstellung von Konzeptgruppen und Suchstrings sowie der Spezifizierung von Inklusionskriterien werden diese spezifiziert und für das finale, 51 Treffer umfassende Studienkorpus datenbankbezogen aufgezeigt. Es wird argumentiert, dass die Darlegung von Kennwerten zu Sensitivität und Präzision der verwendeten Datenquellen bei der Bearbeitung interdisziplinärer Fragestellungen, wie sie in bildungstechnologischen Themenfeldern häufig anzutreffen sind, einen Beitrag zur methodischen Qualitätsentwicklung zukünftiger Forschungssynthesen leisten kann.

https://doi.org/10.21240/mpaed/54/2023.08.10.X

Literatur

Alammary, Ali. 2021. «LOsMonitor: A Machine Learning Tool for Analyzing and Monitoring Cognitive Levels of Assessment Questions». IEEE Trans. Learning Technol. 14 (5): 640–52. https://doi.org/10.1109/TLT.2021.3116952.

Aleven, Vincent, Elizabeth A. McLaughlin, Amos R. Glenn, und Kenneth Koedinger. 2016. «Instruction Based on Adaptive Learning Technologies». In Handbook of Research on Learning and Instruction, herausgegeben von Richard E. Mayer, und Patricia A. Alexander. 2nd ed., 522–60. Educational Psychology Handbook Ser. Florence: Taylor and Francis.

Augustsson, Gunnar, und Lena Boström. 2016. «Teachersʼ Leadership in the Didactic Room: A Systematic Literature Review of International Research». ADNO 10 (3): 7. https://doi.org/10.5617/adno.2883.

Bartolomé, Antonio, Linda Castañeda, und Jordi Adell. 2018. «Personalisation in educational technology: the absence of underlying pedagogies». Int J Educ Technol High Educ 15. https://doi.org/10.1186/s41239-018-0095-0.

Bedenlier, Svenja, Melissa Bond, Katja Buntins, Olaf Zawacki-Richter, und Michael Kerres. 2020. «Learning by Doing? Reflections on Conducting a Systematic Review in the Field of Educational Technology». In Systematic Reviews in Educational Research, herausgegeben von Olaf Zawacki-Richter, Michael Kerres, Svenja Bedenlier, Melissa Bond und Katja Buntins, 111–27. Wiesbaden: Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-27602-7_7.

Bernacki, Matthew L., Meghan J. Greene, und Nikki G. Lobczowski. 2021. «A Systematic Review of Research on Personalized Learning: Personalized by Whom, to What, How, and for What Purpose(s)?». Educ Psychol Rev 33 (4): 1675–1715. https://doi.org/10.1007/s10648-021-09615-8.

Best, Paul, Brian Taylor, Roger Manktelow, und Janice McQuilkin. 2014. «Systematically retrieving research in the digital age: Case study on the topic of social networking sites and young people’s mental health». Journal of Information Science 40 (3): 346–56. https://doi.org/10.1177/0165551514521936.

Bond, Melissa, Katja Buntins, Svenja Bedenlier, Olaf Zawacki-Richter, und Michael Kerres. 2020. «Mapping research in student engagement and educational technology in higher education: a systematic evidence map». Int J Educ Technol High Educ 17. https://doi.org/10.1186/s41239-019-0176-8.

Brunton, Ginny, Claire Stansfield, Jenny Caird, und James Thomas. 2017. „Finding Relevant Studies.“ In an Introduction to Systematic Reviews, herausgegeben von David Gough, Sandy Oliver und James Thomas. 2nd edition, 93–122. Los Angeles, London, New Delhi, Singapore, Washington DC, Melbourne: SAGE.

Buiu, Catalin. 1999. «Artificial Intelligence in education: state of the art and perspectives». ZIFF-Papiere (111). https://nbn-resolving.org/urn:nbn:de:hbz:708-dh1799.

Campbell, Allison, Brian Taylor, Jessica Bates, und Una O’Connor-Bones. 2018. «Developing and Applying a Protocol for a Systematic Review in the Social Sciences». New Review of Academic Librarianship 24: 1–22. https://doi.org/10.1080/13614533.2017.1281827.

Chen, Li, Dirk Ifenthaler, und Jane Yin-Kim Yau. 2021. «Online and blended entrepreneurship education: a systematic review of applied educational technologies». Entrep Educ 4 (2): 191–232. https://doi.org/10.1007/s41959-021-00047-7.

Cheng, Y. P., S. C. Cheng, und Y. M. Huang. 2022. «An Internet Articles Retrieval Agent Combined With Dynamic Associative Concept Maps to Implement Online Learning in an Artificial Intelligence Course». International Review of Research in Open and Distributed Learning 23.

Cui, Kangxu. 2022. «Artificial intelligence and creativity: piano teaching with augmented reality applications». Interactive Learning Environments, 1–12. https://doi.org/10.1080/10494820.2022.2059520.

Da Santos, Cristina Mamédio Costa, Cibele Andrucioli de Mattos Pimenta, und Moacyr Roberto Cuce Nobre. 2007. «The PICO Strategy for the Research Question Construction and Evidence Search». Revista latino-americana de enfermagem 15 (3): 508–11. https://doi.org/10.1590/s0104-11692007000300023.

Feng, Shihui, und Nancy Law. 2021. «Mapping Artificial Intelligence in Education Research: a Network-based Keyword Analysis». Int J Artif Intell Educ 31 (2): 277–303. https://doi.org/10.1007/s40593-021-00244-4.

Gough, David, Sandy Oliver, und James Thomas, Hrsg. 2017. An Introduction to Systematic Reviews. 2nd edition. Los Angeles, London, New Delhi, Singapore, Washington DC, Melbourne: SAGE.

Gough, David, James Thomas, und Sandy Oliver. 2012. «Clarifying Differences Between Review Designs and Methods». Systematic reviews 1: 28. https://doi.org/10.1186/2046-4053-1-28.

Grant, Maria J., und Andrew Booth. 2009. «A Typology of Reviews: An Analysis of 14 Review Types and Associated Methodologies». Health information and libraries journal 26 (2): 91–108. https://doi.org/10.1111/j.1471-1842.2009.00848.x.

Guan, Chong, Jian Mou, und Zhiying Jiang. 2020. «Artificial intelligence innovation in education: A twenty-year data-driven historical analysis». International Journal of Innovation Studies 4 (4): 134–47. https://doi.org/10.1016/j.ijis.2020.09.001.

Hamisch, Katharina, und Robert Kruschel. 2022. «Zwischen Individualisierungsversprechen und Vermessungsgefahr. Die Rolle der Schlüsseltechnologie Künstliche Intelligenz in der inklusiven Schule». https://doi.org/10.25656/01:23821.

Hege, Inga, Isabel Kiesewetter, und Martin Adler. 2020. «Automatic Analysis of Summary Statements in Virtual Patients – a Pilot Study Evaluating a Machine Learning Approach». BMC medical education 20: 366. https://doi.org/10.1186/s12909-020-02297-w.

Hew, Khe Foon, Min Lan, Ying Tang, Chengyuan Jia und Chung Kwan Lo. 2019. «Where is the ‹theory› within the field of educational technology research?». Br J Educ Technol 50 (3): 956–71. https://doi.org/10.1111/bjet.12770.

Holstein, Kenneth, und Vincent Aleven. 2022. «Designing for human – AI complementarity in K-12 education». AI Magazine 43 (2): 239–48. https://doi.org/10.1002/aaai.12058.

Holstein, Kenneth, Vincent Aleven, und Nikol Rummel. 2020. «A Conceptual Framework for Human–AI Hybrid Adaptivity in Education»., 240–54. https://doi.org/10.1007/978-3-030-52237-7_20.

Hunte, Melissa R., Samantha McCormick, Maitree Shah, Clarissa Lau, und Eunice Eunhee Jang. 2021. «Investigating the potential of NLP-driven linguistic and acoustic features for predicting human scores of children’s oral language proficiency». Assessment in Education: Principles, Policy & Practice 28 (4): 477–505. https://doi.org/10.1080/0969594X.2021.1999209.

Hwang, Gwo-Jen, Haoran Xie, Benjamin W. Wah, und Dragan Gašević. 2020. «Vision, challenges, roles and research issues of Artificial Intelligence in Education». Computers and Education: Artificial Intelligence 1:100001. https://doi.org/10.1016/j.caeai.2020.100001.

Kabudi, Tumaini, Ilias Pappas, und Dag Håkon Olsen. 2021. «AI-enabled adaptive learning systems: A systematic mapping of the literature». Computers and Education: Artificial Intelligence 2:1–12. https://doi.org/10.1016/j.caeai.2021.100017.

Kahn, Ken, und Niall Winters. 2021. «Constructionism and AI: A history and possible futures». Br J Educ Technol 52 (3): 1130–42. https://doi.org/10.1111/bjet.13088.

Kerres, Michael, Katja Buntins, J. Buchner, Hendrik Drachsler, und Olaf Zawacki-Richter. 2023 im Druck. «Adaptive und künstliche-intelligente Lernprogramme: Eine kritische Analyse aus Sicht der Mediendidaktik». In Künstliche Intelligenz in der Bildung. herausgegeben von de Witt, Claudia, Christina Gloerfeld und Silke Elisabeth Wrede. Wiesbaden: Springer VS. https://learninglab.uni-due.de/publikationen/14147.

Khaddage, Ferial, und Christoph Lattemann. 2021. «Artificial Intelligence and Cloud-based Technologies to Empower Learning ‹Active Experiments via NetLogo›». In EdMedia + Innovate Learning 2021, herausgegeben von Theo J. Bastiaens, 15–21. United States: Association for the Advancement of Computing in Education (AACE). https://www.learntechlib.​org/p/219633.

Liabo, Kristin, David Gough, und Angela Harden. 2017. «Developing Justifiable Evidence Claims». In An Introduction to Systematic Reviews, herausgegeben von David Gough, Sandy Oliver und James Thomas. 2nd edition, 252–77. Los Angeles, London, New Delhi, Singapore, Washington DC, Melbourne: SAGE.

Lipowsky, Frank, und Miriam Lotz. 2015. «Ist Individualisierung der Königsweg zum erfolgreichen Lernen? Eine Auseinandersetzung mit Theorien, Konzepten und empirischen Befunden». In Begabungen entwickeln & Kreativität fördern,herausgegeben von Mehlhorn, Gerlinde, Karola Schöppe und Frank Schulz, 155–219. KREAplus Band 8. München: kopaed.

McFadden, Paula, Brian J. Taylor, Anne Campbell, und Janice McQuilkin. 2012. «Systematically Identifying Relevant Research». Research on Social Work Practice 22 (6): 626–36. https://doi.org/10.1177/1049731512453209.

Meissner, Sibylle; Anna-Katharina Praetorius, Katrin Rakoczy, Katrin Kleinknecht, und Marucs Pietsch. 2020. «Differenzielle Effekte der Unterrichtsqualität auf die aktive Lernzeit». In Empirische Forschung zu Unterrichtsqualität: Theoretische Grundfragen und quantitative Modellierungen, herausgegeben von Anna-Katharina Praetorius, Juliane Grünkorn, und Eckhard Klieme, 81–94. Zeitschrift für Pädagogik Beiheft 66. Beiheft (April 2020). Weinheim, Basel: Beltz Juventa.

Misiejuk, Kamila, und Barbara Wasson. 2017. State of the Field Report on Learning Analytics. Bergen: Centre for the Science of Learning & Technology.

Molenaar, Inge. 2022. «The concept of hybrid human-AI regulation: Exemplifying how to support young learnersʼ self-regulated learning». Computers and Education: Artificial Intelligence 3: 100070. https://doi.org/10.1016/j.caeai.2022.100070.

Mubarak, Ahmed A., Han Cao, und Weizhen Zhang. 2022. «Prediction of studentsʼ early dropout based on their interaction logs in online learning environment». Interactive Learning Environments 30 (8): 1414–33. https://doi.org/10.1080/10494820.2020.1727529.

Newman, Mark, und David Gough. 2020. «Systematic Reviews in Educational Research: Methodology, Perspectives and Application». In Systematic Reviews in Educational Research, herausgegeben von Olaf Zawacki-Richter, Michael Kerres, Svenja Bedenlier, Melissa Bond und Katja Buntins, 3–22. Wiesbaden: Springer Fachmedien. https://doi.org/10.1007/978-3-658-27602-7.

Niegemann, Helmut, und Steffi Heidig. 2020. «Interaktivität und Adaptivität in multimedialen Lernumgebungen». In Handbuch Bildungstechnologie: Konzeption und Einsatz digitaler Lernumgebungen, herausgegeben von Helmut Niegemann und Armin Weinberger, 343–67. Berlin, Heidelberg: Springer. https://doi.org/10.1007/978-3-662-54368-9_33.

Niegemann, Helmut, und Armin Weinberger, Hrsg. 2020. Handbuch Bildungstechnologie: Konzeption und Einsatz digitaler Lernumgebungen. Berlin, Heidelberg: Springer. https://doi.org/10.1007/978-3-662-54368-9.

Niegemann, Helmut, und Armin Weinberger. 2020. «Was ist Bildungstechnologie?» In Handbuch Bildungstechnologie: Konzeption und Einsatz digitaler Lernumgebungen, herausgegeben von Helmut Niegemann und Armin Weinberger, 3–16. Berlin, Heidelberg: Springer. https://doi.org/10.1007/978-3-662-54368-9_1.

Niegemann, Helmut M., Steffi Domagk, Silviav Hessel, Alexandra Hein, Matthias Hupfer, und Annett Zobel. 2008. Kompendium multimediales Lernen. X.media.press. Berlin, Heidelberg: Springer. https://doi.org/10.1007/978-3-540-37226-4.

OECD. 2021. «OECD Digital Education Outlook 2021: Pushing the Frontiers with Artificial Intelligence, Blockchain and Robots». https://doi.org/10.1787/589b283f-en.

O’Mara-Eves, Alison, Ginny Brunton, David McDaid, Josephine Kavanagh, Sandy Oliver, und James Thomas. 2014. «Techniques for Identifying Cross-Disciplinary and ‹Hard-to-Detect› Evidence for Systematic Review». Research synthesis methods 5: 50–59. https://doi.org/10.1002/jrsm.1094.

Paass, Gerhard, und Dirk Hecker. 2020. Künstliche Intelligenz: Was steckt hinter der Technologie der Zukunft? Wiesbaden, Heidelberg: Springer Vieweg. https://doi.org/10.1007/978-3-658-30211-5.

Pajares, M. Frank. 1992. «Teachers’ Beliefs and Educational Research: Cleaning Up a Messy Construct». Review of Educational Research 62 (3): 307–32. https://doi.org/10.3102/00346543062003307.

Patton, M. 1990. Qualitative evaluation and Research methods. Beverly Hills: CA: Sage Publications.

Rabenstein, Kerstin, Matthias Proske, und Till-Sebastian Idel. 2018. «Individualisierung schulischen Lehrens und Lernens als Reformstrategie». Zeitschrift für Pädagogik 64 (2): 147–58.

Sandelowski, Margarete, Corrine I. Voils, Jennifer Leeman, und Jamie L. Crandell. 2012. «Mapping the Mixed Methods-Mixed Research Synthesis Terrain». Journal of mixed methods research 6 (4): 317–31. https://doi.org/10.1177/1558689811427913.

Schiefner-Rohs, Mandy, und Stefan Aufenanger. 2021. «Vorbereiten auf die neue Welt. Künstliche Intelligenz und Schule». on – Lernen in der digitalen Welt (5): 4–7.

Sejnowski, Terrence J. 2018. The Deep Learning Revolution. Cambridge, London: The MIT Press.

Silver, David, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser et al. 2016. «Mastering the Game of Go with Deep Neural Networks and Tree Search». Nature 529 (7587): 484–89. https://doi.org/10.1038/nature16961.

Silver, David, Julian Schrittwieser, Karen Simonyan, Ioannis Antonoglou, Aja Huang, Arthur Guez, Thomas Hubert et al. 2017. «Mastering the Game of Go Without Human Knowledge». Nature 550 (7676): 354–59. https://doi.org/10.1038/nature24270.

Tai, Joanna, Rola Ajjawi, Margaret Bearman, und Paul Wiseman. 2020. «Conceptualizations and Measures of Student Engagement: A Worked Example of Systematic Review». In Systematic Reviews in Educational Research, herausgegeben von Olaf Zawacki-Richter, Michael Kerres, Svenja Bedenlier, Melissa Bond und Katja Buntins, 91–110. Wiesbaden: Springer Fachmedien. https://doi.org/10.1007/978-3-658-27602-7.

Thomas, James, Alison OʼMara-Eves, Angela Harden, und Mark Newman. 2017. «Synthesis Methods for Combining and Configuring Textual or Mixed Methods Data». In An Introduction to Systematic Reviews, herausgegeben von Oliver Gough, Sandy Oliver, und James Thomas, 181–209. London: Sage.

Thomas, James, Alison O‘Mara-Eves, Angela Harden, und Mark Newman. 2017. «Synthesis Methods for Combining and Configuring Textual or Mixed Methods Data». In An Introduction to Systematic Reviews, herausgegeben von David Gough, Sandy Oliver, und James Thomas. 2nd edition, 181–209. Los Angeles, London, New Delhi, Singapore, Washington DC, Melbourne: SAGE.

Verdu, E., L. M. Regueras, M. J. Verdu, J. P. de Castro, D. Kohen-Vacs, E. Gal und M. Ronen. 2014. «Intelligent tutoring interface for technology enhanced learning in a course of computer network design». IEEE Frontiers in Education Conference (FIE) Proceedings, 1–7. https://doi.org/10.1109/FIE.2014.7044139.

Vieluf, Svenja, Anna-Katharina Praetorius, Katrin Rakoczy, Marc Kleinknecht, und Marcus Pietsch. 2020. «Angebots-Nutzungs-Modelle der Wirkweise des Unterrichts. Ein kritischer Vergleich verschiedener Modellvarianten». In Empirische Forschung zu Unterrichtsqualität: Theoretische Grundfragen und quantitative Modellierungen, herausgegeben von Anna-Katharina Praetorius, Juliane Grünkorn, und Eckhard Klieme, 63–80. Zeitschrift für Pädagogik Beiheft 66. Beiheft (April 2020). Weinheim, Basel: Beltz Juventa.

Walkington, Candace, und Matthew L. Bernacki. 2020. «Appraising research on personalized learning: Definitions, theoretical alignment, advancements, and future directions». Journal of Research on Technology in Education 52 (3): 235–52. https://doi.org/10.1080/15391523.2020.1747757.

Yang, Hyejin, Heyoung Kim, Jang Ho Lee, und Dongkwang Shin. 2022. «Implementation of an AI chatbot as an English conversation partner in EFL speaking classes». ReCALL 34 (3): 327–43. https://doi.org/10.1017/S0958344022000039.

Zawacki-Richter, Olaf, Michael Kerres, Svenja Bedenlier, Melissa Bond, und Katja Buntins, Hrsg. 2020. Systematic Reviews in Educational Research. Wiesbaden: Springer. https://doi.org/10.1007/978-3-658-27602-7.

Zawacki-Richter, Olaf, Victoria I. Marín, Melissa Bond, und Franziska Gouverneur. 2019. «Systematic review of research on artificial intelligence applications in higher education – where are the educators?». Int J Educ Technol High Educ 16. https://doi.org/10.1186/s41239-019-0171-0.