The Interplay between Learning Design and Learning Analytics Indicators in Higher Education

Abstract

Les institucions d'educació superior generen grans quantitats de dades; tanmateix, l'adopció de tecnologies i pràctiques per analitzar sistemàticament aquestes dades continua sent fragmentada. Tradicionalment, els esforços institucionals s'han centrat en aspectes aïllats com la satisfacció dels estudiants, el rendiment acadèmic, l'ús de plataformes digitals o les metodologies actives d'aprenentatge, cosa que ha portat a un enfocament desarticulat en l'anàlisi de les dades educatives. L'aplicació de l'analítica del disseny d'aprenentatge (Learning Design Analytics, LDA), l'analítica d'aprenentatge tradicional (Learning Analytics, LA) i l'analítica institucional (Institutional Analytics, IA) constitueix encara una àrea de recerca poc explorada i metodològicament complexa, ja que la recopilació i interpretació significativa de dades a gran escala presenta reptes tècnics i conceptuals importants. Aquesta tesi doctoral examina una gran universitat espanyola predominantment presencial durant el període comprès entre 2018 i 2022, amb l'objectiu de respondre la següent qüestió: Com pot l'analítica institucional integrar el disseny d'aprenentatge i l'analítica d'aprenentatge (LD-LA) per generar coneixement útil i aplicable en l'educació superior? A través d'una sèrie d'estudis de cas, aquesta recerca ofereix un examen aprofundit de la interacció entre les decisions de disseny pedagògic i els indicadors habitualment utilitzats per avaluar l'experiència dels estudiants. La tesi presenta tres contribucions principals: (1) principis de disseny per a l'analítica institucional que alineen clarament els indicadors LD-LA, (2) indicadors i tècniques específiques per a l'analítica institucional LD-LA, i (3) evidències sobre els beneficis de la integració LD-LA en l'àmbit institucional. Considerant que l'absència d'una perspectiva pedagògica en l'analítica d'aprenentatge pot generar mancances en l'aplicació pràctica dels resultats, aquesta recerca destaca el valor d'un enfocament més integrat i basat en dades per a la presa de decisions institucionals en l'educació superior, assegurant així que els marcs d'analítica d'aprenentatge incorporin adequadament les consideracions del disseny pedagògic per generar coneixements contextualitzats i aplicables.

Higher Education Institutions generate vast amounts of data, yet the adoption of technologies and practices to systematically analyze these data remains fragmented. Traditionally, institutional efforts have focused on isolated aspects such as student satisfaction, academic performance, digital platform usage, and active learning methodologies, leading to a disjointed approach to educational data analysis. The application of Learning Design Analytics (LDA), Mainstream Learning Analytics (LA), and Institutional Analytics (IA) remains an underexplored and methodologically complex research area, as large-scale, meaningful data collection and interpretation present both technical and conceptual challenges. This doctoral dissertation examines a large, predominantly face-to-face Spanish university, covering the period from 2018 to 2022, to answer the question: How can Institutional Analytics bridge Learning Design and Learning Analytics (LD-LA) to generate actionable insights in Higher Education? Through a series of case studies, this research provides an in-depth examination of the interplay between pedagogical design decisions and commonly used student indicators. The thesis presents three main contributions: (1) design principles for institutional analytics that align LD-LA indicators, (2) indicators and techniques for LD-LA Institutional Analytics, and (3) evidence about the benefits of LD-LA at the institutional level. Considering that the absence of a pedagogical perspective in LA may lead to gaps in the practical application of insights, the current research highlights the value of a more integrated, data-informed approach to institutional decision-making in Higher Education, ensuring that LA frameworks incorporate pedagogical planning considerations to produce contextually meaningful and actionable insights.