Solstad, Hanna Eide
A comparison of manual and automated quality assessment of Open Educational Resources and their reliability Abschlussarbeit
Norwegian University of Science and Technology, 2022.
Abstract | Links | BibTeX | Schlagwörter: O, OER, open educational resources, Qualitätssicherung, quality
@mastersthesis{Solstad2022,
title = {A comparison of manual and automated quality assessment of Open Educational Resources and their reliability},
author = {Hanna Eide Solstad},
url = {https://ntnuopen.ntnu.no/ntnu-xmlui/bitstream/handle/11250/3024682/no.ntnu%3Ainspera%3A112046434%3A23371129.pdf},
year = {2022},
date = {2022-06-01},
urldate = {2023-03-03},
institution = {Faculty of Information Technology and Electrical Engineering, Department of Computer Science},
school = {Norwegian University of Science and Technology},
abstract = {The fourth Sustainable Development Goal is to: "Ensure inclusive and equitable quality education and promote lifelong learning opportunities for all". UNESCO considers Open Educational Resources (OER) vital in achieving this. OERs are educational material shared under an open license permitting free access, use, adaption, and redistribution under few restrictions. The OER movement has regained attention, with COVID-19 forcing millions to study from home. However, there are many challenges to continued growth. One of the most crucial challenges is quality control. Current approaches are mainly built on manual reviews, which are time-consuming and expensive.
This thesis proposes a white-box algorithm that combines theoretical quality knowledge with measurable metrics to give a quality score. The algorithm was developed for the educational resource type Interactive Videos created with the framework H5P. I performed a comparative study of the algorithm and the most adopted approach: manual reviews. 23 H5P users were recruited to perform 107 manual reviews of 57 OERs. The manual reviews scored different quality factors, two overall scores, and could add a comment for each resource. The data were then used to find the degree of agreement between the two methods and their reliability.
The result was low to moderate degree of agreement between the manual reviews and algorithm scores. That means that the algorithm can be a suitable approach in certain cases, but mostly as an addition to other methods. However, the most crucial finding was the low reliability of the manual reviews. The reviews were highly subjective and this has significant implications for this study and all research using reviews as a data source. Future studies need to continue to work on automated approaches but consider how they can be evaluated correctly},
howpublished = {Master’s thesis in Master of Technology in Computer Science},
keywords = {O, OER, open educational resources, Qualitätssicherung, quality},
pubstate = {published},
tppubtype = {mastersthesis}
}
This thesis proposes a white-box algorithm that combines theoretical quality knowledge with measurable metrics to give a quality score. The algorithm was developed for the educational resource type Interactive Videos created with the framework H5P. I performed a comparative study of the algorithm and the most adopted approach: manual reviews. 23 H5P users were recruited to perform 107 manual reviews of 57 OERs. The manual reviews scored different quality factors, two overall scores, and could add a comment for each resource. The data were then used to find the degree of agreement between the two methods and their reliability.
The result was low to moderate degree of agreement between the manual reviews and algorithm scores. That means that the algorithm can be a suitable approach in certain cases, but mostly as an addition to other methods. However, the most crucial finding was the low reliability of the manual reviews. The reviews were highly subjective and this has significant implications for this study and all research using reviews as a data source. Future studies need to continue to work on automated approaches but consider how they can be evaluated correctly
Ladurner, Christoph; Ortner, Christian; Lach, Karin; Ebner, Martin; Haas, Maria; Ebner, Markus; Ganguly, Raman; Schön, Sandra
Entwicklung und Implementierung eines Plug-Ins und von APIs für offene Bildungsressourcen (OER) Konferenzbeitrag
In: Reussner, Ralf H.; Koziolek, Anne; Heinrich, Robert (Hrsg.): INFORMATIK 2020, S. 453–465, Gesellschaft für Informatik Bonn, 2021, ISBN: 978-3-88579-701-2.
Abstract | Links | BibTeX | Schlagwörter: A, Hochschule, Lernmanagementsystem, LOM, Metadaten, open educational resources, Plug-In, Qualifizierung, Referatorium, Repositorium, Schnittstelle, Zertifizierung
@inproceedings{Ladurner2021,
title = {Entwicklung und Implementierung eines Plug-Ins und von APIs für offene Bildungsressourcen (OER)},
author = {Christoph Ladurner and Christian Ortner and Karin Lach and Martin Ebner and Maria Haas and Markus Ebner and Raman Ganguly and Sandra Schön},
editor = {Ralf H. Reussner and Anne Koziolek and Robert Heinrich},
url = {https://dx.doi.org/10.18420/inf2020_42
https://www.researchgate.net/publication/348845151_Entwicklung_und_Implementierung_eines_Plug-Ins_und_von_APIs_fur_offene_Bildungsressourcen_OER},
doi = {10.18420/inf2020_42},
isbn = {978-3-88579-701-2},
year = {2021},
date = {2021-01-29},
urldate = {2021-06-15},
booktitle = {INFORMATIK 2020},
pages = {453–465},
address = {Bonn},
organization = {Gesellschaft für Informatik},
series = {Lecture Notes in Informatics (LNI)},
abstract = {Um einen breiten Zugang zur Bildung und großzügige Nutzung von Bildungsressourcen zu ermöglichen, setzt auch die Technische Universität Graz (TU Graz) auf offene Bildungsressourcen (Open Educational Resources, kurz OER). Der Beitrag beschreibt die technologischen Entwicklungen und Prozesse, damit Lehrende der TU Graz das eigene Lernmanagementsystem für die Veröffentlichung von OER nutzen können. Es wird im Beitrag nachgezeichnet wie Schnittstellen und Prozesse gestaltet wurden, um Lern- und Lehrressourcen der TU Graz mit entsprechenden Metadaten auszuzeichnen, um sie über das universitätseigene OER-Repositorium und entsprechenden Schnittstellen für das OER-Fachportal der Universität Wien einer breiten Öffentlichkeit recherchierbar anzubieten. Nur entsprechend qualifizierte Lehrende der TU Graz erhalten die Berechtigung für die Nutzung des neuen OER-Plug-In. Der Beitrag schließt mit Empfehlungen für Nachahmer/innen.},
keywords = {A, Hochschule, Lernmanagementsystem, LOM, Metadaten, open educational resources, Plug-In, Qualifizierung, Referatorium, Repositorium, Schnittstelle, Zertifizierung},
pubstate = {published},
tppubtype = {inproceedings}
}
Hilton, John
In: Educational Technology Research and Development, 2019, ISSN: 1556-6501.
Abstract | Links | BibTeX | Schlagwörter: A, Computers in education, Financing education, O, OER, open educational resources
@article{Hilton2019,
title = {Open educational resources, student efficacy, and user perceptions: a synthesis of research published between 2015 and 2018},
author = {John Hilton},
url = {https://doi.org/10.1007/s11423-019-09700-4},
doi = {10.1007/s11423-019-09700-4},
issn = {1556-6501},
year = {2019},
date = {2019-08-06},
journal = {Educational Technology Research and Development},
abstract = {Although textbooks are a traditional component in many higher education contexts, their increasing price have led many students to forgo purchasing them and some faculty to seek substitutes. One such alternative is open educational resources (OER). This present study synthesizes results from sixteen efficacy and twenty perceptions studies involving 121,168 students or faculty that examine either (1) OER and student efficacy in higher education settings or (2) the perceptions of college students and/or instructors who have used OER. Results across these studies suggest students achieve the same or better learning outcomes when using OER while saving significant amounts of money. The results also indicate that the majority of faculty and students who have used OER had a positive experience and would do so again.},
keywords = {A, Computers in education, Financing education, O, OER, open educational resources},
pubstate = {published},
tppubtype = {article}
}
Könitz, Christopher
OER – Auf dem Weg in eine selbstverschuldete digitale Unmündigkeit? Artikel
In: MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung, Bd. 32, Nr. Oktober, S. 63–71, 2018, ISSN: 1424-3636.
Abstract | Links | BibTeX | Schlagwörter: O, OER, open educational resources
@article{Könitz_2018,
title = {OER – Auf dem Weg in eine selbstverschuldete digitale Unmündigkeit?},
author = {Christopher Könitz},
url = {https://www.medienpaed.com/article/view/609},
doi = {10.21240/mpaed/32/2018.10.24.X},
issn = {1424-3636},
year = {2018},
date = {2018-10-24},
urldate = {2018-12-20},
journal = {MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung},
volume = {32},
number = {Oktober},
pages = {63–71},
abstract = {Spätestens seit der Debatte um die Vergütung von urheberrechtlich geschütztem Material nach UrhG §52a, scheinen Open Educational Resources (OER) die Antwort auf proprietäre Verlagsangebote zu sein. Jedoch gibt es lizenzrechtliche, technische und begriffliche Unschärfen, die dazu führen, dass OER in eine selbstverschuldete digitale Unmündigkeit führen können. Dieser Beitrag liefert daher im Kern eine kritische Auseinandersetzung mit dem OER-Begriff aus einer bildungstheoretisch-medienpädagogischen Perspektive. Im ersten Teil werden die genannten Unschärfen näher beleuchtet und erste Lösungsansätze aufzeigt. Der Beitrag plädiert für eine Hinwendung zu einem starken Copyleft, welches derzeit mit den Creative Commons nicht möglich ist, da diese unter Umständen zu proprietären Materialen führen können. Die technische Perspektive richtet sich auf die verwendeten Dateiformate von OER, die häufig nicht frei und/oder editierbar sind. Die begriffliche Perspektive stellt heraus, dass der OER-Begriff ein negatives Konzept von Freiheit verfolgen und mit Blick auf die Medienpädagogik untertheoretisiert sind.
Im zweiten Teil werden daher durch das Medienkompetenzmodell nach Baacke und der Strukturalen Medienbildung nach Jörissen und Marotzki zwei mögliche medienpädagogische Anschlüsse geschaffen. Durch diese Anschlüsse werden die Momente der Medienkritik und der Reflexivität eingebracht. Damit wird der Fokus von einer Outputorientierung auf den Aufbau eines Orientierungswissens – und damit auf transformatorische Bildungsprozesse und den damit verbundenen medialen Artikulationen – verschoben.},
keywords = {O, OER, open educational resources},
pubstate = {published},
tppubtype = {article}
}
Im zweiten Teil werden daher durch das Medienkompetenzmodell nach Baacke und der Strukturalen Medienbildung nach Jörissen und Marotzki zwei mögliche medienpädagogische Anschlüsse geschaffen. Durch diese Anschlüsse werden die Momente der Medienkritik und der Reflexivität eingebracht. Damit wird der Fokus von einer Outputorientierung auf den Aufbau eines Orientierungswissens – und damit auf transformatorische Bildungsprozesse und den damit verbundenen medialen Artikulationen – verschoben.
Leuchtenbörger, Jens
Erstellung und Weiterentwicklung von Open Educational Resources im Selbstversuch Artikel
In: MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung, Bd. 32, S. 101–117, 2018, ISSN: 1424-3636.
Abstract | Links | BibTeX | Schlagwörter: Github, Hochschule, Informatik, O, open educational resources, Open Source
@article{Leuchtenbörger2018,
title = {Erstellung und Weiterentwicklung von Open Educational Resources im Selbstversuch},
author = {Jens Leuchtenbörger},
url = {https://www.medienpaed.com/article/view/651},
doi = {10.21240/mpaed/34/2019.03.02.X},
issn = {1424-3636},
year = {2018},
date = {2018-10-20},
journal = {MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung},
volume = {32},
pages = {101–117},
abstract = {Open Educational Resources (OER) versprechen einerseits den Abbau von Hürden im Bildungszugang und andererseits die Vermeidung redundanter Arbeit bei der Erstellung ähnlicher und gleichzeitig qualitativ hochwertiger Bildungsressourcen in unterschiedlichen Organisationen. Der Verbreitung von OER stehen jedoch bekannte Hürden gegenüber, wobei das ALMS-Framework einen Rahmen für die Bewertung der Wieder- und Weiternutzung von OER aus technischer Sicht bereitstellt. Ausgehend von einem Selbstversuch zur OER-Einführung werden in dieser Arbeit das ALMS-Framework erweiternde Anforderungen an OER basierend auf Konzepten aus Software-Entwicklung und technischem Schreiben definiert. Unter Beachtung dieser Anforderungen werden zwei OER-Projekte beschrieben: Zum einen wird die Weiterentwicklung eines Lehrbuchs unter Creative-Commons-Lizenz skizziert. Zum anderen werden Erstellung und Nutzung der neu entwickelten Software emacs-reveal für die Erzeugung von für das Selbststudium geeigneten, mit Audiokommentaren unterlegten HTML-Präsentationen beschrieben; die Präsentationen werden in einfachen Textdateien erstellt, wobei die Erzeugung von HTML-Code automatisiert in einer öffentlichen GitLab-Infrastruktur abläuft und damit die Software-Nutzung vereinfacht. Ergebnisse einer Umfrage unter Studierenden verdeutlichen die Vorzüge der erzeugten Präsentationen.},
keywords = {Github, Hochschule, Informatik, O, open educational resources, Open Source},
pubstate = {published},
tppubtype = {article}
}