La evaluación no es un segundo paso en el diseño pedagógico de un MOOC. Un estudio de caso

  1. Braga Blanco, Gloria María 1
  2. Belver Domínguez, José Luis 1
  3. Fano Méndez, Santiago 1
  1. 1 Universidad de Oviedo
    info

    Universidad de Oviedo

    Oviedo, España

    ROR https://ror.org/006gksa02

Journal:
Profesorado: Revista de curriculum y formación del profesorado

ISSN: 1989-6395,  1138-414X

Year of publication: 2020

Issue Title: Enseñanza Superior Contemporánea

Volume: 24

Issue: 2

Pages: 414-434

Type: Article

DOI: 10.30827/PROFESORADO.V24I2.14090 DIALNET GOOGLE SCHOLAR lock_openOpen access editor

More publications in: Profesorado: Revista de curriculum y formación del profesorado

Sustainable development goals

Abstract

Evaluation in Massive Open Online Courses (MOOC) is currently a central element of debate and one of the aspects of greatest concern when planning the pedagogical design of this kind or courses. The purpose of the article is twofold. On the one hand, to describe the evaluation system implemented during three editions in the MOOC "Digital Literacy for groups at risk of social exclusion: Strategies for Socio-educational Intervention." (European Project ECO). On the other hand, we analyze the strengths and weaknesses of the assessment system described. We have designed the evaluative model as a central and dynamic part of pedagogical design, allowing us to know our virtual participants (initial evaluation), to tutor their work and to evaluate their results (assesment of learning processes) and, finally, to obtain information in order to take decisions for improvement in eachnew edition (evaluation oriented to improvement). First of all, we describe the evaluation model. Then we analyze the main data collected with the tools used (initial questionnaire, interactions in Facebook groups and other social spaces, self-evaluation questionnaires, peer to peerevaluation, key informants and platform data). Finally, we discuss the results obtained in order to provide reflections that can guide the design of evaluation processes in MOOC. The main thesis we defend is that the planning of the evaluative model is a central element that must be outlined from minute one and be fully integrated with the rest of elements of the pedagogical design. Evaluative model should contemplate strategies for the initial and formative assessment of the participants and of the teaching-learning process itself, and not only be based on the final assessment oriented towards certification.

Bibliographic References

  • Aguaded Gómez, J.I., Vázquez Cano, E. y Sevillano García M.L. (2013). MOOCs, ¿Turbocapitalismo de redes o altruismo educativo? Hacia un modelo más sostenible. En SCOPEO INFORME nº2, MOOC: Estado de la situación actual, posibilidades, retos y futuro (pp. 74-90). Salamanca: Universidad de Salamanca, Servicio de Innovación y Producción Digital. Recuperado de http://scopeo.usal.es/wp-content/uploads/2013/06/scopeoi002.pdf.
  • Alonso López, M. (2015). Análisis pedagógico comparativo de tres MOOCs (massive, online and open courses). (Trabajo fin de grado de Pedagogía inédito). Universidad de Oviedo, Facultad de Formación del Profesorado y Educación, España.
  • Cabero Almenara, J., Llorente Cejudo, M.C. y Vázquez Martínez, A.I. (2014). Las tipologías de MOOC: su diseño e implicaciones educativas. Profesorado. Revista de Currículum y Formación de Profesorado, 18(1), pp. 13-26.
  • Camarero Cano, L. y Cantillo Valero, C. (2016). La evaluación de los aprendizajes en los sMOOC. Estudio de caso en el Proyecto Europeo ECO. Revista Mediterránea de Comunicación, 7(2), pp. 21-35. doi: http://dx.doi.org/10.14198/MEDCOM2016.7.2.2
  • Chiappe Laverde, A., Hine Dundee, N. y Martínez Silva, J.A. (2015). Literatura y práctica: una revisión crítica acerca de los MOOCs. Comunicar, 12(44), pp. 9-18. doi: http://dx.doi.org/10.3916/C44-2015-01
  • Clow, D. (2013). MOOCs and the funnel of participation. Third Conference on Learning Analytics and Knowledge: LAK 2013, 8-12 de abril, Leuven, Belgium. Recuperado de http://oro.open.ac.uk/36657/1/DougClow-LAK13-revised-submitted.pdf. doi: http://dx.doi.org/doi:10.1145/2460296.2460332
  • Conole, G. (2013). MOOCs as disruptive technologies: strategies for enhancing the learner experience and quality of MOOCs. RED, Revista de Educación a Distancia, (39). Recuperado de http://www.um.es/ead/red/39/
  • Escudero Viladoms, N. (2013). Feedback, confiança matemàtica i aprenentatge matemàtic en un entorn d’aprenentatge en línia. (Tesis doctoral). Universidad Autónoma de Barcelona, Departamento de Didáctica de las Matemática y de las Ciencias Experimentales, España. Recuperado de http://www.tdx.cat/handle/10803/117440
  • Fernández Díaz, E., Rodríguez Hoyos, C. y Fueyo Gutiérrez, A. (2014). Concepciones Pedagógicas y Comunicativas de los MOOCs: Estado del Arte y Prospectiva en el Marco de un Proyecto Europeo. III Workshop internacional sobre Creación de MOOC con anotaciones multimedia, Málaga, 5-7 de marzo.
  • Fueyo Gutiérrez, A. y Alises Camacho. E. (2014). Alfabetización digital para colectivos en riesgo de exclusión social. Experimentando nuevos enfoques pedagógicos en el proyecto ECO- MOOCs. Boletín SCOPEO, (10). Recuperado de http://scopeo.usal.es/alfabetizacion-digital-exclusion-social/
  • Gallego Arrufaf, M. J., Gámiz Sánchez, V. y Gutiérrez Santiuste, E. (2015). Tendencias en la evaluación del aprendizaje en cursos en línea masivos y abiertos. Educación XX1, 18(2), pp. 77-96. doi: 10.5944/educXX1.12935.
  • Gütl, C., Hernández Rizzardini, R., Chang, V. y Morales, M. (2014). Attrition in MOOC: Lessons Learned from Drop-Out Students. In L. Uden, J. Sinclair, Y.-H. Tao, & D. Liberona (Eds.), Learning Technology for Education in Cloud. MOOC and Big Data (pp. 37–48). Springer International Publishing. doi: http://10.1007/978-3-319-10671-7_4
  • Jordan, K. (2014). Initial trends in enrolment and completion of massive, open and online courses. The international Review of Research in Open and distributed learning, 15(1), pp. 133-160. Recuperado de http://www.irrodl.org/index.php/irrodl/article/view/1651/2813. doi: http://dx.doi.org/10.19173/irrodl.v15i1.1651
  • Koller, D., Ng, A., Do, C. y Chen, Z. (2013). Retention and Intention in Massive Open Online Courses: In Depth. Educause Review Online. Recuperado de http://er.educause.edu/articles/2013/6/retention-and-intention-in-massive-open-online-courses-in-depth
  • Kulkarni, C., Wei, K. P., Le, H., Chia, D., Papadopoulos, K., Cheng, J., Koller, D., y Klemmer, S. R. (2013). Peer and self assessment in massive online classes. ACM Transactions on Computer-Human Interaction, 9(4), pp. 1–32. Recuperado de http://hci.stanford.edu/publications/2013/Kulkarni-peerassessment.pdf. doi: http://dx.doi.org/10.1145/0000000.0000000
  • Liyanagunaward, T. R., Adams, A. A. y Williams, S. A. (2013). MOOCs: A systematic study of the published literature 2008-2012.The International Review of Research in Open and Distance Learning, 14(3), pp. 202-227. Recuperado de http://www.irrodl.org/index.php/irrodl/article/view/1455. doi: http://dx.doi.org/10.19173/irrodl.v14i3.1455
  • MOOC-Maker. (2016). Construction of Management Capacities of MOOCs in Higher Education. (561533-EPP-1-2015-1-ES-EPPKA2-CBHE-JP). WDP1.6. Deserción y permanencia en entornos MOOC. Recuperado de http://www.mooc-maker.org/wp-content/files/WPD1.6_MOOC-Maker_Final_ESP.pdf
  • O'Toole, R. (2013). Pedagogical strategies and technologies for peer assessment in Massively Open Online Courses (MOOCs). Discussion Paper. Coventry: University of Warwick, pp. 1-13. Recuperado de http://wrap.warwick.ac.uk/54602
  • Piech, C., Huang, J., Chen, Z., Do, C., Ng, A., y Koller, D. (2013). Tuned models of peer assessment in MOOCs. In Proceedings of The 6th International Conference on Educational Data Mining, Memphis, 6-9 de julio. Recuperado de http://web.stanford.edu/~cpiech/bio/papers/tuningPeerGrading.pdf
  • Raposo Rivas, M., Martínez Figueira, E. y Sarmiento Campos, J.A. (2015). Un estudio sobre los componentes pedagógicos de los cursos on-line masivos. Comunicar, 22(44), pp. 27-35. doi: https://doi.org/10.3916/C44-2015-03
  • Sancho Vinuesa, T. y Escudero Viladoms, N. (2012). A Proposal for Formative Assessment with Automatic Feedback on an Online Mathematics Subject. RUSC. Revista de Universidad y Sociedad del Conocimiento, 9(2), pp. 240-260. Recuperado de http://rusc.uoc.edu/index.php/rusc/article/view/1285. doi: http://dx.doi.org/10.7238/rusc.v9i2.1285
  • Sandeen, C. (2013). Integrating MOOCS into traditional higher education: the emerging “MOOC 3.0” Era. Change: The Magazine of Higher Learning, 45(6), pp. 34-39. doi: http://dx.doi.org/10.1080/00091383.2013.842103
  • Torres Mancera, D. y Gago Saldaña, D. (2014). Los MOOCs y su papel en la creación de comunidades de aprendizaje y participación. RIED. Revista Iberoamericana de Educación a Distancia, 17(1), pp. 13-34. Recuperado de http://revistas.uned.es/index.php/ried/article/view/11570. doi: http://dx.doi.org/10.5944/ried.17.1.11570
  • Vázquez Cano, E. y López Meneses, E. (2014). Los MOOC y la educación superior: la expansión del conocimiento. Profesorado. Revista de Currículum y Formación de Profesorado, 18(1), pp. 3-12.
Data source: Dialnet