Psychometric analysis of a test to assess the digital competence of compulsory education students

  1. Casillas-Martín, Sonia 1
  2. Cabezas-González, Marcos 1
  3. García-Valcárcel Muñoz-Repiso, Ana 1
  1. 1 Universidad de Salamanca
    info

    Universidad de Salamanca

    Salamanca, España

    ROR https://ror.org/02f40zc51

Journal:
Relieve: Revista ELectrónica de Investigación y EValuación Educativa

ISSN: 1134-4032

Year of publication: 2020

Issue Title: MONOGRÁFICO. Edición científica: 25 años de Relieve

Volume: 26

Issue: 2

Type: Article

DOI: 10.7203/RELIEVE.26.2.17611 DIALNET GOOGLE SCHOLAR lock_openOpen access editor

More publications in: Relieve: Revista ELectrónica de Investigación y EValuación Educativa

Abstract

Valid and reliable information-gathering tools are necessary if research on digital competence is to provide valuable information that is able to guide education policies on the development of digital competence and the integration of information and communication technologies (ICT) into the educational systems of different countries. The aim of the present work is to validate a test that assesses the digital competence of students in compulsory education (ECODIES) in the areas of general knowledge, ability and attitude, using the Development and Understanding of Digital Competence in Europe Framework (DigComp) as the foundation for this research. This tool, designed by a university research team, was used on a sample of 771 students. The easiness/difficulty index and dimensions of the test were analyzed, as well as its validity and reliability. It was concluded that ECODIES is an original and novel test that features good psychometric properties that qualify it as a reliable and valid instrument for directly measuring digital competence by reflecting on real situations and problem solving. 

€ View funding

Funding information

Artículo realizado en el marco del proyecto de investigación I+D denominado "Evaluación de las competencias digitales de los estudiantes de Educación Obligatoria y estudio de la incidencia de variables socio-familiares", desarrollado por el Grupo de Investigación-Innovación en Tecnología Educativa de la Universidad de Salamanca (GITE-USAL) y financiado por el Ministerio de Economía y Competitividad dentro del Programa Estatal de Fomento de la Investigación Científica y Técnica de Excelencia del gobierno de España (EVADISO, EDU2015-67975-C3-3-P, MINECO/FEDER).

Funders

Bibliographic References

  • Agudo, A.A., García, E.G., & Martínez Heredia, N. (2020). Desafíos para una ciudadanía inclusiva: Competencia digital entre adultos mayores y jóvenes. Comunicacao Midia e Consumo, 17(48), 11-33. https://doi.org/10.18568/cmc.v17i48.2247
  • Alvarado Martínez, E. (2020). La formación tecno-pedagógica de los profesores universitarios de lengua extranjera. Revista Lengua y Cultura, 1(2), 58-63. https://doi.org/10.29057/lc.v1i2.5423
  • Armengol, C., Castro, D., Jariot, M., Massot, M., & Sala, J. (2011). El prácticum en el Espacio Europeo de Educación Superior (EEES): mapa de competencias del profesional de la educación. Revista de Educación, 354, 71-98. http://www.univnova.org/documentos/492.pdf
  • Basantes-Andrade, A.V., Cabezas-González, M., & Casillas-Martín, S. (2020). Digital Competences Relationship with Gender and Generation of University Professors. IJASEIT, International Journal on Advanced Science, Engineering and Information Technology, 10(1), 205-211. https://doi.org/10.1857/ijaseit.10.1.10806
  • Bonnes, C., Leiser, C., Schmidt‐Hertha, B., Rott, K.J., & Hochholdinger, S. (2020). The relationship between trainers’ media‐didactical competence and media‐didactical self‐efficacy, attitudes and use of digital media in training. International Journal of Training and Development, 24(1), 74-88. https://doi.org/10.1111/ijtd.12171
  • Cabezas, M., & Casillas, S. (2018). Social Educators: A Study of Digital Competence from a Gender Differences Perspective. Croatian Journal of Education-Hrvatski Casopis za Odgoj i obrazovanje, 20(1), 11-42. https://doi.org/10.15516/cje.v20i1.2632
  • Carretero, S., Vuorikari, R., & Punie, Y. (2017). DigComp 2.1. The digital competence framework for citizens. Publications Office of the European Union. https://doi.org/10.2760/38842
  • Casillas-Martín, S., Cabezas-González, M., & García-Peñalvo, F.J. (2020). Digital competence of early childhood education teachers: attitude, knowledge and use of ICT. European Journal of Teacher Education, 43(2), 210-223. https://doi.org/10.1080/02619768.2019.1681393
  • Casillas-Martín, S., Cabezas-González, M., Sanches-Ferreira, M., & Teixeira Diogo, F. L. (2018). Psychometric Study of a Questionnaire to Measure the Digital Competence of University Students (CODIEU). Education in the Knowledge Society, 19(3), 69-81. https://doi.org/10.14201/eks20181936981
  • Domínguez-Lara, S. (2018). Fiabilidad yalfaordinal. ActasUrológicasEspañolas, 42(2), 140-141. https://doi.org/10.1016/j.acuro.2017.07.002
  • Ferrari, A. (2013). DigComp: A framework for developing and understanding digital competence in Europe. Publications Office of the European Union. https://doi.org/10.2788/52966
  • Frailon, J., Schulz, W., Friedman, T., Ainley, J., & Gebhardt, E. (2013). International Computer and Information Literacy Study. Amsterdam: IEA Secretariat. https://doi.org/10.15478/uuid:b9cdd888-6665-4e9f-a21e-61569845ed5b
  • García-Valcárcel, A., Hernández, A., Basilotta, V., Cabezas-González, M., Casillas-Martín, S., González Rodero, L., Iglesias, A., Martín del Pozo, M., Mena Marcos, J.J., & Salvador Blanco, L. (2019). Modelo de indicadores para evaluar la competencia digital de los estudiantes tomando como referencia el modelo DigComp (INCODIES)[Universidad de Salamanca]. Repositorio Institucional GREDOS. https://gredos.usal.es/handle/10366/139409
  • García-Valcárcel, A., Casillas-Martín, S., & Basilotta, V. (2020). Validation of an Indicator Model (INCODIES) for Assessing StudentDigital Competence in Basic Education. Journal of New Approaches in Educational Research, 9(1), 110-125. https://doi.org/10.7821/naer.2020.1.459
  • García-Valcárcel, A., Salvador Blanco, L., Casillas-Martín, S., & Basilotta, V. (2019). Evaluación de las competencias digitales sobre seguridad de los estudiantes de Educación Básica. Revista de Educación a Distancia, 19(61), 1-34. https://doi.org/10.6018/red/61/05
  • González-Segura, C.M., García-García, M., Menéndez-Domínguez, V.H. (2018). Análisis de la evaluación de competencias y su aplicación en un Sistema de Gestión del Aprendizaje. Un caso de estudio.RED. Revista de Educación a Distancia, 58(3), 1-20. http://dx.doi.org/10.6018/red/58/3
  • He, T., Huang, Q., Yu, X., & Li, S. (2020). Exploring students’ digital informal learning: the roles of digital competence and DTPB factors. Behaviour & Information Technology, published online, 1-11. https://doi.org/10.1080/0144929X.2020.1752800
  • Hea, T., Huanga, Q., Yub, X., & Li, S. (2020): Exploring students’ digital informal learning: the roles of digital competence and DTPB factors. Behaviour & Information Technology, published online. https://doi.org/10.1080/0144929X.2020.1752800
  • ISTE (2016). ISTE Standards for Students. A Practical Guide for Learning with Technology. Stanstebook.
  • Kaiser, H. F. (1974). An index of factorial simplicity. Psychometrika, 39, 32-36. https://doi.org/10.1007/BF02291575
  • Krumsvik, R. J. (2011). Digital competence in Norwegian teacher education and schools. Högre Utbildning, 1(1), 39-51. https://www.researchgate.net/publication/305360830_Digital_competence_in_the_Norwegian_teacher_education_and_school
  • Larionova, V., Brown, K., Bystrova, T., & Sinitsyn, E. (2018). Russian perspectives of online learning technologies in higher education: An empirical study of a MOOC. Research in Comparative and International Education, 13(1), 70-91. https://doi.org/10.1177/1745499918763420
  • Lores Gómez, B., Sánchez Thevenet, P., & García Bellido, M.R. (2019). La formación de la competencia digital en los docentes. Profesorado, Revista de Currículum y formación del profesorado, 24(4), 234-260. https://doi.org/10.30827/profesorado.v23i4.11720
  • Martínez, A., Cegarra, J.G., & Rubio, J.A. (2012). Aprendizaje basado en competencias: Una propuesta para la autoevaluación del docente. Profesorado, Revista de currículum y formación del profesorado, 16(2), 373-386. http://www.ugr.es/~recfpro/rev162COL5.pdf
  • McMillan, J.H., & Schumacher, S. (2010). Investigación educativa. Pearson Addison Wesley. Mishra, P., & Koehler, M. (2006). Technological Pedagogical Content Knowledge: A Framework for Teacher Knowledge. State University. https://doi.org/10.1111/j.1467-9620.2006.00684.x
  • Moreno Rodríguez, M.D., Gabarda Méndez, V., & Rodríguez Martín, A.M. (2018). Alfabetización informacional y competencia digital en estudiantes de magisterio. Profesorado, Revista de currículum y formación del profesorado, 22(3), 253-270. http://dx.doi.org/10.30827/profesorado.v22i3.8001
  • Morales, P.; Urosa, B., & Blanco, A. (2003). Construcción de escalas de actitud tipo Likert: una guía práctica. Cuadernos de Estadística.
  • Nowak, B.M. (2019). The development of digital competence of students of teacher training studies-Polish cases. International Journal of Higher Education, 8(6), 262-266. https://doi.org/10.5430/ijhe.v8n6p262
  • Oliden, P.E., & Zumbo, B. D. (2008). Coeficientes de fiabilidad para escalas de respuesta categórica ordenada. Psicothema, 20(4), 896‐901. http://www.psicothema.com/psicothema.asp?id=3572
  • Otzen, T., & Manterola, C. (2017). Técnicas de Muestreo sobre una Población a Estudio. International Journal of Morphology, 35(1), 227-232. http://dx.doi.org/10.4067/S0717-95022017000100037
  • Pérez-Rodríguez, A., Delgado-Ponce, A., Marín-Mateos, P., & Romero-Rodríguez, L.M. (2019). Media Competence in Spanish Secondary School Students. Assessing Instrumental and Critical Thinking Skills in Digital Contexts. Educational Sciences: Theory and Practice, 19(3), 33-48. https://doi.org/10.12738/estp.2019.3.003
  • Punie, Y. (2017). European Framework for the Digital Competence of Educators (DigCompEdu). Publications Office of the European Union. https://doi.org/10.2760/159770
  • Terry, J., Davies, A., Williams, C., Tait, S., Condon, L. (2019). Improving the digital literacy competence of nursing and midwifery students: A qualitative study of the experiences of NICE student champions. Nurse Education in Practice, 34, 192-198. https://doi.org/10.1016/j.nepr.2018.11.016
  • Tobón, S., Pimienta, J.H., & García Fraile, J.A. (2010). Secuencias didácticas: Aprendizaje y evaluación de competencias. Pearson Educación.
  • Torres-Hernández, M., Pessoa, T., & Gallego-Arrufat, M.J. (2019). Intervención y evaluación con tecnologías de la competencia en seguridad digital. Digital Education Review, 35, 111-129. https://revistes.ub.edu/index.php/der/article/view/27399/pdf
  • Unión Europea (2018, 22 de mayo). Recomendación C 189 Relativa a las Competencias Clave Para el Aprendizaje Permanente. Diario Oficial de la Unión Europea, 4 de junio de 2018.
  • Valverde Berrocoso, J., Revuelta Domínguez, F.I., & Fernández Sánchez, M.R. (2012). Modelos de evaluación por competencias a través de un sistema de gestión de aprendizaje. Experiencias en la formación inicial del profesorado. Revista Iberoamericana de Educación, 60, 51-62. https://doi.org/10.35362/rie600443
  • Valverde Crespo, D., De Pro Bueno, A., & González Sánchez, J. (2018). La competencia informacional-digital en la enseñanza y aprendizaje de las ciencias en la educación secundaria obligatoria actual: una revisión teórica. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 15(2). 1-15. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2018.v15.i2.2105
  • Vuorikari, R., Punie, Y., Carretero, S, & Van den Brande, L. (2016). DigComp 2.0: The Digital Competence Framework for Citizens. Update Phase 1: The Conceptual Reference Model. Publication Office of the European Union. https://doi.org/10.2791/11517
  • Welch, S., & Comer, J. (1998). Quantitative methods for public administration: Techniques and applications. Brooks/Cole.
  • Xu, S., Yang, H. H., MacLeod, J., & Zhu, S. (2019). Social media competence and digital citizenship among college students. Convergence, 25(4), 735-752. https://doi.org/10.1177/1354856517751390
  • Zumbo, B. D., Gadermann, A. M., & Zeisser, C. (2007). Ordinal versions of coefficients alpha and theta for Likert rating scales. Journal of modern applied statistical methods, 6(1), 20-29. https://doi.org/10.22237/jmasm/1177992180
Data source: Dialnet