Revista mexicana de bachillerato a distancia

Reflexiones académicas

El proceso de construcción del instrumento de evaluación de asesores de un bachillerato en línea

María Edith Díaz Barahona y Mario José Martín Pavón

The process of building the assessment instrument for an online baccalaureate consultant

Resumen

La evaluación docente es una herramienta importante para mejorar los procesos formativos, más en ambientes virtuales en donde hay separación de espacio y tiempo entre estudiante y profesor. Este artículo describe la metodología de elaboración de un instrumento de evaluación docente de un bachillerato virtual. La población en estudio la conformaron los asesores activos en el 2º periodo académico de 2019. Entre las características psicométricas del instrumento destaca la capacidad de discriminación de los ítems y su confiabilidad que es de 0.984. El análisis de factores reportó dos: desempeño pedagógico y habilidades tecnológicas, explicando 72% de la variación del desempeño de los asesores.

Palabras clave: evaluación docente; educación en línea; modelos de evaluación docente

Abstract

Teacher evaluation is an important tool to improve training processes in virtual environments where they are separated from the students by time and space. This article describes the methodology for developing a teachers’ evaluation instrument for a virtual undergraduate degree program. The study population were the teachers on duty by the second period of 2019. The highlights of the instrument are the ability to discriminate the items and its 0.984 reliability. The factor analysis reported a 72% variation on teachers’ pedagogical performance and technological skills.

Keywords: teacher´s evaluation; online education; teachers´ evaluation models

 

 

Antecedentes

Hoy existe un mayor entendimiento de que la evaluación es una parte fundamental de toda acción o proceso en el ámbito educativo. Bajo esta premisa, es que la evaluación de la práctica docente constituye un imperativo para la mejora de los procesos de formación, sin importar la modalidad en la que estos se desarrollen. A este respecto, la evaluación de asesores, profesores o docentes en línea promueve la mejora de los procesos de enseñanza-aprendizaje, al identificar aquellos elementos que son susceptibles de ser mejorados.

Con esta perspectiva, estudios como el de Caro y Bedoya (2015) afirman que, si el asesor en modalidad virtual utiliza las mismas estrategias que implementa en un programa presencial y mantiene poca interacción con los estudiantes, propiciará un bajo rendimiento académico en estos. Asimismo, Zapata y Cabrera (2015) señalan que 95% de los alumnos perciben que las habilidades del asesor o docente para transmitir el conocimiento influyen de manera importante en su rendimiento académico, por lo que es importante la evaluación periódica de su desempeño.

En la misma línea, Cabero, Llorente y Morales (2018) señalan que la evaluación del profesor tiene como propósito mejorar la acción profesional. Sirve para transformar las prácticas docentes con un fin formativo y con ello mejorar la calidad del aprendizaje del estudiante, por lo que representa un imperativo para las instituciones que aspiran a ofrecer una formación de calidad a sus estudiantes.

No obstante, la importancia que reviste el proceso de evaluación docente, específicamente el de los profesores de programas virtuales o en línea, aún es muy incipiente, dado que la mayoría de las metodologías utilizadas para la evaluación del profesorado en modalidad virtual son adaptaciones de los enfoques en educación presencial (García-Cabrero, Luna, Cisneros-Cohernour, Cordero y García, 2018).

Una de las instituciones que cuenta con un modelo de evaluación del desempeño de sus asesores de programas en modalidad virtual es la Universidad de Athabasca. El modelo se basa en las comunidades de indagación con sus tres tipos de presencia: la de docente, la cognitiva y la social (Garrison et al. citado en García-Cabrero et al., 2018). En esta misma línea, otro modelo es el de Laurillard (2001 citado en García-Cabrero et al., 2018), el cual concibe que el proceso de enseñanza aprendizaje tiene lugar en dos niveles: el discursivo y el experiencial.

Como se puede advertir, de la revisión de la literatura se tiene que las propuestas metodológicas de la evaluación del asesor de programas en modalidad virtual se centran en sus habilidades de interacción con el estudiante, dejando de lado los aspectos de tipo pedagógico, tecnológico y administrativo que se saben también impactan en la gestión del proceso de formación. De aquí la necesidad de realizar investigaciones que ayuden a dilucidar los elementos que deben ser incluidos en la construcción de instrumentos orientados a evaluar el desempeño de los asesores de programas virtuales, de modo que estos atiendan a las características propias de la enseñanza en esta modalidad. Ello constituye el objetivo del proyecto del que deriva este artículo.

Método

Para la construcción del instrumento se revisó el trabajo de Cabero, Llorente y Morales (2018), en donde se propone que la evaluación de los asesores de programas virtuales se realice a partir de tres dimensiones: 1) el conocimiento de la disciplina, 2) el conocimiento pedagógico y 3) el conocimiento tecnológico. También se examinaron algunos documentos que norman la actividad de los asesores en el programa, tales como el manual del asesor en línea (donde se establecen las actividades que este debe de realizar), el perfil docente del Modelo Educativo para la Formación Integral (MEFI) de la Universidad, el reglamento del personal académico y el perfil del asesor (donde se establecen las características que definen a un asesor de un programa virtual), el cual se basa en el Marco Europeo para la Competencia Digital del Profesorado (Redecker, 2017). De forma posterior a esta revisión, se integró una versión preliminar considerando las actividades, características e indicadores de competencia de dichos documentos.

Para analizar las características psicométricas del instrumento, se realizó un estudio piloto en el que se evaluó el desempeño de 19 asesores en un total de 105 asignaturas, con la participación de 963 estudiantes. Con la información recabada se procedió a la construcción de una base de datos. Se estudió la capacidad de discriminación de los ítems a través de la prueba t para muestras independientes, comparando las puntuaciones en cada ítem entre los alumnos que evaluaron de manera positiva a los asesores (aquellos cuya puntuación en el instrumento fue mayor que el percentil 25). De igual forma, se analizó la confiabilidad a través del alfa de Cronbach y se estudió la verdadera dimensionalidad del instrumento a través de la técnica de análisis de factores, mediante la rotación Varimax y suprimiendo aquellos ítems cuya carga factorial fuera inferior a 0.40.

 

 

 

Resultados

El estudio de la capacidad discriminación de los ítems; es decir, la característica de contribuir a la separación de los alumnos que evalúan positivamente a los asesores de quienes los evalúan negativamente se presenta en la Tabla 1.

Tabla 1. Prueba de discriminación de reactivo.

Tabla 1. Prueba de discriminación de reactivo. Fuente: Elaboración propia.

Como puede apreciarse en la Tabla 1, todos los reactivos discriminaron. La confiabilidad del instrumento calculada a través del Alfa de Cronbach fue de 0.984 lo que lo hace un instrumento confiable.

Por otra parte, con la intención de determinar la verdadera dimensionalidad del instrumento (forma real en la que los reactivos se agrupan), se realizó un análisis de factores cuyos resultados se presentan en la Tabla 2.

Tabla 2. Análisis de factores.

Tabla 2. Análisis de factores. Fuente: Elaboración propia.

De la Tabla 2, se observa que el análisis de factores reporta la conformación de dos únicos factores que logran explicar 72.1% de la variación del desempeño de los asesores. Es así que la distribución de los ítems en cada factor quedó como se presenta en la Tabla 3.

Tabla 3. Distribución de los ítems en cada factor.

Tabla 3. Distribución de los ítems en cada factor. Fuente: Elaboración propia.

Comentarios finales

Como se puede observar, la evaluación del asesor debe ser integradora para procurar que todas las acciones que realiza en el programa educativo incidan de manera positiva en el proceso de los estudiantes; es decir, no solamente enfocarse en la mediación pedagógica, sino también en su propio desarrollo de habilidades tecnológicas y en la gestión administrativa que realice para el programa.

Referencias

Cabero, J., Llorente, M. y Morales, J. (2018).Evaluación del desempeño docente en la formación virtual: ideas para la configuración de un modelo. Revista Iberoamericana de Educación a Distancia. 21(1), 261-279. Recuperado de http://revistas.uned.es/index.php/ried/article/view/17206/0

Caro, D. y Bedoya, J. (2015). Factores académicos incidentes en el desempeño de los estudiantes de asignaturas virtuales CUC. (Tesis de maestría). Universidad de la Costa–CUC, Colombia. Recuperada de https://bit.ly/3a5CsCl

García-Cabrero, B. Luna, E., Cisneros-Cohernour, E., Cordero, G. y García, M. (2018). Las competencias docentes en entornos virtuales: un modelo para su evaluación. Revista Iberoamericana de Educación a Distancia, 21(1), 343-365. Recuperado de https://bit.ly/2Tb2blY

Redecker, C. (2017) European Framework for the Digital Competence of Educators: DigCompEdu. Punie, Y. (ed). EUR 28775. En Publications Office of the European Union, Luxembourg. ISBN 978-92-79-73494-6, doi:10.2760/159770, JRC107466

Zapata, A. y Cabrera, G. (2015). Factores institucionales incidentes en el rendimiento académico. Ponencia Quinta Conferencia Latinoamericana sobre el abandono en la educación superior. Recuperado de http://revistas.utp.ac.pa/index.php/clabes/article/view/1159

Apendice 1

Apendice 1