Revista mexicana de bachillerato a distancia

IRRODL

Desarrollo del Indicador de sobrecarga en cursos en línea y de la Encuesta de fatiga mental del estudiante

Gail Alleyne Bayne y Fethi A. Inan

Development of the Online Course Overload Indicator and the Student Mental Fatigue Survey

Resumen

El objetivo del presente estudio es desarrollar y examinar las propiedades psicométricas del Indicador de sobrecarga en cursos en Línea (OCOI, por sus siglas en inglés) y de la Encuesta de fatiga mental del estudiante (SMFS, por sus siglas en inglés). Se diseñó el OCOI para medir las percepciones de los estudiantes acerca de la sobrecarga cognitiva al estudiar con cursos en línea. Se utilizó la SMFS para evaluar las percepciones de los estudiantes sobre la carga mental al tomarlos. Se condujo un análisis factorial exploratorio en una muestra de 378 estudiantes de pregrado de diversas instituciones de Estados Unidos que ofrecen cursos en línea. Los resultados de los análisis factoriales y de confiabilidad confirmaron que los instrumentos son medidas válidas y confiables de los reactivos de la fatiga mental y sobrecarga percibidas por los estudiantes en los cursos en línea. El análisis demostró que el modelo de las percepciones de los estudiantes sobre la sobrecarga en los cursos en línea consiste en cuatro constructos: relevancia de la información, sobrecarga de información, diseño del curso y facilitación; además de la estructura de un factor de la SMFS, el cual consiste en el constructo de la fatiga mental del estudiante.

Palabras clave: fatiga mental, sobrecarga cognitiva, aprendizaje en línea, diseño de cursos en línea, apoyo al estudiante, desarrollo del curso en línea.

Abstract

The purpose of this study is to develop and examine the psychometric properties of the Online Course Overload Indicator (OCOI) and the Student Mental Fatigue Survey (SMFS). The OCOI was designed to measure students’ perceptions of cognitive overload in online courses. The SMFS was used to assess students’ perceptions of mental fatigue while taking online courses. An exploratory factor analysis was conducted on a sample of 378 undergraduate students from various institutions offering online courses across the United States. Results of a factor and reliability analyses confirmed that the instruments are valid and reliable measures of students’ perceived mental fatigue and overload from online course elements. The analysis supported the model that students’ perceptions of overload in online courses consist of four constructs—information relevance, information overload, course design, and facilitation—in addition to the one-factor structure of the SMFS, which consists of the student mental fatigue construct.

Keywords: mental fatigue, cognitive overload, online learning, online course design, student support, online course development.

La fatiga mental no es un concepto nuevo, pues ha llamado la atención en estudios empíricos de distintas áreas: militar, aviación, manejo, atención médica y sus efectos en los trabajos por turnos (Ackerman, 2011). Se han conducido diversos estudios sobre los efectos de la fatiga mental en ambientes laborales y contextos clínicos (p. ej., Al Ma’mari et al., 2020; Sarkar & Parnin, 2017). Investigadores también han reportado fatiga mental en niños y adolescentes (Mizuno et al., 2011; Palmer, 2013). Generalmente, ha sido un problema en contextos clínicos y laborales; no obstante, son limitadas las investigaciones publicadas sobre fatiga mental en el diseño de cursos en línea y sus efectos en el funcionamiento cognitivo de los estudiantes.

Con el incremento de los cursos y programas en línea, los estudiantes pasan más y más tiempo haciendo trabajo académico y aprendiendo en línea, y sus funciones cognitivas podrían sobrecargarse al punto de experimentar fatiga mental. Diversos investigadores descubrieron que la fatiga mental puede tener un papel en la alteración del funcionamiento cognitivo (Boksem & Tops, 2008) y en el procesamiento de información, lo que reduce la atención y provoca falta de atención en la tarea (van der Linden, 2011). Los efectos de la fatiga mental pueden atribuirse a los factores del contexto en línea que están fuera del control de los estudiantes, como la sobrecarga de información, un diseño pobre del curso y la falta de facilitación por parte del instructor, por mencionar algunos. Dichos factores requieren un estudio más detallado para comprender mejor los efectos de los niveles de fatiga mental de los estudiantes en el contexto en línea.

Fatiga mental

La fatiga mental, a veces referida como fatiga cognitiva o cansancio mental, es un tipo de fatiga que a menudo se investiga desde las perspectivas de desempeño y motivación. Beiske y Svensson (2010) definen a la fatiga mental como la medición del “sentimiento subjetivo de estar mentalmente exhausto, que abarca elementos como: concentración, memoria y habla” (p. 78). DeLuca (2005) describe a la fatiga mental como “un decremento en el desempeño por exceso de esfuerzo mental” (p. 8). Hockey (2013) lo establece como “un estado mental desconcentrado (distracción, frustración, incomodidad)” (p. 1). Boksem et al. (2005) describen la fatiga mental como “los efectos que la gente puede experimentar después o durante periodos prolongados de actividad cognitiva” (p. 107). El elemento en común dentro de estas definiciones radica en los procesos cognitivos subyacentes que se afectan por el fenómeno de fatiga mental.

La fatiga mental y la carga cognitiva

El marco teórico que guía y sustenta el presente estudio es la teoría de la carga cognitiva (TCC) (Plass et al., 2010). La TCC se basa en la premisa de que la memoria de trabajo tiene una capacidad limitada y los aprendices solo pueden procesar cantidades de información pequeñas en un momento determinado (Miller, 1994). Por consiguiente, algunas prácticas o estrategias de diseño instruccional pueden imponer un esfuerzo mental adicional o innecesario e incluso podrían contribuir a la fatiga mental que puede restringir el aprendizaje y el desempeño (Clark & Mayer, 2016). La carga mental es la carga impuesta por la tarea o secuencia de información en la instrucción (Sweller et al., 1998). El esfuerzo mental es la cantidad de capacidad asignada a las demandas impuestas por la instrucción (Sweller et al., 1998). En conjunto, la carga y esfuerzo mentales constituyen la carga cognitiva (Ayres, 2006). La sobrecarga cognitiva ocurre cuando la carga mental excede la capacidad mental (Clark & Mayer, 2016). La sobrecarga cognitiva ciertamente no es fatiga mental, pero es un detonante que puede causar fatiga mental. Es decir, una vez que se sobrepasa la capacidad mental, el cerebro mentalmente se agota. Una vez que se sobrepasa la capacidad mental, resulta en la sobrecarga cognitiva, lo que puede provocar fatiga mental. Cuando los estudiantes están cansados, pueden perder el interés, frustrarse y estresarse; y su habilidad o capacidad de aprendizaje disminuye.

Contextos en línea versus contextos de clase tradicional

Ha habido muchos estudios sobre la fatiga mental en contextos laborales y clínicos; sin embargo, solo unos pocos han examinado la fatiga mental en contextos educativos (Csathó et al., 2012; Mizuno et al., 2011). Este fenómeno, en gran medida se ha pasado por alto en los contextos en línea y solo ha habido un número limitado de estudios sobre la sobrecarga de información y la fatiga en dicha modalidad (Lee et al., 2016; Tugtekin, 2022). No obstante, diversos investigadores han encontrado que hay retos en los contextos en línea que podrían no existir en las clases tradicionales, como percepciones de aislamiento por parte de los estudiantes, la frustración del aprendiz, ansiedad y confusión, falta de comunidad, falta de involucramiento del instructor y de respuesta inmediata, sobrecarga de información y retos con la tecnología; incluyendo una conexión confiable a internet (Holmes & Reid, 2017). Estos retos pueden afectar al aprendiz y la experiencia del aprendizaje en línea; además, pueden ser indicadores de que el contexto en línea provoca fatiga mental excesiva.

Causas de la fatiga mental

La sobrecarga cognitiva provocada por un mayor esfuerzo mental, dificultad de la tarea y el diseño de la instrucción (Plass et al., 2010) es un factor que incrementa los niveles de fatiga mental (Balkin & Wesensten, 2011). Así, se consideran como potenciales causas de fatiga mental los factores que impactan directamente a los aprendices, incluyendo diseño del curso, facilitación, sobrecarga de información y relevancia de la información. Las siguientes secciones mencionan cada una de estas fuentes en relación con el contexto del aprendizaje en línea.

Diseño del curso

En el presente estudio, el diseño del curso se operacionaliza como la organización, formato y estructura del curso en línea, incluyendo los componentes que constituyen su estructura (p. ej.: elementos multimedia y de diseño visual, organización, etc.). Clark y Mayer (2016) proponen un conjunto de principios multimedia que pueden usarse para el diseño de cursos en línea con objeto de evitar sobrecargar a los estudiantes con contenido extrínseco y así diseñar cursos de modos efectivos para promover el aprendizaje del estudiante (Clark & Mayer, 2016). Asimismo, la organización de la plataforma en línea y el diseño efectivo de materiales de aprendizaje para los cursos en línea pueden ayudar a involucrar a los estudiantes en un aprendizaje activo al reducir la carga cognitiva. La razón psicológica para llevar a cabo un diseño efectivo del curso radica en ayudar a los aprendices a usar su capacidad cognitiva para enfocarse en los objetivos instruccionales relevantes al reducir el procesamiento de información sin importancia, y así, disminuir la carga cognitiva y la fatiga mental.

Facilitación

La facilitación se operacionaliza en el presente estudio como el nivel de la presencia del instructor, inmediatez del instructor y la retroalimentación proporcionada en un curso en línea. La facilitación en un contexto en línea es un elemento fundamental para el aprendizaje, satisfacción y carga cognitiva del estudiante (Wanstreet, 2006). Algunos investigadores han argumentado que la facilitación del instructor es importante para: “apoyar y mejorar la presencia social y cognitiva con el propósito de alcanzar los resultados académicos” (Garrison et al., 1999, p. 90). Hay investigadores que también destacan que diversas formas de conducta del instructor, como: interactuar frecuentemente con los aprendices, actuar de manera informal y casual, devolver las llamadas, correos o mensajes; y ser accesible a los estudiantes, por mencionar algunas (véase O’Sullivan et al., 2004, para más detalles), pueden incorporarse por medio del diseño del curso y en la interacciones por escrito (Baker, 2010).

Sobrecarga de información

El significado de sobrecarga de información puede variar dependiendo del contexto de la investigación. El presente estudio retoma la definición propuesta por Lee et al. (2016): la sobrecarga de información ocurre cuando los individuos “se exponen a más información que la que pueden alojar en su capacidad para procesar información” (p. 53). Dos de los principales determinantes de la sobrecarga de información son la capacidad de procesamiento humana y la complejidad (Sweller, 2008). Plass et al. (2010) señalan que la causa de la carga cognitiva proviene del diseño de los materiales, de la dificultad del material por aprender y del esfuerzo mental que se requiere para procesar la nueva información. Además, el tipo de carga cognitiva (es decir, intrínseco o extrínseco) puede contribuir a incrementar los niveles de fatiga mental, por lo que tareas más difíciles consumen más esfuerzo mental (Balkin y Wesensten, 2011). Análogamente, la sobrecarga de información en el contexto del aprendizaje en línea puede provenir de diversas fuentes, como el contenido complejo de un curso, un número excesivo de lecturas, gran cantidad de temas en una sola lección, videos largos y demasiados recursos, por mencionar algunos (Guo et al., 2014).

Relevancia de la información

La relevancia de la información es un aspecto importante en cualquier curso. Roberson (2013) define la relevancia como: “la percepción de que algo es interesante y que vale la pena saberlo” (p. 18). En el presente estudio se operacionaliza la relevancia de la información como la medida en que el contenido del curso es útil y relevante para el aprendizaje del estudiante y para su éxito dentro y fuera del curso en línea (Lee et al., 2016). La relevancia de la información puede producir un incremento en la motivación (Keller, 1983) y un decremento en la carga mental (Roelle et al., 2015). La irrelevancia de la información para las necesidades presentes o futuras puede afectar los motivos, metas y valores personales y puede conducir a mayor fatiga debido a la falta de motivación (Edwards & Cooper, 2013; Herlambang et al., 2019). Con base en los resultados de investigaciones, Roelle et al. (2015) concluyen que destacar la relevancia específica en las instrucciones puede disminuir la cantidad de carga cognitiva extrínseca que tienen que procesar los aprendices. Encontraron que quienes recibieron instrucción sobre la relevancia específica tenían más capacidad de memoria de trabajo para realizar los procesos cognitivos.

Propósito del estudio

Pese a que la importancia de entender la fatiga en el aprendizaje se ha reconocido en investigaciones anteriores (Palmer, 2013), hasta la fecha no se ha intentado crear ni validar instrumentos para medir el concepto subyacente de la fatiga mental del estudiante en contextos educativos (Hafezi et al., 2010). Algunos estudios previos han propuesto reactivos autogenerados. Por ejemplo, Csathó et al. (2012) usaron un informe no estándar, de un solo reactivo con una aseveración que se enfoca en los niveles de cansancio del aprendiz para medir los niveles de fatiga subjetiva antes y después de tareas que ocasionan fatiga mental en estudiantes de niveles de pre y posgrado. Otros han intentado usar instrumentos diseñados con propósitos médicos. Por ejemplo, Mizuno et al. (2011) examinaron los indicadores cognitivos de fatiga en estudiantes de primaria y secundaria al usar la escala de fatiga de Chalder (Chalder et al., 1993), diseñada para medir la gravedad de fatiga crónica debida a enfermedad. Otro instrumento para evaluar la fatiga crónica, el cuestionario Checklist Individual Strength (CIS, por sus siglas en inglés) (Vercoulenet al., 1994), también se ha usado con frecuencia en estudios (Bakker et al., 2009). Desafortunadamente, estos instrumentos existentes en general han sido diseñados para hacer diagnósticos médicos, no miden específicamente qué tan fatigados se sienten los aprendices mientras hacen trabajos académicos y no se aplica en poblaciones diversas de estudiantes matriculados en cursos en línea.

Asimismo, al momento de escribir el presente artículo, no existe una forma sistemática de ayudar a los instructores a identificar las áreas específicas en el contexto en línea que podrían causar sobrecarga. Las consecuencias podrían incluir tener cursos en línea diseñados deficientemente que podrían provocar una sobrecarga cognitiva en el aprendiz, falta de interés y deserción. El reto que enfrentan los instructores en línea es reconocer si la instrucción en línea o el diseño del entorno en línea contribuyen a la fatiga mental. Como resultado, se necesitan instrumentos en el área de educación para reccabar información sobre las causas de fatiga mental en los cursos en línea. Entender estos constructos permite tomar mejores decisiones que pueden llevar a diseños instruccionales mejorados que minimizan la sobrecarga cognitiva y la fatiga mental.

Por consiguiente, el propósito de este estudio fue desarrollar dos instrumentos: el Indicador de sobrecarga en cursos en línea (OCOI) y la Encuesta de fatiga mental del estudiante (SMFS). La SMFS examina y confirma el nivel de fatiga mental que experimentan los estudiantes durante los trabajos académicos y el OCOI ayuda a identificar de dónde provienen la fatiga y cansancio mentales dentro del contexto en línea (es decir, los reactivos de diseño del curso en línea). La pregunta de investigación del presente estudio es: ¿Cuáles son las propiedades psicométricas (es decir, factores que deben conservarse, varianza de cada factor, confiabilidad de las subescalas y la interpretación de factores) del OCOI y la SMFS?

Metodología

Participantes

El presente estudio usó una muestra no probabilística obtenida de un panel de Qualtrics. La población objetivo fue estudiantes de pregrado de al menos 18 años de edad y que estuvieran inscritos en curso completamente en línea, definido por el Online Learning Consortium como un curso en el que todas las actividades se realizan en línea sin ningún componente presencial (Mayadas et al., 2015). Los instrumentos se administraron a los estudiantes después de las vacaciones del Día de Acción de Gracias para asegurarse de que los aprendices tuvieran el tiempo suficiente para adaptarse al curso y contexto en línea. Se solicitó a los participantes llenar la encuesta respecto a cualquier curso en línea que estuvieran cursando ese semestre. La muestra de panel se adquirió de Qualtrics Panels, LLC. La compañía recolectó los datos de los participantes inscritos en varias instituciones/programas de educación a distancia de Estados Unidos. La compañía estuvo a cargo de enviar la encuesta a los participantes a través de sus socios, al invitarlos a completar la encuesta en línea a cambio de incentivos, los cuales proveyó la compañía. La recomendación ampliamente citada de Nunnally (1978) es que la tasa sujeto-reactivo debe ser al menos de 10:1 para el análisis factorial exploratorio. Por consiguiente, los instrumentos se probaron con una amplia muestra para establecer su validez y confiabilidad (DeVellis, 2003).

Para el presente estudio se utilizaron datos de 378 estudiantes de pregrado inscritos en cursos en línea. La mayoría de los aprendices eran mujeres (82%; 18% hombres), lo cual puede deberse a la tendencia de mayor inscripción de mujeres en la educación a distancia (Guramatunhu, 2015). La edad de los estudiantes oscilaba entre 18 y 50 años (M = 27.15, Mdn = 25.00, DE = 7.57). La composición étnica de la muestra fue diversa. Los estudiantes se auto identificaron con las siguientes etnias: blanca (65.87%), negra/afroamericana (15.87&), hispana/latina (11.11%), asiática (3.17%), india americana/nativa de Alaska (1.32%) y otra (0.79%). La mayoría de los estudiantes indicaron que este no era el primer semestre que cursaban en línea (69.3%). Asimismo, los datos revelaron que una gran cantidad de aprendices (62.9%) cursaba de tres a seis horas crédito en línea. En cuanto a habilidades técnicas, la mayoría de los estudiantes indicó que eran usuarios informáticos muy competentes (70.9%).

Diseño y desarrollo del instrumento

Esta sección abarca el diseño y desarrollo del OCOI y la SMFS. El proceso de diseño y desarrollo del presente estudio en general siguió el proceso de desarrollo de escala de ocho pasos de DeVelli (2003). Con base en sus lineamientos, el proceso de ocho pasos se organizó en tres fases diferenciadas para el presente estudio. Estas incluyen fase 1: identificación de constructos y desarrollo de reactivos de subescala (pasos 1-3); fase 2: revisión y validación de expertos (pasos 4-6); y fase 3: análisis factorial y optimización de la escala (pasos 7-8).

Fase 1: Identificación de constructos y desarrollo de reactivos de subescala

En la fase 1, la identificación inicial de los constructos se basó en los temas que emergieron de una extensa revisión de la literatura y de descubrimientos adicionales en un estudio piloto llevado a cabo en una universidad pública en la región suroeste de los Estados Unidos para recolectar información sobre los niveles subjetivos de fatiga experimentada por los estudiantes en línea (Alleyne Bayne, 2016). El estudio piloto incluyó a 63 estudiantes de posgrado y de pregrado de diferentes áreas en cursos completamente en línea. Los resultados revelaron que 36.5% de los aprendices tenían niveles severos de fatiga mental, 31.7% presentaba niveles elevados y 31.7% mostraba niveles normales (Alleyne Bayne, 2016). La evidencia anecdótica de los estudiantes sobre el esfuerzo empleado se derivó de testimonios sobre sus niveles de frustración, similares a los comentarios de estudiantes en encuestas previas (Barnard & Paton, 2007; Lambert et al., 2009). Varios temas surgieron del análisis, que incluyen: relevancia de la información, sobrecarga de información, diseño del curso, actividades y materiales instruccionales y materiales así como la fatiga mental del estudiante (Alleyne Bayne, 2016). Un listado de los constructos y sus definiciones se muestra en la Tabla 1.

ConstructoDefinición
Relevancia de la informaciónLa medida en que el contenido del curso es útil y relevante para el aprendizaje del estudiante y para su éxito dentro y fuera del curso en línea (Lee et al., 2016)
Sobrecarga de informaciónOcurre cuando los individuos “se exponen a más información que la que pueden alojar en su capacidad para procesar información” (Lee et al., p. 53)
Diseño del cursoLa organización, formato y estructura del curso en línea, incluyendo los componentes que integran su estructura (p. ej.: elementos multimedia y de diseño visual, organización, etc.)
Actividades y materiales instruccionalesLas actividades y materiales que comunican a los estudiantes de manera efectiva el contenido o la intención del instructor (p. ej. instrucciones/lineamientos, tareas, materiales de lectura, reactivos multimedia) para promover el aprendizaje
FacilitaciónEl nivel de la presencia del instructor, inmediatez del instructor y la retroalimentación aportada en un curso en línea.
Fatiga mentalUn sentimiento autorreportado de cansancio después de una actividad mental de larga duración; abarca sentimientos de ansiedad, frustración y estrés.

Tabla 1. Definición de los constructos

El siguiente paso fue explorar la bibliografía existente sobre instrumentos pertinentes validados para los constructos que se investigaron, incluyendo la fatiga mental (Mota & Pimenta, 2006; Vercoulen et al., 1994), relevancia de la información (Lee et al., 2016), sobrecarga de información (Chen et al., 2011; Lee et al., 2016), percepciones de los estudiantes sobre la conectividad (Bolliger & Inan, 2012), las expectativas del aprendizaje en línea (Harris et al., 2011), actividades y materiales instruccionales (Roach & Lemasters, 2006), facilitación (Bolliger & Inan, 2012; Harris et al., 2011), y diseño del curso (Harris et al., 2011). La creación de una conjunto o pool inicial de reactivos se guió por las definiciones de constructos mostradas en la Tabla 1, palabras clave que representan los constructos y un conjunto de reactivos ya existente de otros instrumentos validados.

Fase 2: Revisión y validación de expertos

En la fase 2, para representar cada constructo de interés, se redactaron los reactivos utilizando los lineamientos de Worthington y Whittaker (2006) para la creación del pool de reactivos, es decir, son: “claros, concisos, legibles, diferenciados y reflejan el propósito de la escala” (p. 813). Se tomaron decisiones sobre el número de reactivos para cada escala y el tipo de formato de respuesta. Hinkin et al. (1997) recomienda de cuatro a seis reactivos por cada constructo. Se utilizó el formato de respuesta tipo Likert debido a que se reporta que es el más utilizado para desarrollar instrumentos para atributos que miden constructos no observables, como actitudes o creencias (DeVellis, 2003). Se desarrolló una lista preliminar de 38 reactivos (30 para el OCOI y 8 para la SMFS) en una escala tipo Likert que abarca desde 1 (en total desacuerdo) hasta 5 (totalmente de acuerdo).

El inventario de reactivos se envió a un panel de expertos en educación a distancia y tecnología instruccional para una evaluación de validez aparente y de contenido. El panel de expertos estuvo integrado por tres académicos con grado terminal y varios años de experiencia en la enseñanza en línea, diseño de entornos en línea, diseño de instrumentos e investigación publicada, así como por un diseñador instruccional con más de 10 años de experiencia diseñando y desarrollando cursos híbridos y en línea. Se contactaron a los expertos del panel individualmente por correo electrónico y se les proveyó con las instrucciones, definiciones operacionales así como con una escala y formato de calificación para la revisión y registro de comentarios y sugerencias con objeto de mejorar el instrumento. Además, se les dio a los expertos definiciones de trabajo de los constructos (véase Tabla 1) para calificar los reactivos de cada constructo con respecto a su relevancia para la definición (DeVellis, 2003). Se realizaron modificaciones a los instrumentos basadas en las recomendaciones de los expertos del panel. El OCOI incluyó 30 reactivos y cinco subescalas: relevancia de la información, sobrecarga de información, diseño del curso, actividades y materiales instruccionales, y facilitación. La SMFS abarcó ocho reactivos en una sola subescala.

Fase 3: Recolección de datos y análisis

En la fase 3, se administraron los reactivos en conjunto con las otras escalas a la muestra de 378 estudiantes de pregrado inscritos en cursos en línea para validar los instrumentos. El objetivo principal de esta fase fue establecer las propiedades psicométricas del instrumento. Se llevó a cabo un análisis preliminar después de que los reactivos fueron administrados a la muestra. Se revisaron los supuestos de normalidad/linealidad (Wilcox, 2013) y también se verificó que el tamaño de la muestra fuera adecuado (Bartlett, 1951). Se utilizó el análisis de componente principal como una técnica de reducción de datos para disminuir la cantidad de variables observadas a un número menor de componentes (Worthington & Whittaker, 2006). Se utilizó la rotación oblicua (Promax) debido al supuesto de que los factores que subyacen a los reactivos están correlacionados de acuerdo con el respaldo teórico previo (Field, 2009). El número de factores a conservar se determinó usando diversos métodos. Se hizo extracción y rotación de factores para obtener las cargas de cada factor y mejorar su interpretación (Mertler & Vannatta, 2016).

Resultados

OCOI: Resultados del análisis exploratorio

Se emplearon cuatro criterios para determinar el número apropiado de componentes a conservar: valor propio (o valor eigen), scree plot, varianza total explicada, el test Minimum Average Partial (MAP), y análisis paralelo. Tras examinar los valores propios, cinco factores estuvieron por encima del valor 1 y explicaron el 54.73% de la varianza total. Kaiser (1960) recomienda conservar todos los factores con valores propios superiores a 1. No obstante, hay un consenso en la literatura en que utilizar valores propios constituye una de las mediciones menos precisas para determinar el número de factores a conservar (Carpenter, 2018; Costello & Osborne, 2005). Investigaciones previas sugieren que el análisis paralelo (AP) es más preciso que otros métodos para determinar el número de factores a conservar (Matsunaga, 2010). El test MAP de Velicer también es un procedimiento validado utilizado para decidir el número de factores a conservar (O’connor, 2000). Se utilizó el Paquete estadístico para las ciencias sociales (SPSS, por sus siglas en inglés) con un subprograma para calcular el AP y el test MAP para el OCOI. Los resultados del AP indicaron una estructura de cuatro factores. Análogamente, tanto el test MAP original como el revisado apuntaron también a cuatro componentes. El scree plot fue ligeramente ambiguo, pero también respaldó esa opción. Por consiguiente, se conservaron cuatro factores con base en los resultados del AP, el test MAP y el scree plot (véase Figura 1).

Figura 1. Resultado del análisis paralelo de scree plot

Figura 1. Resultado del análisis paralelo de scree plot

La estructura de cuatro factores aportó una varianza total explicada de 59.99%. Cada uno de los reactivos conservados tuvo cargas diferenciadas en uno de los cuatro factores. Se identificaron las cargas cruzadas y cargas de factores múltiples como evidencia de reactivos complejos que reflejan la influencia de más de un factor (Worthington & Whittaker, 2006). El análisis del patrón de la matriz reveló reactivos de una escala con cargas cruzadas o cargas de factores múltiples. Por lo tanto, se eliminaron los reactivos de la subescala de las actividades instruccionales y materiales debido a una carga de factores baja o a una carga de múltiples subescalas. En la Tabla 2, se ordenan y agrupan los reactivos conservados con base en el tamaño de sus cargas.

Subescala y reactivosComponente
1234
Relevancia de la información
La información será útil para mi trabajo actual o futuro.794
La información me preparará con conocimiento y habilidades prácticas .767
La información se relaciona con situaciones de la vida real .766
La información contribuye a mi éxito en este curso .757
La información se relaciona con mi(s) interés(es) fuera del curso en línea .663
La información presentada es lo que necesito saber para tener éxito en el curso .601
Facilitación
El instructor se involucra activamente en el contexto en línea .869
Al escribir, el instructor se comunica de forma clara a lo largo del curso .848
La retroalimentación dada por el instructor es constructiva .828
El instructor responde mis preguntas .784
El instructor da retroalimentación oportuna .776
El instructor fomenta la participación de los estudiantes en las actividades/tareas .732
Diseño del curso
Los trabajos/tareas son fáciles de identificar .769
Es fácil navegar por el curso .759
El diseño (p. ej. organización, presentación, es decir, su look and feel) es consistente a lo largo del curso .756
Los materiales del curso son fáciles de encontrar .756
Los elementos de diseño (p. ej. colores, fuentes, botones, uso del espacio) son agradables a la vista .701
El curso se organizó de forma lógica .660
Sobrecarga de información
El número de lecturas es agobiante .763
Hay una cantidad excesiva de información a procesar en el curso .728
El contenido del curso es complejo .695
Hay demasiados recursos .674
Los videos son muy largos .621
El número de hilos / respuestas publicadas en los foros en línea es abrumante .585
Valores propios iniciales (todos los reactivos)8.902.582.071.74
% inicial de varianza explicada (todos los reactivos)29.678.596.915.81

Tabla 2. Resumen de los resultados del análisis factorial exploratorio para el OCOI (n = 378)

Nota. Los factores con cargas menores a .50 se removieron para los constructos conservados.

La SMFS: Resultados del análisis factorial exploratorio

Se analizó la SMFS con un análisis de componentes principales. Normalmente, los análisis factoriales requieren de dos pasos: (a) extracción de factores y (b) rotación de factores. Sin embargo, después de la extracción de factores, la revisión de la escala reveló una sola dimensión subyacente. Así, el componente de cargas de los reactivos individuales indicó un solo constructo. Por lo tanto, no se utilizó la rotación de factores. Se analizaron los valores propios y el scree plot para los factores a conservar. En la inspección de los valores propios, solamente un factor tuvo un valor arriba de 1 y explicó el 62.21% de la varianza total. El scree plot sugirió conservar un factor y estuvo en concordancia con los valores propios. Por consiguiente, se conservó un factor. Solamente se interpretaron los reactivos con un factor de carga mínimo de .50, con base en los lineamientos de Comrey y Lee (1992). Todas las cargas de los reactivos estuvieron por encima de .50 y no hubo reactivos de cargas cruzadas. En la Tabla 3 se ordenan y agrupan los reactivos por el tamaño de sus cargas.

ElementoComponente
1
Fatiga mental
Me siento estresado(a) cuando hago trabajo académico.863
Me siento abrumado(a) cuando hago trabajo académico.856
Me siento frustrado(a) cuando hago trabajo académico.817
Es difícil concentrarme cuando hago trabajo académico.813
Siento ansiedad cuando hago trabajo académico.788
Me siento confundido(a) cuando hago trabajo académico.752
Me siento cansado(a) cuando hago trabajo académico.748
Es difícil relajarme inmediatamente después de hacer trabajo académico.652
Valor propio inicial4.98
% inicial de la varianza explicada62.21

Tabla 3. Resumen de los resultados del análisis factorial exploratorio de la Encuesta de fatiga mental del estudiante (SMFS) (n = 378)

Nota. Todas las cargas de los factores fueron mayores a .50 para el constructo conservado.

Análisis de confiabilidad

Se condujeron los análisis de consistencia interna y confiabilidad para determinar la medida en que los reactivos se correlacionan entre sí y el nivel en que los reactivos medían de forma consistente el mismo constructo que otros reactivos dentro de esa escala (Slavin, 2007). Para determinar la confiabilidad de los reactivos, se calculó el coeficiente de alfa de Cronbach. El modelo final para el OCOI conservó 24 reactivos y cuatro subescalas. La confiabilidad general del OCOI fue 0.89. Las subescalas de relevancia de la información, facilitación, diseño del curso y sobrecarga de información tuvieron confiabilidad de alta a moderada, con un rango de 0.77 a 0.90 en el alfa de Cronbach. La SMFS final incluyó ocho reactivos. La confiabilidad general fue alta (0.91). Un análisis posterior indicó que esta alfa no aumentaría al eliminar algún elemento. La Tabla 4 incluye el número de reactivos, los coeficientes del alfa de Cronbach, las medias y las desviaciones estándar para el OCOI y la SMFS.

SubescalaNo. de reactivosα de CronbachMediaaDE
OCOI
Relevancia de la información60.813.970.63
Diseño del curso60.833.870.62
Facilitación60.903.760.79
Sobrecarga de información60.772.880.78
SMFS
Fatiga mentalb80.912.790.92

Tabla 4. Resumen de las estadísticas de confiabilidad del Indicador de sobrecarga en cursos en línea (OCOI) y la Encuesta de fatiga mental del estudiante (SMFS)

Notas. a Las medias se calcularon sumando los puntajes de todos los reactivos cargados en la escala y dividiendo el total entre el número de reactivos en la escala. b Los reactivos redactados negativamente se codificaron de forma inversa antes de correr los cálculos.

Discusión

La evidencia de estudios previos sugiere que es importante entender los impactos de los reactivos del diseño del curso en los niveles de fatiga mental de los estudiantes porque pueden impactar potencialmente el aprendizaje y el desempeño (Ackerman et al., 2010; Jensen et al., 2013), la flexibilidad cognitiva (Plukaard et al., 2015) y la exploración de tareas complejas (Sarkar & Parnin, 2017). Sin embargo, en las investigaciones hay una falta de información sobre los efectos de los elementos de diseño del curso y la fatiga mental en los contextos en línea. Esto puede deberse a que la fatiga mental es un constructo difícil de medir y porque, a la fecha de redactar este estudio, no se han identificado instrumentos que evalúen la fatiga mental de los estudiantes en la modalidad en línea. Por lo tanto, se desarrollaron el OCOI y la SMFS para subsanar esa brecha en la literatura desde una perspectiva del aprendizaje en línea.

La retroalimentación de los aprendices sobre el diseño del curso y los elementos de su implementación es un aspecto relevante para ayudar a los instructores a proporcionar instrucción de calidad a los estudiantes. Por consiguiente, una herramienta de evaluación válida y confiable (como el OCOI) podría ayudar a los instructores a identificar áreas específicas de mejora dentro del curso en línea (p. ej. contenido, diseño y entorno). Además, la SMFS podría ayudar a los instructores a entender las limitaciones mentales de sus estudiantes con relación a sentirse abrumados, confundidos, ansiosos o frustrados al hacer trabajo académico. Del mismo modo, los cursos en línea usualmente atraen aprendices de diferentes contextos (p. ej. profesionales que trabajan y necesitan horarios flexibles, estudiantes no tradicionales, etc). Al considerar las cargas de trabajo mentales y físicas de los estudiantes se puede mejorar la experiencia del aprendizaje y esto, a su vez, puede hacer una diferencia en los resultados del aprendizaje (p. ej. retención del contenido y el desempeño en el curso). Los cuatro constructos identificados en el OCOI reflejan la perspectiva del estudiante con relación a indicadores de sobrecarga en la modalidad en línea, mencionados frecuentemente como causa de sus frustraciones (Alleyne Bayne, 2016; Barnard & Paton, 2007; Lambert et al., 2009).

Investigación futura y limitaciones

Este estudio ha explorado el diseño de dos nuevos instrumentos relacionados con indicadores de sobrecarga en los cursos en línea y sus efectos en la fatiga mental de los estudiantes. Considerando lo novedoso del tema estudiado, es posible explorar diversas áreas con mayor detalle. Estudios futuros podrían validar el instrumento usando procedimientos estadísticos alternativos (p. ej. análisis factorial confirmatorio). Un seguimiento con análisis factorial confirmatorio en una nueva muestra puede ser útil, pues los investigadores recomiendan repetir la validación con una nueva base de datos para optimizar la longitud de la escala (Field, 2009; Worthington & Whittaker, 2006). Estos instrumentos también pueden utilizarse para investigar si los elementos de diseño del curso predicen fatiga mental en los cursos en línea. Además, otros estudios pueden indagar la relación entre el desempeño académico y fatiga mental percibida por el estudiante en el contexto en línea, así como si las mejoras en el diseño del curso la disminuyen.

En este estudio una limitación fue que los investigadores no se involucraron directamente en el diseño del curso en línea, lo que pudo haber aportado un punto de referencia para la calidad de los contextos de cursos en línea. En estudios futuros, los investigadores pueden considerar revisar y evaluar directamente diversos elementos de diseño de cursos en línea. La investigación debería ampliarse al contexto auténtico de un curso en línea con aportaciones del instructor y valoración experta de los componentes del curso junto con los datos a nivel de estudiante para correlacionar los constructos y su impacto en los resultados del aprendizaje. Asimismo, estudios futuros podrían incluir múltiples puntos de recolección de datos para explorar los efectos de los elementos de diseño del curso en la fatiga mental del estudiante en un contexto de aprendizaje en línea. Tales estudios longitudinales permitirían a los investigadores monitorear cambios a lo largo del tiempo en la fatiga mental de los estudiantes.

Conclusión

Se utilizan diversos instrumentos existentes para la investigación de la fatiga en medicina. No obstante, no están diseñados para un contexto en línea, en específico, el diseño de cursos en línea. Por consiguiente, un resultado importante de este estudio fue identificar las herramientas que los educadores pueden usar para evaluar si los elementos de diseño de enseñanza en línea contribuyen a la fatiga mental. Se crearon dos instrumentos que pueden ayudar a los instructores de esta modalidad a evaluar las percepciones de los aprendices con respecto a su sobrecarga cognitiva y fatiga mental cuando hacen trabajo académico. En específico, se diseñó el Indicador de sobrecarga de cursos en línea (OCOI) para medir las percepciones sobre la sobrecarga cognitiva de los estudiantes en los cursos en línea. Se diseñó la Encuesta de fatiga mental del estudiante (SMFS) para evaluar las percepciones de los aprendices al tomar cursos en línea. Los resultados de esta investigación pueden ayudar a los instructores que buscan optimizar su diseño del curso en línea con objeto de mejores experiencias de aprendizaje para los aprendices en línea. Para aquellos instructores que se inician en la enseñanza en línea y, por ende, no están preparados para enseñar en este contexto o para los instructores experimentados que nunca han enseñado en esta modalidad, puede utilizarse el OCOI para evaluar mejor cuándo los estudiantes de contextos/cursos en línea tienen sobrecarga y así poder realizar ajustes al curso cuando sea necesario. Por lo tanto, el conocimiento resultante de esta investigación puede permitir a los educadores usar estas herramientas para facilitar el aprendizaje en línea y así mejorar el contenido del curso en línea de modos significativos y relevantes para promover el aprendizaje y la satisfacción del estudiante.

Referencias

Ackerman, P. L. (2011) Cognitive fatigue: Multidisciplinary perspectives on current research and future applications. American Psychological Association. https://doi.org/10.1037/12343-000

Ackerman, P. L., Kanfer, R., Shapiro, S. W., Newton, S., & Beier, M. E. (2010). Cognitive fatigue during testing: An examination of trait, time-on-task, and strategy influences. Human Performance, 23(5), 381–402. https://doi.org/10.1080/08959285.2010.517720

Al Ma’mari, Q., Sharour, L. A., Al Omari, O. (2020). Fatigue, burnout, work environment, workload and perceived patient safety culture among critical care nurses. British Journal of Nursing, 29(1), 28–34. https://doi.org/10.12968/BJON.2020.29.1.28

Alleyne Bayne, G. (2016, March 25). An exploratory study of university students’ mental fatigue in online courses [Poster presentation]. Texas Tech Univeristy 15th Annual Graduate Student Research Poster Competition, Lubbock TX.

Ayres, P. (2006). Using subjective measures to detect variations of intrinsic cognitive load within problems. Learning and Instruction, 16(5), 389–400. https://doi.org/10.1016/j.learninstruc.2006.09.001

Baker, C. (2010). The impact of instructor immediacy and presence for online student affective learning, cognition, and motivation. Journal of Educators Online, 7(1), 1–30. https://doi.org/doi:10.9743/JEO.2010.1.2

Bakker, R. J., van de Putte, E. M., Kuis, W., & Sinnema, G. (2009). Risk factors for persistent fatigue with significant school absence in children and adolescents. Pediatrics, 124(1), e89–e95. https://doi.org/10.1542/peds.2008-1260

Balkin, T. J., & Wesensten, N. J. (2011). Differentiation of sleepiness and mental fatigue effects. En P. L. Ackerman (Ed.), Cognitive fatigue: Multidisciplinary perspectives on current research and future applications (pp. 47–66). American Psychological Association. https://doi.org/10.1037/12343-002

Barnard, L., & Paton, V. O. (2007, November). Distance learning survey of Texas Tech University’s fall 2006 distance and off-campus studentshttps://www.depts.ttu.edu/opa/docs/Barnard_Paton_2007_Distance_Learning_Survey_TTU_ F2006.pdf. https://www.depts.ttu.edu/opa/docs/Barnard_Paton_2007_Distance_Learning_Survey_TTU_ F2006.pdf

Bartlett, M. S. (1951). The effect of standardization on a χ2 approximation in factor analysis. Biometrika, 38(3/4), 337–344. https://doi.org/10.2307/2332580

Beiske, A. G., & Svensson, E. (2010). Fatigue in Parkinson’s disease: A short update. Acta Neurologica Scandinavica, 122(s190), 78–81. https://doi.org/10.1111/j.1600-0404.2010.01381.x

Boksem, M. A. S., Meijman, T. F., & Lorist, M. M. (2005). Effects of mental fatigue on attention: An ERP study. Cognitive Brain Research, 25(1), 107–116. https://doi.org/10.1016/j.cogbrainres.2005.04.011

Boksem, M. A. S., & Tops, M. (2008). Mental fatigue: Costs and benefits. Brain Research Reviews, 59(1), 125–139. https://doi.org/10.1016/j.brainresrev.2008.07.001

Bolliger, D. U., & Inan, F. A. (2012). Development and validation of the Online Student Connectedness Survey (OSCI). The International Review of Research in Open and Distributed Learning, 13(3), 41-65. https://doi.org/10.19173/irrodl.v13i3.1171

Carpenter, S. (2018). Ten steps in scale development and reporting: A guide for researchers. Communication Methods and Measures, 12(1), 25–44. https://doi.org/10.1080/19312458.2017.1396583

Chalder, T., Berelowitz, G., Pawlikowska, T., Watts, L., Wessely, S., Wright, D., & Wallace, E. P. (1993). Development of a fatigue scale. Journal of Psychosomatic Research, 37(2), 147–153. https://doi.org/10.1016/0022-3999(93)90081-P

Chen, C. Y., Pedersen, S., & Murphy, K. L. (2011). Learners’ perceived information overload in online learning via computer-mediated communication. Research in Learning Technology, 19(2), 101–116. https://doi.org/10.1080/21567069.2011.586678

Clark, R., & Mayer, R. E. (2016). E-learning and the science of instruction: Proven guidelines for consumers and designers of multimedia learning (4th ed.). John Wiley & Sons. https://doi.org/10.1002/9781119239086

Clark, R., Nguyen, F., & Sweller, J. (2006). Efficiency in learning: Evidence-based guidelines to manage cognitive load John Wiley & Sons.

Comrey, A. L., & Lee, H. (1992). A first course in factor analysis (2nd ed.). Lawrence Erlbaum Associates. https://doi.org/10.4324/9781315827506

Costello, A. B., & Osborne, J. W. (2005). Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis. Practical Assessment Research & Evaluation, 10(7), 1–9. https://doi.org/10.7275/jyj1-4868

Csathó, Á., van der Linden, D., Hernádi, I., Buzás, P., & Kalmár, G. (2012). Effects of mental fatigue on the capacity limits of visual attention. Journal of Cognitive Psychology, 24(5), 511–524. https://doi.org/10.1080/20445911.2012.658039

DeLuca, J. (Ed.). (2005). Fatigue as a window to the brain. MIT press. https://doi.org/10.7551/mitpress/2967.001.0001

DeVellis, R. F. (2003). Scale development: Theory and applications (2nd ed.). Sage Publications.

Edwards, J. R., & Cooper, C. L. (2013). The person-environment fit approach to stress: Recurring problems and some suggested solutions. En C. L. Cooper (Ed.), From stress to wellbeing: Vol. 1. Theory and research on occupational stress and wellbeing (pp. 91–108). Palgrave Macmillan. https://doi.org/10.1057/9781137310651_5

Field, A. (2009). Discovering statistics using SPSS (3rd ed.). Sage Publications. https://uk.sagepub.com/en-gb/eur/discovering-statistics-using-ibm-spss-statistics/book257672

Garrison, D. R., Anderson, T., & Archer, W. (1999). Critical inquiry in a text-based environment: Computer conferencing in higher education. The Internet and Higher Education, 2(2–3), 87–105. https://doi.org/10.1016/S1096-7516(00)00016-6

Guo, P. J., Kim, J., & Rubin, R. (2014, March). How video production affects student engagement: An empirical study of MOOC videos. L@S ’14: Proceedings of the First ACM Conference on Learning @ Scale Conference (pp. 41–50). Association for Computing Machinery. https://doi.org/10.1145/2556325.2566239

Guramatunhu, P. (2015). The gender shift in enrollment patterns in higher education: A case study of a school administration program. Advancing Women in Leadership, 35, 120–133. https://doi.org/10.21423/awlj-v35.a137

Hafezi, S., Zare, H., Najafi Mehri, S., & Mahmoodi, H. (2010). The Multidimensional Fatigue Inventory validation and fatigue assessment in Iranian distance education students. Proceedings of the 4th International Conference on Distance Learning and Education (ICDLE) (pp. 195–198) Institute of Electrical and Electronics Engineers. https://doi.org/10.1109/ICDLE.2010.5606006

Harris, S. M., Larrier, Y. I., & Castano-Bishop, M. (2011). Development of the Student Expectations of Online Learning Survey (SEOLS): A pilot study. Online Journal of Distance Learning Administration, 14(4). https://eric.ed.gov/?id=EJ960578

Herlambang, M. B., Taatgen, N. A., & Cnossen, F. (2019). The role of motivation as a factor in mental fatigue. Human Factors, 61(7), 1171–1185. https://doi.org/10.1177/0018720819828569

Hinkin, T. R., Tracey, J. B., & Enz, C. A. (1997). Scale construction: Developing reliable and valid measurement instruments. Journal of Hospitality and Tourism Research, 21(1), 100–120. https://doi.org/10.1177/109634809702100108

Hockey, R. (2013). The psychology of fatigue: Work, effort and control. Cambridge University Press. https://doi.org/10.1017/CBO9781139015394

Holmes, C. M., & Reid, C. (2017). A comparison study of on-campus and online learning outcomes for a research methods course. The Journal of Counselor Preparation and Supervision, 9(2), 1–24. https://doi.org/10.7729/92.1182

Jensen, J. L., Berry, D. A., & Kummer, T. A. (2013). Investigating the effects of exam length on performance and cognitive fatigue. PLoS One, 8(8), e70270. https://doi.org/10.1371/journal.pone.0070270

Kaiser, H. F. (1960). The application of electronic computers to factor analysis. Educational and Psychological Measurement, 20(1), 141–151. https://doi.org/10.1177/001316446002000116

Keller, J. (1983). Motivational design of instruction. In C. M. Reigeluth (Ed.), Instructional design theories and models: An overview of their current status (pp. 383–434). Lawrence Erlbaum. https://doi.org/10.4324/9780203824283

Lambert, M., Sattler, S., & Paton, V. O. (2009, June). Distance learning survey of Texas Tech University’s fall 2008 distance and off-campus students. https://www.depts.ttu.edu/opa/docs/Lambert_Sattler_Paton_2009_Distance_Learning_Surve y_TTU_F2008.pdf

Lee, A., Son, S. M., & Kim, K. K. (2016). Information and communication technology overload and social networking service fatigue: A stress perspective. Computers in Human Behavior, 55, 51–61. https://doi.org/10.1016/j.chb.2015.08.011

Matsunaga, M. (2010). How to factor-analyze your data right: Do’s, don’ts, and how-to’s. International Journal of Psychological Research, 3(1), 97–110. https://doi.org/10.21500/20112084.854

Mayadas, F., Miller, G. E., & Sener, J. (2015, July). Updated e-learning definitions. Online Learning Consortium. http://onlinelearningconsortium.org/updated-e-learning-definitions/

Mertler, C. A., & Vannatta, R. A. (2016). Advanced and multivariate statistical methods: Practical application and interpretation (6th ed.). Routledge. https://doi.org/10.4324/9781315266978

Miller, G. (1994). The magical number seven, plus or minus two: Some limits on our capacity for processing information. Psychological Review, 101(2), 343–352. https://doi.org/10.1037/0033- 295x.101.2.343

Mizuno, K., Tanaka, M., Fukuda, S., Yamano, E., Shigihara, Y., Imai-Matsumura, K., & Watanabe, Y. (2011). Low visual information-processing speed and attention are predictors of fatigue in elementary and junior high school students. Behavioral and Brain Functions, 7(1), 1–7. https://doi.org/10.1186/1744-9081-7-20

Mota, D. D. C. F., & Pimenta, C. A. M. (2006). Self-report instruments for fatigue assessment: A systematic review. Research and Theory for Nursing Practice: An International Journal, 20(1), 49–78. https://doi.org/10.1891/rtnp.20.1.49

Nunnally, J. C. (1978). Psychometric theory (2nd ed.). McGraw-Hill.

O’connor, B. P. (2000). SPSS and SAS programs for determining the number of components using parallel analysis and Velicer’s MAP test. Behavior Research Methods, Instruments, & Computers, 32(3), 396–402. https://doi.org/10.3758/BF03200807

O’Sullivan, P. B., Hunt, S. K., & Lippert, L. R. (2004). Mediated immediacy: A language of affiliation in a technological age. Journal of Language and Social Psychology, 23(4), 464–490. https://doi.org/10.1177/0261927X04269588

Palmer, L. K. (2013). The relationship between stress, fatigue, and cognitive functioning. College Student Journal, 47(2), 312–325. https://www.ingentaconnect.com/content/prin/csj/2013/00000047/00000002/art00007

Plass, J. L., Moreno, R., & Brunken, R. (Eds.). (2010). Cognitive load theory. Cambridge University Press. https://doi.org/10.1017/CBO9780511844744

Plukaard, S., Huizinga, M., Krabbendam, L., & Jolles, J. (2015). Cognitive flexibility in healthy students is affected by fatigue: An experimental study. Learning and Individual Differences, 38, 18–25. https://doi.org/10.1016/j.lindif.2015.01.003

Roach, V., & Lemasters, L. (2006). Satisfaction with online learning: A comparative descriptive study. Journal of Interactive Online Learning, 5(3), 317–332. https://files.eric.ed.gov/fulltext/ED447310.pdf

Roberson, R. (2013, September). Helping students find relevance. Psychology Teacher Network, 23. (2), 18–20.

Roelle, J., Lehmkuhl, N., Beyer, M., & Berthold, K. (2015). The role of specificity, targeted learning activities, and prior knowledge for the effects of relevance instructions. Journal of Educational Psychology, 107(3), 705–723. https://doi.org/10.1037/edu0000010

Sarkar, S., & Parnin, C. (2017). Characterizing and predicting mental fatigue during programming tasks. Proceedings: 2017 IEEE/ACM 2nd International Workshop on Emotion Awareness in Software Engineering (pp. 32–37). Institute of Electrical and Electronics Engineers. https://doi.org/10.1109/SEmotion.2017.2

Slavin, R. E. (2007). Educational research in an age of accountability. Allyn & Bacon.

Sweller, J. (2008). Human cognitive architecture. En J. M. Spector, M. D. Merrill, J. Van Merrienboer, & M. P. Driscoll (Eds.), Handbook of research on educational communications and technology (3rd ed., pp. 369–381). Lawrence Erlbaum Associates. https://doi.org/10.4324/9780203880869

Sweller, J., Van Merrienboer, J. J., & Paas, F. G. (1998). Cognitive architecture and instructional design. Educational Psychology Review, 10(3), 251–296. https://doi.org/10.1023/A:1022193728205

Tugtekin, U. (2022). Development and validation of an instrument for online learning fatigue in higher education. En G. Durak & S. Çankaya (Eds.), Handbook of research on managing and designing online courses in synchronous and asychronous environments (pp. 566–586). IGI Global. https://doi.org/10.4018/978-1-7998-8701-0.ch028

van der Linden, D. (2011). The urge to stop: The cognitive and biological nature of acute mental fatigue. En P. L. Ackerman (Ed.), Cognitive fatigue: Multidisciplinary perspectives on current research and future applications. (pp. 149–164). American Psychological Association. https://doi.org/10.1037/12343-007

Vercoulen, J. H. M. M., Swanink, C. M., Fennis, J. F., Galama, J. M., van der Meer, J. W., & Bleijenberg, G. (1994). Dimensional assessment of chronic fatigue syndrome. Journal of Psychosomatic Research, 38(5), 383–392. https://doi.org/10.1016/0022-3999(94)90099-x

Wanstreet, C. E. (2006). Interaction in online learning environments: A review of the literature. Quarterly Review of Distance Education, 7(4), 399–411. https://www.learntechlib.org/p/106711/

Wilcox, R. R. (2013). Introduction to robust estimation and hypothesis testing (3rd ed.). Elsevier. https://doi.org/10.1016/C2010-0-67044-1

Worthington, R., & Whittaker, T. (2006). Scale development research: A content analysis and recommendations for best practices. The Counseling Psychologist, 34(6), 806–838. https://doi.org/10.1177/0011000006288127