Las preguntas que componen los exámenes de química han sido objeto de evaluaciónen los últimos años. Si bien esta caracterización ha sido realizada en contextosuniversitarios o preuniversitarios vinculados a la educación formal, no existenapenas trabajos que traten de evaluar pruebas de acceso a la universidadalternativas como lo es en España la prueba para mayores de 25 años. Estetrabajo tiene como objetivo caracterizar las preguntas de la prueba de químicaque se realiza en la Universidad de Zaragoza en ese contexto en los últimos 10años. Para ello, se analizan tres aspectos contemplados en estudios anteriores:la alineación programa-prueba, el tipo de demanda y la diversidad de laspreguntas. Se observa cierta alineación en la prueba, siendo mayoritaria lademanda algorítmica y existiendo una alta diversidad de las preguntas. Porúltimo, se comparan los resultados obtenidos con investigaciones anteriores.

La vía actual de acceso a la universidad para la mayoría de los estudiantes españolessupone la realización de una prueba actualmente denominada Evaluación del Acceso ala Universidad o Evaluación del Bachillerato para el Acceso a la Universidad. Es unaprueba que, junto a las calificaciones obtenidas durante los estudios deBachillerato, delimita la elección para la realización de estudios de Grado. Desdehace décadas, esta prueba no es ajena a las investigaciones educativas (Escudero, 1997; Fernández-Mellizo y Constante-Amores, 2020). Sin embargo, menosconocidas son las vías alternativas de acceso a estudios universitarios como elacceso para mayores de 25 años, el acceso por acreditación de experienciaprofesional o el acceso para mayores de 45 años (Lorenzo-Moledo, Argos y Hernández-García, 2013).

El acceso a la universidad para mayores de 25 años (PAM25) es una vía de acceso paraaquellas personas que en su momento no accedieron a estudios universitarios por unavía general. Su finalidad es la promoción del aprendizaje permanente de toda lapoblación, flexibilizando el acceso a estudios de grado y mostrando un compromiso delas universidades con la sociedad (García-Rodríguez,Meseguer-Martínez, González-Losada, y Torrejón, 2014).

Las condiciones para poder optar a la realización de esta prueba es cumplir 25 añosen el año natural de celebración de la prueba y no tener una titulación que déacceso directo a estudios de Grado. Mientras que los procedimientos de acceso paramayores de 45 años o de acreditación de la experiencia profesional incluyen dentrode la prueba una entrevista personal, el acceso para mayores de 25 años, en términosgenerales, se asemeja más a la prueba de acceso ordinaria. Incluye dos fases: unageneral y otra específica. En la fase general se incluyen una serie de materiascomunes y en la específica unas materias optativas, atendiendo a la rama deconocimiento de los estudios de Grado que se quieren realizar (Real Decreto 412/2014).

La gestión educativa en España sigue un modelo mixto donde, aunque existe regulaciónestatal, su ejecución es dependiente de cada comunidad autónoma (Salaburu, 2007). Este hecho repercute en laexistencia de ligeras diferencias dentro de la prueba, como el número de materiasobjeto de examen en la fase específica o el número de materias ofertadas para cadarama de conocimiento. Sin embargo, la prueba de química está presente en todas lasuniversidades, siendo ofertada para aquellas personas que deseen acceder atitulaciones de Ciencias y de Ciencias de la Salud, y en algunos casos a Ingenieríay Arquitectura.

La finalidad de la realización de las pruebas correspondientes a materias de la faseespecífica se asocia a la evaluación de los conocimientos de los estudiantes paraque puedan seguir y superar los estudios universitarios de la rama elegida. Portanto, es esperable que los ejercicios que componen la prueba de química esténalineados con lo que posteriormente se trabaja en los estudios de Grado,considerando no solo un saber conceptual, sino también procedimental y axiológico,enfocado desde una perspectiva competencial (Ramírez, Viera y Wainmaier, 2010) y asociado a saberes generales de laquímica que les permitan una visión interdisciplinar de la misma (no solo pensandoen el propio Grado de Química, sino en otras titulaciones en las que la químicatambién está presente como base formativa).

La preocupación por analizar o evaluar las pruebas de acceso para este colectivodentro de la comunidad científica es escasa (Escudero, 1983; Paulauskaitè,2004). Por el contrario, la evaluación de la materia de química en otroscontextos ha sido objeto de estudio en numerosas investigaciones centradas,generalmente, en el análisis de la demanda cognitiva de los ejercicios (Franco-Mariscal, Oliva y Gil-Montero, 2015,Ramírez et al, 2010, Zoller et al., 1995; Stamovlasis, Tsaparlis, Kamilatos y Papaoikonomou,2005, Smith, Nakhleh y Bretz,2010).

En lo relativo a la evaluación de las preguntas planteadas en la PAM25 Escudero (1983) sacaba a la luz el sesgoacadémico de las mismas. Aportando ejemplos de cuestiones planteadas en diferentesáreas de conocimiento, entre las que se incluía la química, criticaba que muchos delos contenidos específicos que incluían no eran coherentes con la legislación y que,además, se centraban en la memorización de datos. Pero, ¿qué sucede en la actualidadcon la prueba de química en el contexto de la PAM25?, ¿qué tópicos químicosincluye?, ¿qué tipo de demanda cognitiva se plantea en sus preguntas?

Este trabajo forma parte de otro más amplio relacionado con el acceso a estudios deCiencias y Ciencias de la Salud de los mayores de 25 años. En él se analizan losejercicios que componen la materia de Química en la PAM25 en la Universidad deZaragoza dentro de la Comunidad Autónoma de Aragón (España). En concreto, tiene comoobjetivo evaluar: 1) los tópicos químicos que incluye la prueba y su coherencia oalineación con lo que corresponde al programa objeto de evaluación; 2) la demandacognitiva de los ejercicios propuestos para, posteriormente, compararla con laexistente en otras investigaciones centradas en las pruebas de acceso a launiversidad por vías ordinarias; 3) el índice de diversidad en las preguntas quecomponen la prueba.

Tal y como se ha comentado, son numerosos los trabajos centrados en evaluarejercicios de química. Franco-Mariscal etal. (2015) hacen una revisión de las categorizacionesempleadas por diferentes autores en cuanto a lo referido a la demanda cognitiva delas preguntas planteadas en los exámenes de química (Zoller et al., 1995; Stamovlasis et al., 2005; Sanabria-Ríos y Bretz, 2010; Smith et al., 2010). Partiendo de la taxonomía deBloom, plantean una categorización con ciertas similitudes que se pueden agrupar demenor a mayor demanda cognitiva como:

A pesar de la convergencia en las clasificaciones de las preguntas de química dadaspor estos autores, Franco-Mariscal etal. (2015) plantean como limitación la falta de conexión enesta categorización entre los contenidos y la demanda cognitiva implicada,proponiendo como posible solución una perspectiva competencial para suevaluación.

Desde el enfoque competencial en el contexto de la formación de química general entitulaciones universitarias Viera, Ramírez,Wainmaier y Salinas (2007) proponen una serie de dominios cognitivosasociados a cuatro dimensiones: diferenciar conceptos y leyes, integrar conceptos yleyes, transferir conceptos y leyes, y por último relacionar teorización ycomportamiento fático. En un trabajo posterior, Ramírez et al. (2010) categorizan las preguntasplanteadas por el profesorado de química básica en titulacionescientífico-tecnológicas, asociando estas dimensiones a diferentes categorías.Incluyen en un primer nivel preguntas de tipo memorístico y algorítmico.Corresponden al segundo nivel preguntas de comprensión, que incluirían las dosprimeras dimensiones, mientras que en el tercer nivel se incluyen cuestiones queimplican altos niveles de demanda cognitiva relacionados con la emisión dehipótesis, elección de variables, transferencia de conocimientos y establecimientode relaciones teórico-fácticas que corresponderían con la categoría propuesta porSmith et al. (2010) comoHOCS (alta demanda cognitiva). Esta última categoría no es considerada en trabajosanteriores debido a que apenas aparece en contextos preuniversitarios. Es más, losresultados de este mismo trabajo no detectan ninguna pregunta planteada por losprofesores que alcance este nivel (Ramírez et al,2010.)

Bien desde la competencia o desde la demanda cognitiva, las categorías planteadas porlos diferentes autores aluden a aspectos similares que pueden clasificarse endemandas memorísticas, algorítmicas o que implican una aplicación de conocimientos.Aunque existe una cierta similitud en las categorías propuestas, los resultadosobtenidos en las diferentes investigaciones presentan algunas diferencias. Porejemplo, en el caso de la prueba de acceso ordinaria en las universidades andaluzaspredominan cuestiones de tipo algorítmico (Franco-Mariscal et al., 2015), al contrario de lo quesucede en otros estudios relacionados con pruebas de evaluación externas encontextos preuniversitarios (Sanabria-Ríos y Bretz,2010 y Smith et al.,2010) o en cursos universitarios iniciales (Ramírez et al., 2010), donde predominan laspreguntas de tipo conceptual.

Otro aspecto considerado en este estudio son los tópicos químicos objeto deevaluación en las pruebas y su relación con los temas propuestos en los programas.En este sentido, se evidencia la falta de alineación entre los currículos y lasevaluaciones externas, aspecto que puede afectar a la enseñanza (Anderson, 2002; Kaira, 2010; Alda, 2015). Aunquela PAM25 se trata de una prueba externa no vinculada a la educación formal, existeun programa orientativo que se asocia a los contenidos evaluables en la prueba.Estos pueden sufrir, al igual que sucede en otros contextos, una falta de alineaciónque determine el modo en el que los estudiantes se preparan la prueba, del mismomodo que sucede si los ejercicios de la prueba presentan cierta repetitividad o bajadiversidad.

Para la realización del estudio se han seleccionado los exámenes propuestos desde laconvocatoria del año 2010 hasta el año 2019. La muestra seleccionada supone un totalde 10 exámenes compuestos por dos opciones (a elegir una de ellas) donde se proponen4 preguntas que puntúan hasta un máximo de 2,5 puntos y que, en algunas ocasiones,incluyen sub-apartados que son variables dependiendo de la convocatoria.

El análisis inicial consideró cada uno de los sub-apartados como preguntasindependientes, dando lugar a una muestra de 124 ejercicios que fueron analizadospor dos investigadores de forma independiente. A partir de la categorizaciónestablecida, atendiendo al tema del programa con el que se correspondía el ejercicioy a la demanda cognitiva del mismo, se calculó el valor de Kappa de Cohen obteniendoen ambos casos valores óptimos (K=0.878, p<0.01 y K=0.756, p<0.01,respetivamente). En las categorías en las que no hubo acuerdo inicialmente se valoróy asignó a una única categoría.

Para algunas de las preguntas se observaban sub-apartados que correspondían adiferentes temas o a diferentes demandas cognitivas. Para homogeneizar estasituación se optó por emplear como criterio la puntuación otorgada a cada apartado,pudiendo obtener resultados porcentuales sobre un total de 200 puntos (10 pruebascon dos opciones y cada una de las opciones 10 puntos). Aspecto que nos permitía asu vez establecer comparativas con estudios anteriores.

Dentro de los criterios de la materia química para la prueba se establecen unaserie de temas asociados a conocimientos generales de química que se asocian alprograma de Bachillerato (Orden del 29 de abrilde 2015). A partir de los contenidos establecidos en el programa dela asignatura (tabla 2) se hancategorizado las preguntas analizadas, asociándolas a los principales temas conlos que tienen relación.

En relación a la demanda cognitiva de las preguntas se ha tomado como referenciala categorización propuesta por Smith etal. (2010) y Franco-Mariscal et al. (2015) con alguna pequeñaadaptación atendiendo al contexto de la prueba. Asimismo, se han considerado lascapacidades consideradas Ramírez etal. (2010) (tabla3). Tras ello, se evaluó la relación entre demanda y tópico presenteen las preguntas de las pruebas.

Para el análisis de la diversidad de las preguntas se ha tomado como referenciala estrategia seguida por Vela (2000),basada en Shannon y Weaer (1946). Este índice, aplicado generalmente en elestudio de la Ecología, permite conocer la probabilidad de elegir de entre todoslos individuos presentes uno que sea diferente a los demás. Para ello se aplicala fórmula

siendo pi la frecuencia relativa de cada pregunta en relación con supuntuación respecto al total de puntos presentes en los exámenes analizados. Laproporción relativa entre los valores de HMAX (todas las preguntasposibles diferentes entre ellas) y HPAM25 (el obtenido) nos permiteestimar la probabilidad de encontrar una pregunta diferente.

El programa de la prueba incluye contenidos estructurados en ocho temas. Seobserva que el tema que mayor presencia tiene es el relativo a conceptos básicosde química (tabla 4). Incluye enproporciones similares cuestiones asociadas a fórmulas empíricas y moleculares ycálculos estequiométricos. Éstos últimos incluyen procedimientos relacionadoscon gases o disoluciones acuosas, observándose que mayoritariamente correspondencon cuestiones de tipo algorítmico (48,75 puntos, 90, 69%).

En contraste está el tema 8, asociado a la química del carbono, que está ausenteen los ejercicios de la prueba, si bien es cierto que algunas de las preguntaspodrían asociarse indirectamente a este tema. Por ejemplo, preguntas relativasal enlace químico donde el átomo de carbono está presente, o problemasrelacionados con cálculos estequiométricos o de reacciones de transferencia deprotones en los que deben formular compuestos orgánicos sencillos como elbenceno o el ácido metanoico.

A nivel global se observa que la mayoría de las cuestiones corresponden con unademanda de tipo algorítmico, donde los temas 1, 5, 6 y 7 muestran un altoporcentaje, casi de modo exclusivo, para este tipo de demanda (tabla 5).

Respecto a las preguntas categorizadas como conceptuales, suelen asociarse apreguntas de verdadero y falso que demandan una explicación que va más allá derecordar un principio o fenómeno. En los exámenes analizados se observa unamayor proporción de estas cuestiones en los temas relacionados con la estructuraatómica, propiedades de la tabla periódica (tema 2) y con enlace químico (tema3). La tabla 6 muestra ejemplos de estosdos casos mayoritarios.

Por último, las preguntas que aparecen en menor proporción, no muy alejadas delas conceptuales, se asocian a la categoría definición. Son aquellas relativasal conocimiento o reconocimiento de determinados principios químicos concaracterísticas principalmente memorísticas. En este caso, aparecen de nuevo conmás frecuencia en preguntas relacionadas con la estructura atómica (tema 2).Corresponden con cuestiones que demandan especificar si un conjunto de númeroscuánticos o determinadas configuraciones electrónicas son posibles. En el casode las cuestiones asociadas al tema 7 se relacionan con la identificación de losnúmeros de oxidación de determinados compuestos.

Las preguntas planteadas en los 10 últimos años en la PAM25 muestran una altadiversidad. De los 200 puntos totales que componen las 80 preguntas analizadas,se repiten 35,83 puntos que se asocian con 19 preguntas completas osub-apartados concretos. Esto supone un 82,1 % de diversidad. Se observa que laspreguntas de tipo conceptual y definición se repiten en siete sub-apartados,cuatro de tipo conceptual y tres de definición, lo que hace un total de 5,83puntos. Así, la mayoría de las cuestiones que se repiten se asocian a las detipo algorítmico. Existe un 93,7% de probabilidad de encontrar una preguntadiferente de entre las existentes (HPAM25 = 6.16; HMAX=6.57; HPAM25/HMAX = 0.937), lo que supone un valor alto dediversidad.

Han pasado más de 30 años desde el estudio realizado por Escudero (1983) en el que, desde una perspectiva global,analizaba algunas cuestiones que contenía la prueba de acceso a la universidad paramayores de 25 años. Así, este autor criticaba la falta de alineación legislativa delas preguntas, basadas generalmente en la memorización de datos. Desde entoncesparece que esta prueba de acceso ha sufrido modificaciones sustanciales en suscaracterísticas y así se observa en los resultados obtenidos relativos a la pruebade química.

Las preguntas presentes en la prueba de química en el acceso a la universidad paramayores de 25 años muestran cierta alineación con el programa propuesto. A pesar deque no hay preguntas directamente relacionadas con la química orgánica, el resto detemas tienen presencia con mayor o menor proporción. "La evaluación es el motorde aprendizaje, ya que de ella depende tanto qué y cómo se enseña, como el qué ycómo se aprende" (Sanmartí, 2007, p.19).Así, el hecho de la ausencia de cuestiones vinculadas a la química orgánica puededeterminar que los adultos que se presenten a la prueba no tengan en cuenta lapreparación de aspectos relacionados con la química orgánica, importante paracomprender determinados fenómenos tanto químicos como biológicos y, por tanto,presente en su futura formación universitaria.

Globalmente los resultados relacionados con la demanda cognitiva de las preguntascoinciden con el estudio realizado por Franco-Mariscal et al. (2015) en el contexto del accesoordinario a la universidad en Andalucía (España) más que con otros trabajos queevalúan las preguntas de química en otros países (Ramírez et al., 2010; Sanabria-Rios y Bretz, 2010; Smithet al., 2010). Las preguntas de tipo algorítmico sonlas mayoritarias (58,75%), presentándose cuestiones de definición en menorproporción (19,58 %), no muy alejadas de las conceptuales (21,67%). Sin embargo, encomparación con este estudio, se observa una reducción de diez puntos porcentualesen las cuestiones de mayor nivel cognitivo. En este sentido, parece clara lanecesidad de encaminar estas pruebas hacia cuestiones de tipo conceptual (no porello más complejas), alejando la aplicación de algoritmos ya aprendidos y que noimplican necesariamente una comprensión de determinados procesos (Ramírez et al., 2010; Franco-Mariscal et al.,2015).

Respecto a la relación entre el tema y el tipo de demanda, se observan temas quemayoritariamente incluyen cuestiones de tipo algorítmico (aspectos básicos,reacciones de transferencia de protones y electrones) y otros que se inclinan haciacuestiones bien de tipo conceptual o bien de definición (estructura atómica y enlacequímico). Aunque este tipo de relación se asocia a la propia naturaleza de latemática, esto no excluye la posibilidad de plantear cuestiones de mayor nivelcognitivo alejados de procedimientos previamente memorizados como sucede en laspreguntas de tipo algorítmico (Franco-Mariscalet al., 2015).

Las pruebas, además, pueden presentar preguntas que se repiten años después, es decircon poca diversidad. Este hecho puede hacer que preguntas que son a prioriconceptuales se transformen en preguntas de tipo memorístico, siendo uncondicionante en la evaluación de los conocimientos de los estudiantes. Losresultados muestran la existencia de diversidad en las preguntas planteadas en losdiez últimos años, observándose una mayor repetición de preguntas de tipoalgorítmico.

Este trabajo ha tratado de caracterizar la prueba de química en una universidadconcreta española. Sin embargo, se desconoce si las características de la misma enotras universidades o distritos universitarios españoles serán similares a lasdetectadas en este trabajo. Este hecho abre puertas a nuevas investigaciones sobrelas pruebas de química en el acceso a la universidad para mayores de 25 años queevalúen si el tipo de demanda que hay detrás de las mismas ayuda a que los adultosque acceden a titulaciones científicas o científico-sanitarias tengan lascompetencias necesarias para poder seguir los estudios de Grado con éxito.