¿Cómo afecta la motivación a los resultados en PISA?

El artículo “La Torre Inclinada de PISA. Descomposición de resultados de las pruebas de rendimiento en componentes cognitivos y no cognitivos” de los autores Lex Borghans y Trudie Schils, ambos investigadores de la Universidad de Maastrich, pone de manifiesto que los resultados de las pruebas de rendimiento dependen tanto de habilidades cognitivas, como de habilidades no cognitivas.

La descomposición que realizan es posible utilizando toda la información que incluye el test, y no solo la puntuación global. Muestran que el rendimiento cae durante la prueba, que esta caída es estable en el tiempo y que no depende solo del conocimiento de los individuos, sino  de las habilidades no cognitivas como los rasgos de personalidad y la motivación, pudiendo servir además de predictores sobre conductas o resultados futuros. Esta evidencia sugiere que la caída en los resultados mide más aspectos relacionados con la personalidad que con el conocimiento o las habilidades, por lo que concluyen que puede utilizarse como una medida objetiva de aspectos subjetivos de la personalidad distinta a las autoevaluaciones que los estudiantes pudieran hacer, sesgadas por la falta de autoconocimiento personal y vulnerables a la manipulación.

En PISA 2006, las preguntas estaban organizadas en 13 bloques diferentes de media hora de duración cada uno (siete de Ciencias, dos de Lectura y cuatro de Matemáticas). Con cuatro de estos bloques diferentes se construía un cuadernillo. En total se generaron 13 cuadernillos diferentes, y el orden de los bloques de contenidos era distinto en cada uno de estos. Este hecho se usa en el artículo para mostrar la caída de los resultados en los test. Los autores muestran como los estudiantes rinden mejor en las primeras preguntas que en las últimas. Al parecer, pierden la concentración o la voluntad de hacerlo bien mientras avanzan en la prueba. La siguiente figura muestra cómo para cada bloque de preguntas, salvo una pequeña excepción, la puntuación media es menor cuando el bloque se coloca más tarde dentro del cuadernillo.

Gráfico PISA

Una pregunta importante que responden en el artículo referido es que la caída es una característica estable en el tiempo, y no un hecho particular del estudio en PISA 2006.  Para ello replicaron el modelo con los datos de PISA 2003 y vieron que sus estimaciones de la caída en el rendimiento de la prueba por país están altamente correlacionados entre las distintas ediciones de PISA. Además, la correlación entre la caída y los resultados de la prueba es pequeña. Todo esto sugiere que la disminución de los resultados a lo largo de la prueba tiene que ser debido a algo más que al simple conocimiento de los estudiantes, esto es, la motivación, entre otros aspectos no cognitivos.

A continuación, analizan hasta qué punto estas diferencias en términos de motivación afectan a las puntuaciones y los rankings que se publican para comparar el rendimiento entre países. El artículo describe las diferencias en cada país participante, mostrando las desigualdades que hay dependiendo del país en que nos fijemos. Este efecto varía desde el 4% de Finlandia al 13% de Grecia. En el caso de España es de un 9%.

Los autores consiguen detraer el factor motivación de las puntuaciones reflejando mejor las habilidades de los estudiantes. Siguiendo este modelo, algunos países suben sustancialmente en la tabla cuando eliminamos la motivación, mientras que otros se ven afectados de forma contraria. Japón, Gran Bretaña, Italia y Grecia parecen rendir mejor si la medida se basa en la capacidad más que en la motivación, mientras que las puntuaciones de Bélgica, Austria o Alemania resultan ser relativamente altas debido a que su alumnado parece estar más motivado. Según los datos de este artículo, España estaría dentro del primer grupo de países.

En conclusión, los investigadores muestran aquí que es posible usar los resultados de los pruebas como PISA para medir diferentes aspectos de las habilidades o personalidad de los estudiantes. Además, muestran una clara disminución del rendimiento a lo largo de la prueba muy influida por la motivación. Dejan abierta la puerta a una mejora en su método de investigación y para ello proponen algunas alternativas. En términos generales concluyen que la motivación puede explicar el 19% de la variación de los resultados entre los países participantes.

Lee completo el artículo (inglés) en el siguiente enlace: http://sole-jole.org/13260.pdf

Borghans and Schils (2012). The Leaning Tower of Pisa: Decomposing Achievement Test Scores Into Cognitive and Noncognitive Components. Maastricht University.

 Jaime Vaquero Jiménez

Imagen de cabecera: Flick.com

Te puede interesar…