Preguntas para separar según la habilidad lectora

Una computadora presenta al azar los problemas del examen al examinado. Dado que cada estudiante se enfrenta a problemas diferentes no se puede simplemente calificar según el porcentaje de aciertos; en lugar de ello, Arai utiliza la teoría de respuesta al ítem (IRT, por sus siglas en inglés), utilizada en muchas valoraciones, como el famoso TOEFL, el examen de inglés como lengua extranjera. La IRT proporciona una estimación de la puntuación por habilidad que muestra la posición relativa sobre el total de los examinados en cada tipo de pregunta. Puede haber, por ejemplo, dos preguntas (A y B) con cuatro respuestas posibles cada una entre las que elegir. En ambos casos la opción correcta es la número 2. Si colocamos la puntuación por habilidad en el eje horizontal y la proporción de participantes que eligieron cada respuesta en el eje vertical, obtendremos los siguientes gráficos.

En la pregunta A, cuanto mayor es la puntuación por habilidad del examinado más probable es que elija la respuesta correcta; es una buena pregunta, por tanto, para medir su habilidad. Sin embargo, la pregunta B produce el efecto contrario: cuanto mayor es la puntuación menor la posibilidad de que se elija bien; y no existe una gran diferencia entre la proporción de respuestas correctas de la gente con puntuaciones altas y bajas, por lo que no es una buena pregunta para medir la habilidad.

En el RST se identifican y se eliminan las preguntas como la B en el análisis final. Además en las pruebas por ordenador se puede examinar la relación entre la velocidad de respuesta y el porcentaje de respuestas correctas para descartar los resultados de los examinados que probablemente han respondido al azar sin leer realmente la pregunta. Estos son solo algunos ejemplos de los métodos de análisis y evaluación que se utilizan con el RST.

El porcentaje de aciertos se calcula a partir del número de problemas que contestan los examinados. Si en el tiempo establecido solo contestan tres preguntas, se les evalúa solo sobre esas tres. Antes de hacer el examen también pueden ver ejemplos de problemas con la respuesta correcta, para que puedan comprender qué tipo de preguntas se dan en el examen.

Muchos estudiantes no comprenden

Ejemplo de un problema con dependencia sintáctica“Alex” es un nombre usado tanto para hombres como para mujeres; en el caso de las mujeres es una abreviatura de “Alexandra”, y en el de los hombres, de “Alexander”.Según ese contexto, elige la respuesta correcta para el siguiente enunciado, de entre las opciones posibles.La abreviatura de “Alexandra” es (              ).

1) Alex    2) Alexander            3) Hombre               4) Mujer

La respuesta correcta es 1); un 37,9 % de los estudiantes de secundaria examinados eligieron correctamente, así como un 64,6 % de los estudiantes de instituto.

Ejemplo de un problema con enunciados sinónimosEl bakufu (Gobierno) expulsó a los portugueses en 1639 y ordenó a los daimyōs (señores feudales) proteger las costas.¿Conlleva la frase de arriba el mismo significado que la de abajo? Contesta “igual” o “diferente”.

En 1639 los portugueses fueron expulsados, y el bakufu recibió órdenes de los daimyōs de proteger las costas.

La respuesta correcta es “diferente”. Un 57,7 % de los estudiantes de secundaria y un 72,3 % de los de instituto acertaron. Dado que solo había dos respuestas posibles los estudiantes de secundaria solo sacaron resultados ligeramente mejores que el 50 % que se conseguiría lanzando una moneda al aire.

El RST muestra el porcentaje de estudiantes que no pueden lograr resultados mejores que si contestaran al azar: solo la mitad de los estudiantes contestan correctamente en los problemas de inferencia, de ejemplos concretos para una definición y de decidir si dos frases significan lo mismo, pero también en problemas tan básicos como los de anáfora y dependencia sintáctica un 15 % de los estudiantes logró peores resultados que si hubieran elegido al azar. Además, se ha comprobado que la capacidad básica de lectura que se mide en el RST tiene una estrecha correlación con el valor de desviación del examen de entrada a los institutos.

“Existe una correlación de un 0,8 entre la habilidad de lectura básica estimada por la prueba y los resultados de las pruebas de acceso escolar, similar a la relación entre peso y altura. Los estudiantes que leen bien suelen ir a buenas escuelas. La capacidad lectora es un prerrequisito en cualquier campo académico”.