Niños que no pueden leer sus libros de texto

La IA supera a los humanos en los exámenes de acceso a la universidad

¿Qué imagen nos da un proyecto con un nombre como “¿Puede un robot entrar en la Universidad de Tokio?” Quizá el lector crea que se trata de colar robots reales en dicha institución, pero lo cierto es que lo que buscaba Arai Noriko, del Instituto Nacional de Ciencias de la Información y líder del proyecto, no era que el robot entrara en la universidad, sino comparar con exactitud las capacidades de los humanos y la inteligencia artificial, y conocer así las posibilidades y los límites de esta.

Los resultados de esa investigación, que ha durado cerca de seis años, demuestran que aunque la IA no pueda entrar aún en la Universidad de Tokio, sí es capaz de conseguir un valor de desviación de 57 puntos, lo cual la coloca entre el 20 % superior de los estudiantes de último año de instituto, y dentro de las posibilidades de entrada a varias universidades privadas de mucho prestigio. Y sin embargo la IA no es capaz de comprender el significado de las palabras de un idioma o resolver problemas. Tōrobo-kun, IA desarrollada específicamente para este proyecto, solo puede sacar información de diccionarios y Wikipedia para redactar un texto, y después mejorarlo un poco, pero a pesar de ello su producción es muy superior a la de un estudiante normal. ¿Cómo es posible que una IA que no puede comprender lo que lee puntúe mejor que un humano? Al reflexionar sobre esta cuestión Arai comenzó a preguntarse también si los estudiantes de secundaria comprendían los textos realmente.

La situación real de los niños

Para poder medir la capacidad lectora, el equipo de Arai desarrolló un examen denominado RST (reading skill test, examen de habilidad de lectura), al que se presentaron 25.000 personas de todo el país, entre abril de 2016 y julio de 2017 (en la actualidad siguen presentándose participantes, y su número ya supera los 40.000). Según Arai, no existe precedente para una participación así en una investigación que ni siquiera es obligatoria.

Existen seis tipos de problemas en el examen: los anafóricos, en los que el estudiante debe identificar el referente de pronombres como sore (eso) o kore (esto), o un sujeto u objeto elididos, aquellos en los que se debe identificar el sujeto o el objeto -dependencia sintáctica-, los problemas de inferencia basados en lógica y sentido común, los que exigen al alumno que concrete a qué objeto o concepto hace referencia una definición dada, los de juzgar si dos frases significan lo mismo, y los de relacionar una frase con un diagrama. Los problemas se basan en materiales utilizados en libros de texto de secundaria e instituto, además de diccionarios y periódicos. Es decir, que si el estudiante no puede comprender las preguntas tampoco puede entender esos libros y materiales que en teoría utiliza en su vida diaria.

“Desde que empecé a escribir un libro de introducción a las matemáticas he visitado varios institutos. He almorzado y hablado con los estudiantes para poder descubrir desde su punto de vista qué les resulta más difícil de entender. Durante dos años visité semanalmente un centro de comidas de San’ya, una zona de viviendas baratas de Tokio, y me di cuenta de dónde se trababan las personas. Es algo relacionado con el RST”.

Preguntas para separar según la habilidad lectora

Una computadora presenta al azar los problemas del examen al examinado. Dado que cada estudiante se enfrenta a problemas diferentes no se puede simplemente calificar según el porcentaje de aciertos; en lugar de ello, Arai utiliza la teoría de respuesta al ítem (IRT, por sus siglas en inglés), utilizada en muchas valoraciones, como el famoso TOEFL, el examen de inglés como lengua extranjera. La IRT proporciona una estimación de la puntuación por habilidad que muestra la posición relativa sobre el total de los examinados en cada tipo de pregunta. Puede haber, por ejemplo, dos preguntas (A y B) con cuatro respuestas posibles cada una entre las que elegir. En ambos casos la opción correcta es la número 2. Si colocamos la puntuación por habilidad en el eje horizontal y la proporción de participantes que eligieron cada respuesta en el eje vertical, obtendremos los siguientes gráficos.

En la pregunta A, cuanto mayor es la puntuación por habilidad del examinado más probable es que elija la respuesta correcta; es una buena pregunta, por tanto, para medir su habilidad. Sin embargo, la pregunta B produce el efecto contrario: cuanto mayor es la puntuación menor la posibilidad de que se elija bien; y no existe una gran diferencia entre la proporción de respuestas correctas de la gente con puntuaciones altas y bajas, por lo que no es una buena pregunta para medir la habilidad.

En el RST se identifican y se eliminan las preguntas como la B en el análisis final. Además en las pruebas por ordenador se puede examinar la relación entre la velocidad de respuesta y el porcentaje de respuestas correctas para descartar los resultados de los examinados que probablemente han respondido al azar sin leer realmente la pregunta. Estos son solo algunos ejemplos de los métodos de análisis y evaluación que se utilizan con el RST.

El porcentaje de aciertos se calcula a partir del número de problemas que contestan los examinados. Si en el tiempo establecido solo contestan tres preguntas, se les evalúa solo sobre esas tres. Antes de hacer el examen también pueden ver ejemplos de problemas con la respuesta correcta, para que puedan comprender qué tipo de preguntas se dan en el examen.

Muchos estudiantes no comprenden

La respuesta correcta es 1); un 37,9 % de los estudiantes de secundaria examinados eligieron correctamente, así como un 64,6 % de los estudiantes de instituto.

La respuesta correcta es “diferente”. Un 57,7 % de los estudiantes de secundaria y un 72,3 % de los de instituto acertaron. Dado que solo había dos respuestas posibles los estudiantes de secundaria solo sacaron resultados ligeramente mejores que el 50 % que se conseguiría lanzando una moneda al aire.

El RST muestra el porcentaje de estudiantes que no pueden lograr resultados mejores que si contestaran al azar: solo la mitad de los estudiantes contestan correctamente en los problemas de inferencia, de ejemplos concretos para una definición y de decidir si dos frases significan lo mismo, pero también en problemas tan básicos como los de anáfora y dependencia sintáctica un 15 % de los estudiantes logró peores resultados que si hubieran elegido al azar. Además, se ha comprobado que la capacidad básica de lectura que se mide en el RST tiene una estrecha correlación con el valor de desviación del examen de entrada a los institutos.

“Existe una correlación de un 0,8 entre la habilidad de lectura básica estimada por la prueba y los resultados de las pruebas de acceso escolar, similar a la relación entre peso y altura. Los estudiantes que leen bien suelen ir a buenas escuelas. La capacidad lectora es un prerrequisito en cualquier campo académico”.

No todo está perdido

Arai señala: “El RST debería ser gratuito para todos los estudiantes de primer curso de secundaria; que sean capaces de leer y comprender los libros de texto que tienen hasta que terminen esa fase educativa”. En el caso de que los comités de educación accedan a pagar la formación de los profesores con el RST ella proporcionará gratis el examen a los estudiantes de primer curso de secundaria, asegura.

“Al enfrentarme al hecho de que los estudiantes no pueden comprender sus libros de texto tenemos dos opciones. La primera consiste en pensar que los libros de texto están mal escritos y no es necesario entenderlos. La segunda es pensar que debemos hacer algo al respecto. ¿Cuál de ambas opciones amplía más las posibilidades futuras? Yo no puedo hacer que quienes comparten la primera opinión cambien todos de parecer. Por eso de momento quiero dedicarme a diagnosticar a los estudiantes de primer curso de secundaria, para que los profesores comprendan mejor la realidad de sus alumnos y puedan ayudarlos a mejorar su capacidad lectora”.

Según lo que se puede colegir de algunos datos del RST, la habilidad de los estudiantes va mejorando lentamente durante la secundaria, pero no avanza en el instituto. A esto responde Arai: “Eso de que no avanza no es cierto”. ¿A qué se debe que una matemática no confíe en los datos?

“En la universidad empecé estudiando Derecho, y en la clase de Derecho penal pude escuchar el testimonio de una mujer que había sido condenada pese a ser inocente. Hablaba con tanta lógica que me pregunté cómo era posible que la policía la hubiera detenido. Sin embargo, después pensé que quizá había cambiado a través de sus experiencias en el juzgado, donde la única forma de limpiar su nombre era mediante el uso de las palabras y la lógica. La gente puede cambiar; no deberíamos tirar la toalla con tanta facilidad”.

Un futuro en que no sea necesario el RST

En su libro de 2010 Konpyūta ga shigoto wo ubau (Los ordenadores nos quitarán el trabajo) Arai predijo que la inteligencia artificial se quedaría con la mitad de los trabajos de oficina para 2030. Para poder conseguir un trabajo en el futuro, los niños de hoy día deben ser capaces de comprender mejor los significados.

“Los estudiantes que pueden superar el RST dicen: ‘Las respuestas están escritas en las preguntas; es tan fácil que no sé de qué me están examinando’. Los estudiantes que no lo superan dicen que las preguntas eran diferentes a lo que esperaban de un examen, o que no disponían del tiempo suficiente. Los que logran una puntuación media aducen que había preguntas trampa, y que el hecho de pensarlas demasiado los llevó a dar una respuesta equivocada. Pero no se trata de trampas. Quienes dicen eso probablemente se hallan frustrados por sus errores. Y si lo están, ese es el primer paso hacia el cambio. Si los estudiantes de tercer curso de secundaria logran un porcentaje de aprobados del 80 % Japón llegará a 2030 sano y salvo. Lo que yo deseo es que dejemos de necesitar el RST. Que nuestros preciados niños, cada vez menos numerosos, sepan todos leer y puedan alcanzar sus sueños”.

Imágenes: Imamura Takuma
Texto: Kuwahara Rika (POWER NEWS)

Imagen del encabezado: La profesora Arai Noriko en el Instituto Nacional de Ciencias de la Información.