Очерки Понимают ли японцы японский язык?
Понимают ли дети учебники, или что нужно делать, чтобы не остаться без работы в век ИИ
[05.04.2018] Читать на другом языке : ENGLISH | 日本語 |

В предыдущей статье я уже упоминала о неспособности искусственного интеллекта (ИИ) понимать слова. Однако в какой мере доступен смысл письменной речи людям? Ответ на данный вопрос может предоставить специальный тест RST. Изучив содержание теста, о котором говорилось на посвящённом способностям к чтению форуме в ноябре 2017 года, и ознакомившись с тревожащими результатами, я обратилась к руководителю проекта – Араи Норико, профессору Национального НИИ информатики.

Араи Норико

Араи НорикоПрофессор Национального института информатики (NII), председатель и директор Института образовательных исследований. Выпускница юридического факультета Университета Хитоцубаси, прошла обучение в докторантуре математических наук Иллинойского университета. В 2011 году запустила проект «Поступит ли робот в Токийский университет?». С 2016 года приступила к разработке теста RST для измерения уровня понимания текста.

Успехи робота-абитуриента

Какие ассоциации вызывает у вас название проекта «Поступит ли робот в Токийский университет?». Можно предположить, что проект нацелен на успешное прохождение роботом вступительных экзаменов в лучший государственный вуз страны. Однако глава проекта Араи Норико из Национального института информатики отнюдь не стремилась сделать робота одним из студентов. Её основная цель – выявление возможностей и ограничений искусственного интеллекта и его сравнение с человеческими возможностями.

В ходе шестилетнего исследования ИИ так и не смог поступить в Токийский университет, однако по результатам тестирования (Z-оценка составила 57 баллов) вошёл в топ-20% учащихся выпускных классов и обеспечил себе поступление в ряд лучших частных вузов страны. При выполнении заданий ИИ ориентируется отнюдь не на понимание смысла слов. Чтобы написать сочинение, робот по имени «Торобо-кун» использовал функцию поиска по учебникам и Википедии, компонуя и оптимизируя выбранные предложения. При этом его результат оказался намного выше, чем у большинства студентов. Почему искусственный интеллект сумел превзойти человека несмотря на невозможность понимания письменной речи? Подумав, Араи Норико задала встречный вопрос – а понимают ли прочитанное учащиеся?

Тестирование школьников

Для определения уровня понимания прочитанного Араи разработала специальный тест RST. С апреля 2016 по июль 2017 года его выполнило 25 тысяч человек, а к настоящему моменту – более 40 000. Араи считает, что подобный интерес к необязательному исследованию – весьма необычное явление.

В тесте используется 6 видов заданий: 1) определение смысла указательных местоимений «то/это», пропущенного подлежащего или дополнения; 2) выявление подлежащего и определения; 3) умение делать выводы на основе имеющегося предложения с помощью логики и здравого смысла; 4) идентификация понятий, соответствующих прочитанному определению; 5) оценка синонимичности двух предложений; и 6) поиск графического изображения, соответствующего смыслу предложения.

В задания включены предложения из учебников и словарей для учащихся школ средней и старшей ступени, а также газетных статей. Неспособность выполнить тест свидетельствует об отсутствии понимания смысла текстов в учебниках, словарях и газетах.

«Приступив к составлению вводного пособия по математике, я стала вести уроки в школе средней ступени и общаться с детьми во время обеда, чтобы понять, какие именно моменты вызывают у них трудности в понимании. На протяжении 2 лет каждую неделю я готовила еду в горном лагере с той же целью – определить возникающие перед людьми препятствия. Всё это пригодилось мне при разработке теста RST».

  • [05.04.2018]
Статьи по теме

Популярные статьи

Очерки Все статьи

Видео в фокусе

バナーエリア2
  • Колонки
  • Новости