Анализ заданий теста

Компьютер предлагает тестируемым случайные задания. Каждый участник работает с разным комплектом задач, поэтому определить количество и процент правильных ответов простым способом невозможно. Оценка выполняется с помощью стохастической теории тестов IRT, применяемой в том числе в TOEFL. Система определяет уровень ответов на каждый тип задания относительно остальных участников и оценивает показатель способности. Допустим, что в тесте было 2 задания – А и Б, предусматривающие выбор из 4 вариантов ответов, причём правильным ответом в каждом случае являлся ответ №2. Для оценки способности участника используется график, горизонтальная ось которого – способности, а вертикальная – коэффициент выбора ответа.

 

Чем выше был уровень способности, тем выше была доля правильных ответов в задании А, поэтому его можно считать валидным. Однако если доля правильных ответов обратно пропорциональна уровню способностей, или явные различия между тестируемым с высоким и низким уровнем способностей отсутствуют (задание Б), задание невозможно признать валидным.

RST позволяет отфильтровывать и устранять подобные задания перед выполнением окончательного анализа. Система также отбрасывает результаты участников, которые могли дать правильный ответ случайно, не читая задания, определяя взаимосвязь между скоростью ответа и долей правильных ответов. Всё вышеперечисленное – лишь незначительная часть методик анализа и оценки заданий RST.

Доля правильных ответов рассчитывается только на основе выполненных каждым участником заданий. Если в течение отведённого на тестирование времени было сделано всего 3 задания, показатель определяется исключительно по ним. Тестированию предшествует этап подготовки, во время которого участникам предъявляют пример задания, дают время для его выполнения, знакомят с правильным ответом и убеждаются в наличии правильного понимания сути предстоящего тестирования.

Результаты теста

▽Пример задания на определение смысловых связей в предложении (подлежащее и дополнение и пр.)Имя «Алекс» может быть как мужским, так и женским. Это сокращённый вариант женского имени «Александра» и мужского имени «Александр».Выберите правильный вариант ответа для заполнения пропуска в следующем предложении с учётом смысла предыдущего:Сокращённый вариант от «Александра» – это ( )

1) Алекс    2) Александр    3) мужчина    4) женщина

Правильным ответом является вариант 1. Его выбрало 37,9% учащихся школы средней ступени и 64,6% учащихся школы старшей ступени.

▽Пример задания на оценку синонимичности двух предложений В 1639 году бакуфу изгнало из страны португальцев и приказало даймё заняться охраной прибрежной зоны.Одинаков ли смысл вышеприведённого предложения с указанным ниже? Выберите ответ «Одинаков» или «Отличается».


В 1639 году португальцы были изгнаны за пределы Японии и бакуфу получило от даймё приказ об охране прибрежной зоны.

Правильным ответом является вариант «Отличается». Его выбрало 57,4% учащихся школы средней ступени и 72,3% старшеклассников. С учётом того, что вероятность правильного ответа на задание с двумя вариантами ответов при бросании кубика составляет 50%, показатель учащихся средней школы практически не отличается от уровня случайного выбора.

RST позволяет определить долю тестируемых, ответы которых практически идентичны уровню случайного выбора. Оказалось, что процент правильных ответов при выполнении заданий на умение делать выводы, идентифицировать понятия и определять синонимичность смысла предложений у половины учащихся школы средней ступени лишь ненамного выше случайного. Аналогичный результат наблюдался у 15% старшеклассников при выполнении таких базовых заданий на понимание текста, как определение смысла указательных местоимений и определение смысловых связей в предложении. Кроме того, уровень базовой способности к пониманию текста в значительной мере коррелировал с показателем Z-оценки на вступительных экзаменах в старшую школу.

«Корреляция между стандартизированной оценкой и уровнем понимания текста RST достигла 0,8. Такой высокий уровень наблюдается, например, между показателями роста и веса. Иными словами, дети с высоким уровнем понимания текста поступают в хорошие школы. Способность к пониманию текста – неотъемлемое условие для развития базы знаний».