"Мир постоянно изменяется и подаёт нам сигналы.
Наша задача - вовремя их улавливать, понимать и адекватно
реагировать на них, то есть изменяться.
Причём - и это важно - преобразования должны охватывать
как саму реальность, так и её восприятие".
Люк Де Брабандер.
Аннотация
Рассматриваются вопросы оценки качества правдоподобных, но неправильных ответов к заданиям в тестовой форме. Так в теории педагогических измерений называются дистракторы, от которых зависит качество отдельного задания и теста в целом. Хороший дистрактор выглядят подходящим ответом для тех, кто не знает правильный ответа.
Чем больше некачественных дистракторов в заданиях теста, тем хуже его качество.
Невнимание к вопросам разработки дистракторов привело к тому, что самым слабым местом в т.н. едином государственном экзамене (ЕГЭ) оказались именно неумело написанные дистракторы. Писать их должны были специально обученные разработчики, но руководители ЕГЭ пренебрегли необходимостью их обучения. В итоге, из-за высокого процента угадываемости правильных ответов, возникла инфляция баллов ЕГЭ. Кроме того, в заданиях появились алогизмы, ухудшилось понимание смысла заданий, что и предопределило низкое качество самого государственного экзамена (1).
Рассмотрены два метода оценки качества дистракторов – один используется в статистической (классической) теории педагогических измерений. Другой метод оценки качества дистракторов применяется в математической теории измерений (Item Response Theory, IRT).
Введение
Вот уже более ста лет в практике применяются задания с выбором одного правильного ответа. И не виден пока переход к заданиям с выбором нескольких правильных ответов или к заданиям других форм.
Между тем, задания с выбором только одного правильного ответа имеют зримые недостатки. В них довольно высока вероятность угадывания правильного ответа. Эти задания формируют т.н. конвергентное мышление, связанное с поиском одного решения учебных и иных проблем, хотя в реальности решений может быть несколько. Отсюда потребность формирования т.н. дивергентного мышления, способствующего поиску нескольких правильных решений. Например, лечение какой-то болезни сейчас редко происходит с применением только одно лекарства. На разных этапах лечения используются несколько лекарственных форм. Не случайно задания с выбором только одного ответа стали главным предметом критики со стороны тех педагогов, которые противостоят применению тестовых формы при обучении и аттестации учащихся и студентов.
Определение
Дистрактором (от англ. to distract - отвлекать) называется ответ неправильный, но правдоподобный, используемый в заданиях с выбором одного или нескольких правильных ответов. Таким образом, дистрактор используется в процессе тестирования для отвлечения внимания от правильного ответа тех испытуемых, которые либо совсем не знают правильный ответ, либо, имея весьма туманные представления о предмете тестирования, пытаются угадать его во время тестирования. Сделать неправильные ответы правдоподобными для незнающих испытуемых, с целью технологичного оценивания ответов - одна из задач разработчика теста.
Психологический смысл применения дистрактора заключается в создании интерферентной среды тестирования, которая развивает рефлексивное мышление. В такой среде один ответ кажется привлекательнее другого: при этом приходится искать аргументы в пользу правильности того или иного ответа. В итоге появляется привычка аргументировать выбор ответа. Известно, что аргументированные знания всегда ценнее и прочнее знаний неаргументированных.
Пример задания с выбором одного правильного ответа
Рассмотрим пример задания с выбором одного правильного ответа из пяти ответов. Задание начинается с инструкции: «Нажимайте на клавишу с номером правильного ответа»:
1.КАРЛ МАРКС РОДИЛСЯ В
1)Берлине
2) Карлмарксштадте
3)Трире
4)Мюнхене
5)Лондоне
Из инструкции испытуемым понятно, что в предлагаемом задании есть только один правильный ответ. Для тех, кто его знает - это город Трир. Остальные четыре ответа - неправильные, но, по убеждению разработчика, достаточно правдоподобные (привлекательные) для тех испытуемых, кто не знает места рождения рассматриваемой исторической персоны. Убеждения каждого разработчика могу основываться на разных основаниях. Для тех, кто не знает место рождения, Берлин и Лондон могут быть приемлемыми дистракторами, поскольку это столицы развитых в политическом отношении государств. Многие полагают, что известные люди родом нередко из столиц. Карлмарксштадт привлекает своим названием. По мнению некоторых испытуемых, этот город мог быть назван в честь родившегося в нём К. Маркса. Мюнхен - это город, в котором случалось многое, так что нетрудно допустить, что это и есть тот город, в котором мог бы родиться и К. Маркс. Надо подчеркнуть, что все предположения такого рода абсолютно субъективны, малооправданными или бывают совсем неоправданными. А потому в практике тестирования они могут подтверждаться или не подтверждаться.
Отсюда берёт начало понимание необходимости предварительной, до начала тестирования, проверки приемлемости каждого дистрактора в данной или похожей группе испытуемых. В этом и заключается исходная идея проведения анализа частоты выбора испытуемыми каждого неправильного ответа к заданиям проектируемого теста.
Если незнающие испытуемые дистрактор выбирают достаточно часто, то это означает, что он эффективен.
Алогизмы
Самый частый случай ошибочно сделанных дистракторов - это использование алогизмов. Посмотрим примеры таких логических ошибок, имевшихся в т.н. контрольно-измерительных материалах (КИМах) ЕГЭ:
1.ВОССТАНИЕ СПАРТАКА БЫЛО
а) в 73 г. до н.э.
б) в 73 г. н.э.
в) в 1973 г.
г) пока еще не было (2)
Здесь логическая ошибка заключается в том, что в одном и том же задании одновременно утверждается, что восстание было и «пока ещё не было».
Ещё пример:
1.ПРИЕХАВ В СТОЛИЦУ,
1)всех поражает шум и суета;
2) у вас не будет времени сходить в музей;
3)идите сразу на Красную площадь;
4)у меня было прекрасное настроение (3).
Здесь оказались неопределёнными и размытыми содержание и предмет задания.
Актуальность дистракторного анализа
Ежегодно по всему миру миллионы школьников и студентов подвергаются тестированию, добровольно или принудительно, по множеству различных тестов. В России качественного тестового процесса нет, и пока что он не предвидится. Вместо него используется ряд тестоподобных форм, которые применяются при проведении единого государственного экзамена и при аттестации студентов высших ученых заведений.
Необходимость проведения дистракторного анализа вытекает из логики организации качественного процесса педагогического тестирования. Не бывает теста без качественных тестовых заданий. Не бывает и хороших тестовых заданий, без качественных и эффективных дистракторов. Поэтому без проведения дистракторного анализа и публикации информации о качестве каждого использованного задания и ответа к ним утверждения о качестве тестов или измерений носят предположительный характер.
Важный вопрос
Невольно напрашивается вопрос: а в российском ЕГЭ проводят дистракторный анализ? Науке это не известно. В отчётах Федерального института педагогических измерений (ФИПИ) нет информации по данному вопросу. Стараниями лоббистов ЕГЭ в Государственной Думе эта полезная научно-педагогическая информация превратилась в надуманный государственный секрет. Так им удалось скрыть недостатки ЕГЭ от научной критики. И это больше, чем ошибка.
Если дистракторный анализ не проводится, и результаты выбраковки неудачных заданий не публикуются, то в практике ошибочные дистракторы становятся главной причиной негодности заданий. Именно отсюда начинаются истоки некачественности т.н. КИМов ЕГЭ. В основном по причине негодности дистракторов они так и не стали методом педагогических измерений (1). Научную критику творцы единого государственного экзамена во внимание не принимали. Где такое возможно?
Дистракторный анализ, в нормальных условиях проведения тестирования на научной основе педагогических измерений, – обязательный и неизменный спутник разработчика заданий в тестовой форме. В ЕГЭ это оказалось не так.
Пример задания с выбором нескольких правильных ответов
Сейчас почти везде начинают применяться задания с выбором нескольких правильных ответов (4). Они тоже начинаются с инструкции, но с другой: «Вашему вниманию предлагаются задания, в которых могут быть один, два, три и большее число правильных ответов. Нажимайте на клавиши с номерами всех правильных ответов».
Например:
4. БУКВА "О" ПИШЕТСЯ В CЛОВАХ
1)упл...тнить сроки
2)обн...жить пороки
3)р...птать на судьбу
4)прил...скать собаку
5)отк...заться от услуг
6)опр...вдать поступок
7)угр...жать расправой
8)в...пиющий произвол
9)раск...лить сковороду
10)усл...жнить обстановку
Безошибочный выбор всех правильных ответов в каждом задании с выбором нескольких правильных ответов обычно оценивается двумя баллами. За одну допущенную ошибку один балл снижается. За вторую допущенную ошибку снижается ещё один балл. Таким образом, две допущенные ошибки обнуляют ответ испытуемого. Три и большее число возможных ошибок редко когда учитываются. Они указывают на глубину незнания.
В итоге оценка за выполнение каждого задания имеет три градации: 2-1-0. Впрочем, в некоторых случаях количество градаций может меняться, если на это есть статистические обоснования.
Задания с выбором нескольких правильных ответов труднее заданий с выбором одного правильного ответа. Они проверяют знания полнее, глубже и точнее. Они технологичнее и эффективнее заданий с выбором одного правильного ответа. Это перспективные задания для образовательных технологий XXI века.
Необходимость эмпирического обоснования качества дистракторов
Качество дистрактора формируется совокупностью свойств, повышающих у испытуемых вероятность его выбора в процессе тестирования. Это могут быть высокая правдоподобность неправильного ответа, привлекательная кажущаяся оригинальность, краткость, кажущаяся обоснованность или парадоксальность. Хорошие дистракторы обычно создаются опытными педагогами, которые знают типичные ошибки учащихся и студентов.
Если предполагаемый дистрактор не выбирается ни одним испытуемым, то это может означать, что он не обладает свойствами дистрактора. Это случай несоответствия названия его сути, а потому теряется право на название дистрактора. Задание надо переформулировать и опробовать заново с другими дистракторами. При отсутствии возможности замены негодных дистракторов количество ответов приходится сокращать.
Но тогда нарушается обычная практика использования одинакового числа ответов к каждому заданию и одинакового числа правильных ответов к ним. При этом возникает вопрос - должно ли быть в каждом задании одинаковое число ответов?
В практике обычно тяготеют к разработке заданий с одинаковым числом ответов. Однако не всегда можно придумать достаточное и одинаковое для всех заданий число дистракторов. Поэтому число ответов в каждом задании не обязательно должно быть одинаковым. Так же не одинаковым должно быть соотношение числа правильных и неправильных ответов в каждом задании.
Эффективность дистрактора
Дистрактор можно считать эффективным, если его выбирает заметная часть испытуемых, имеющих низкую подготовленность. Этот факт может означать, что он хорошо выполняет свою миссию дифференциации испытуемых по уровню неподготовленности. Но если дистрактор оказывается привлекательным и для испытуемых с высоким уровнем подготовленности, то это алогичное, нежелательное свойство дистрактора. Этот случай может означать необходимость переформулирования как самого задания, так и ответа. Бывают особые случаи, когда хорошо подготовленные испытуемые выбирают тот или иной неправильный ответ. Причины такого ошибочного выбора подлежат тщательному содержательному анализу.
В идеале каждый дистрактор имеет свой контингент. Одни дистракторы привлекают самых слабых испытуемых, другие - испытуемых более высокого уровня подготовленности. Если всё же случится так, что на какой-то дистрактор среагирует испытуемый с очень высоким уровнем подготовленности, то такой дистрактор надо признать неадекватным цели задания.
Другой идеал для задания - чтобы каждый его дистрактор притягивал к себе примерно одинаковое число испытуемых соответствующего уровня подготовленности. Но так бывает редко. Самый низкий порог приемлемости для дистрактора обычно устанавливается в 3-5 процентов. Если дистрактор выбирается меньшим числом испытуемых, то он, очевидно, малопривлекательный, и его лучше заменить на более привлекательный.
Напротив, если какой-то дистрактор притягивает к себе очень большой процент испытуемых, 80 % и более, то и такой, «сильный» дистрактор лучше заменить. Потому что при нём остальные дистракторы фактически не работают. Здесь срабатывает правило - когда дистрактор привлекает к себе слишком много испытуемых, знающих и не знающих, то это плохо. Идеальный дистрактор привлекает к себе только незнающих.
Методы проведения дистракторного анализа
В практике тестирования используется два метода проведения дистракторного анализа.
Первый метод можно условно назвать частотным или процентным. В нём за основу берётся частота выбора каждого ответа на множестве испытуемых так называемой целевой группы. Чем выше процент выбора неправильного ответа, тем выше его привлекательность.
Применение IRT для проведения дистракторного анализа
Второй метод основан на IRT. Среди многочисленных применений IRT для решения прикладных образовательных задач в данной статье рассматривается вариант использования IRT для проведения т.н. дистракторного анализа качества заданий в тестовой форме. Напомним, что дистракторами называют неправильные, но правдоподобные ответы в заданиях с выбором одного или нескольких правильных ответов.
Посмотрим на пример задания И. Парчева с выбором одного правильного ответа, из трёх, предлагаемых на выбор (5).
5.ПЛОЩАДЬ КРУГА С РАДИУСОМ 3 см РАВНА
1)9.00 см2
2) 18.85 см2
3) 28.27 см2
Поскольку каждый испытуемый может выбрать только один ответ из трёх предлагаемых взаимоисключающих случаев, то применима теорема сложения вероятностей: сумма вероятностей выбора любого одного из трёх ответов равна 1.
Рисунок 1
На рис. 1. из работы И. Парчева приведены три графика, отражающих идею вероятностной функции выбора каждого из трёх ответов. Эти кривые удобно получать посредством программы RUMM. Первый и второй ответ неправильные, а третий - правильный.
Интересно отметить, что первый и второй дистракторы имеют неодинаковую содержательную ценность. Первый график указывает на динамику изменения вероятности выбора испытуемыми первого, самого слабого дистрактора. Трудно объяснить, почему подготовленные испытуемые могли бы выбрать первый ответ в качестве правильного, в то время как выбор второго ответа можно объяснить интерференцией - испытуемые путают формулы определения площади (третий, правильный ответ) и длины окружности (второй ответ). Иначе говоря, выбор первого ответа в этом задании свидетельствует о полном незнании данного фрагмента геометрических знаний, в то время как выбор второго дистрактора - о знаниях хотя бы одной из двух формул, применённых, однако, неправильно.
И, наконец, выбор только третьего ответа может свидетельствовать о знании и умении применить формулу для определения площади круга. Соответственно, первый график, изображённый на рис. 1, показывает, что по мере роста уровня подготовленности испытуемых вероятность выбора первого ответа заметно уменьшается. Этот математический факт вполне согласуется с педагогической логикой. Чем выше уровень подготовленности испытуемых, тем меньше следует ожидать выбора неправильного ответа. Этот ответ в качестве правильного могут выбирать только незнающие испытуемые.
Второй график, изображённый на рис.1, показывает на иной характер изменения вероятности выбора испытуемыми второго, интерферентного, т.е. мешаюшего, похожего на правильный ответ, дистрактора. Из графика этой функции видно, как меняется вероятность выбора второго ответа в зависимости от уровня подготовленности испытуемых. Максимум вероятности выбора такого ответа приходится на испытуемых среднего уровня подготовленности.
И только график третьей функции, изображённый на рисунке 1, чётко указывает на педагогически осмысленное поведение испытуемых с хорошей подготовкой: чем выше уровень подготовленности испытуемых, тем выше у них вероятность правильного ответа.
Заключение
Качество и эффективность дистракторов можно улучшить вместе с качеством каждого задания в тестовой форме.
Для этого рекомендуется:
1)представлять задания в логической форме высказывания, а не вопроса;
2) устранять в заданиях слова в повелительном наклонении, типа "оцените", "назовите", "решите" и т.п.;
3) прибавить число ответов, там, где можно, с целью уменьшить вероятность угадывания. Число ответов и правильных ответов в разных заданиях может быть разным. Они не должны быть одинаковым во всех заданиях;
4) использовать в тесте для проверки знаний, в основном, задания с выбором нескольких правильных ответов. Такие задания практически исключают догадку;
5) в ответах вместо номера и точки лучше писать номер и круглую скобку, что даёт возможность писать текст ответов со строчных букв.
Литература:
1. Аванесов В.С. Являются ли КИМы ЕГЭ методом педагогических измерений? (Вторая редакция). Первая редакции - 5 апреля 2009г. Вторая редакция - 25 мая 2009 г. http://viperson.ru/wind.php?ID=563869&soch=1
2. Источник: Российская газета, 23 марта 2001г.
3. Педагогическая диагностика, N2, 2004, с.88. Задание написано так, как это было написано в источнике.
4. Аванесов В.С. Форма тестовых заданий. М. Центр тестирования. 2006. 156 с.
Partchev, Ivailo. A visual guide to item response theory. Friedrich-Schiller-Universit. at Jena. http://www.metheval.uni-jena.de/irt/VisualIRT .pdf
