Владимир Ким
Уссурийский госпединститут
Опубликовано в ж. «Педагогические Измерения» № 3 2007 г.
Аннотация
В работе рассмотрены вопросы коррекции исходных тестовых баллов испытуемых на угадывание. Показано, что предложенная методика при определенных условиях педагогически оправдана.
Ключевые слова: тест, тестовый балл, тестовые задания закрытого типа, коррекция тестового балла на угадывание.
Исходный тестовый балл испытуемого Х в обобщенном виде содержит информацию:
1) о качестве тестовых заданий,
2) о процедуре тестирования,
3) об уровне знаний испытуемого.
Судить об уровне знаний испытуемого можно, если влиянием первых двух факторов можно пренебречь.
Стандартизованный процесс тестирования призван обеспечить равенство условий и требований для всех испытуемых. Именно по этой причине принято тщательно прописывать инструкции по проведению тестирования, регламентировать процесс тестирования, формат предъявления тестовых заданий, время тестирования и т.д. Известны случаи, когда даже изменение типа мебели (откидной столик или обычный стол) влияло на значение тестовых баллов.
Одним из факторов, влияющих на искажение Х, является угадывание испытуемыми правильного ответа. Этому вопросу была посвящена предыдущая работ автора.
Попытки угадывания правильного ответа можно трактовать как нарушение процесса тестирования, вследствие чего испытуемые ставятся в неравные условия. Справедливо замечание, что неразличение отказа от ответа и ошибки приводит к дискриминации добросовестных испытуемых, то есть испытуемых, не прибегающих к угадыванию. Налицо неравные условия для испытуемых, то есть нарушение процедуры тестирования. Однако, в упомянутой работе, в такой постановке задача и не ставилась.
Внесение поправок в исходный тестовый балл Х, безусловно, является непростой задачей. Слишком много факторов влияют на исходный тестовый балл.
При вводе поправки на угадывание была предложена гипотеза – чем ниже уровень знаний испытуемого, тем сильнее он мотивирован на угадывание. Разумеется, эта гипотеза достаточно уязвима для критики, однако следует согласиться с тем, что выглядит она довольно разумно и реалистично.
Ранее нами была получена формула для ввода поправок на угадывание в исходный тестовый балл испытуемого. Приведем ее с сохранением нумерации той статьи.
Здесь Y - исправленный исходный тестовый балл испытуемого, p - доля верных ответов, q = 1 - p - доля неверных ответов, n - параметр, характеризующий тип поправки на угадывание.
При n=1 из формулы (6) получаем
Это выражение можно переписать в следующем виде
где X = pN - исходный тестовый балл, W = qN - количество неверных ответов испытуемого, k - количество ответов в тестовом задании (k-1 - количество дистракторов), N - число заданий теста.
Формула (8), позволяющая вводить поправку на угадывание, хорошо известна и часто используется в практике тестирования. При этом предполагается, что Х и W оцениваются по интервальной шкале. Разумеется, исходные тестовые баллы далеко не всегда представлены на интервальной шкале. Однако, следует отметить, что надежные, стандартизованные тесты, дают результаты, практически лежащие на интервальной шкале.
В работе утверждается, что формула (8) не следует из (7), так как (8) в отличие от (7), предполагает раздельный учет неверных ответов и отказа от ответа. С этим трудно согласиться. В рамках предложенного подхода, это совершенно корректное преобразование и формула (8) есть просто переписанное в других обозначениях выражение (7). Иными словами, если W - количество неверных ответов испытуемого, то (8) следует из (7), и это бесспорно. Другое дело, если под W понимать нечто другое, тогда, естественно, (8) может не следовать из (7). W считается числом ошибочных ответов. Другие авторы - числом неправильных или пропущенных заданий теста. Во всяком случае, W = N - X.
Пропущенные задания теста можно трактовать как отказ испытуемого от ответа. Можно раздельно учитывать неверные ответы и отказы, используя, например, правило: за верный ответ - «+1», за пропуск - «0», за неверный ответ - «-1» балл. В этом случае процесс различения добросовестных испытуемых, выбравших отказ от ответа вместо угадывания от недобросовестных испытуемых малоэффективен.
Рассмотрим пример теста из 100 заданий. Каждое задание имеет два ответа, один из которых верный. Кроме того, имеется возможность пропустить ответ. Пусть испытуемый правильно ответил на 50 легких заданий. В ответах на оставшихся 50 трудных заданий он сомневается и прибегает либо к угадыванию, либо к отказу от ответа.
В случае угадывания, испытуемый с вероятностью p=0.5 угадает верный ответ и наберет 50⋅0.5 = 25 баллов. За неверные ответы он с той же вероятностью наберет 50⋅0.5⋅(-1) = - 25 баллов. Итого 50 + 25 - 25 =50 баллов. При отказе от ответов он наберет 50 + 0 = 50 баллов.
Как видим, в обоих случаях исходный тестовый балл оказался одинаковым.
Ситуацию можно исправить, если за неверный ответ давать, например -2 балла. Тогда в случае угадывания испытуемый получает +25 баллов за угаданный верный ответ и 50⋅0.5⋅(-2) = -50 в случае неуспешной попытки угадывания. Итого 50 +25 - 50 = 25 баллов.
Таким образом, применяя такую методику, можно мотивировать испытуемого не пытаться угадывать верные ответы и, тем самым, повысить достоверность индивидуального тестового балла. Разумеется, указанное различие в баллах за верный и неверный ответы можно варьировать в различных пределах, основываясь на тех или иных соображениях.
Вернемся к формуле (8). Позволяет ли она поощрять добросовестных испытуемых и наказывать недобросовестных? Ответ - да. Даже в линейной модели поправка для сильных испытуемых заметно меньше, чем для слабых. Это согласуется с педагогической логикой: коррекция нужна для тех, кто плохо знает. Баллам тех, кто все знает, коррекция не повредит. Правда здесь используется еще одна гипотеза, что испытуемый, хорошо знающий учебный материал одновременно является добросовестным и наоборот. Разумеется, это не всегда так, но в большинстве случаев, эта гипотеза весьма правдоподобна. Сильному испытуемому соответствует маленькая поправка на угадывание, не потому, что он хуже угадывает, а потому, что он не хочет этого делать
Предложенная методика дает в руки исследователя один из инструментов предварительной обработки результатов тестирования. При этом достигаются две цели - процедурная (коррекция индивидуального балла испытуемого) и воспитательная (чем хуже учится испытуемый, тем больше поправка на угадывание).
Конечно, предоставление испытуемому технической возможности отказа от ответа дает дополнительный педагогический эффект, однако это не отменяет полезность предложенной методики.
