О дистракторах к тестовым заданиям

 

Валентин Идиатулин

ФГОУ ВПО Ижевская ГСХА

e-mail: root @ isa.nivad.ru

 

Опубликовано в ж. «Педагогические Измерения» №2 2006ю С.64-84.

 

Аннотация

Рассмотрены когнитивные основания формы тестовых заданий с выбором правильного ответа. Показано, что эта форма наиболее отвечает пропозициональной репрезентации знаний, что способствует измеримости их латентной структуры. Обсуждаются способы составления дистракторов к тестовым заданиям, дидактические аспекты частот и причин выбора дистракторов. Подробно рассмотрены вопросы измерения обученности при довузовской подготовке, когда входной, текущий и итоговый контроль проводятся на базе одного пакета тестовых заданий.

 

Ключевые слова: тестовое задание, дистрактор, измерение уровня обученности.

 

Целью настоящей работы является обсуждение принципов составления тестовых заданий с выбором одного правильного ответа, обоснование их преимуществ и применимости для измерения структуры обученности. Обсуждаемая проблема связана с противоречием между потребностью в объективной информации об учебных достижениях, которая вызвала рост масштабов использования тестов, и их неправомерным, а нередко, и неудачным распространением на случаи, когда их применение ни методологически, ни содержательно, ни методически несостоятельно. Задачей работы ставится демонстрация на конкретных примерах причин такой несостоятельности.

 

Введение

Посредством тестовой формы педагогического контроля можно проверить усвоение не только фрагментов знаний, которые входят в содержание экзаменационного билета, но и, в определенной мере, весь подлежащий проверке учебный материал. Как элемент педагогической практики тест еще не завершил стадию полного признания педагогической общественностью. Большая часть критики тестирования относится к возможности угадывания ответа и рассматривается обычно в двух аспектах: случайный выбор из нескольких предложенных вариантов и выделение наиболее правильного из них без выполнения задания. Первое легко определяется из вида структуры обученности или статистических рядов тестовых баллов, как описано автором[1] и обсуждается ниже; второе требует содержательного анализа – примером могут служить результаты, полученные И.Ф. Шарыгиным на материале заданий в тестовой и в нетестовой форме ЕГЭ по математике[2]. Конечно же, нет необходимости решать математическое уравнение, если можно подставить готовое решение из предлагаемого перечня, но и другие формы заданий оказались далеко не безупречными; почти во всех из них было можно найти ответ, не приступая к решению задачи. От такого рода заданий страдают как научная, так и общая культура обучаемых. Сходная ситуация была продемонстрирована автором настоящей работы на примере опубликованных вариантов тестовых заданий по физике[3]. Как ниже показано, аналитические выражения дистракторов позволяют легко исключать их после рассмотрения предельных значений или размерностей входящих в них величин. Возможность находить верные ответы без выполнения заданий заметно искажает исходную дидактическую задачу, превращает ее в менее контролируемую, далекую от целей педагогического измерения и иначе оцениваемую. Неприятие вызывает распространение тестовых форм на области недоступные им, либо их неудачное составление и применение.

 

Когнитивные основания формы тестовых заданий

В предисловии к книге Р. Солсо[4] В.П. Зинченко пишет, что одним из достижений когнитивной психологии стало установление того факта, что объем хранения в памяти в 3-4 раза превышает объем воспроизведения, по которому обычно судят о восприятии и усвоении. В.П. Беспалько[5] также различал узнавание с подсказкой и воспроизведение без опоры на нее. Для измерения усвоенного объема фактуальных знаний подсказка бывает часто необходима.

Знания как совокупность усвоенных элементов опыта человека и общества, проверенные общественной практикой, воспроизводятся обучаемым в речи и деятельности. Наименьшая значимая единица знания, выделяемая в отдельное утверждение, элемент семантической памяти, связывающий идеи и понятия, в когнитивной психологии названа пропозицией5. Современная психолингвистика[6] подтверждает пропозициональный характер хранимых в памяти сведений, близость к ним по структуре фраз и предложений облегчает оперирование последними. Любая осмысленная информация, в конце концов, перекодируется в вербальную форму, которая является основной в обучении. Понимание также основано на пропозициях, упорядоченных в когнитивных структурах – понятно уже выраженное знакомым образом. По этой причине представляется важным на этапе закрепления переводить учебный материал в системы пропозиций, тематически и логически связанных друг с другом. Пропозициональная репрезентация вербальной части учебного знания должна использоваться в утвердительных выражениях тестовых заданий для обеспечения и облегчения вербализации когнитивных референтов латентного знания. Эту функцию и способны выполнять тестовые задания с выбором правильного ответа, особенностям конструирования и результатам эмпирической проверки которых посвящена настоящая работа.

Учебная дисциплина состоит обычно из разделов, в которых выделены темы, состоящие из конечного числа учебных элементов, которые сохраняют самостоятельный смысл, их дальнейшее членение ведет к утрате включенной в них учебной и научной информации. Смысловые учебные элементы представляются в виде утверждений, отражающих положительное содержание учебной дисциплины. Логическая структура заданий в тестовой форме как раз и использует такое их представление, которое в зависимости от выбора испытуемого превращается в истинное или ложное кодируемое высказывание.

Вопросительная форма задания исключает эту возможность, так как вопросы не могут быть истинными или ложными, а ответы на них, как правило, многовариантны, неопределенны, многословны и, в конечном счете, нетехнологичны[7]. Важную роль играют интонация, логические ударения, расстановку которых в тексте вопроса непросто выразить однозначно.

Для целей измерения в структуре обученности по каждой дисциплине возможно выделение концептуальных знаний, относящихся к данному предмету, которые должны оставаться в памяти любого обучаемого, к ним примыкают базовые знания, которые необходимы для усвоения учебного материала изучаемой дисциплины. Следующая категория включает программные знания, которые нужны для обеспечения готовности к усвоению других дисциплин учебного плана и могут быть дополнены блоком специальных знаний, которые либо рассчитаны на потребности обучаемых, либо отражают требования специальности, вуза, региона.

Достаточно полно измерим фактуальный уровень усвоения, т.е. готовность узнавать, идентифицировать, воспроизводить основные факты, сведения, термины, определения, формулировки, формулы, принципы, законы, положения изучаемой дисциплины, т.е. все то, что можно узнать, усвоить, выучить и потом воспроизвести по памяти или выделить среди подобного.

Форма задания с выбором одного правильного ответа на этом уровне наиболее уместна, т.к. оценка правильности выбора может быть сделана вполне однозначно, а открытый ответ бывает многовариантен. Воспроизведение и узнавание, как мнемонические процессы, согласно К. Ингенкампу, не имеют существенных различий, и нет особых оснований полагать, что задания с выбором ответа измеряют нечто иное, чем задания со свободным ответом[8].

Операционно-алгоритмический уровень усвоения изученного материала измерим столь же полно. Он предполагает выполнение действий и операций по освоенному образцу, правилу, рецепту, алгоритму, т.е. умение делать все то, чему можно научиться. Подразумевается, что действия и операции настолько однозначно выполнимы, что для оценки их правильности достаточно сравнения полученного результата с эталоном верного ответа, при этом исключаются операции, которые не являются результатом обучения по данной дисциплине. На этом уровне одинаково применимы задания как открытой, так и закрытой формы, однако последняя уместней в дидактическом и методологическом отношениях. Первое обеспечивается разработкой дистракторов, мотивированных типичными ошибками обучаемых, для последующего их анализа и исправления; открытая форма в этом случае не дает никакой новой информации. Методологически существенно то, что закрытая форма имеет естественную меру вероятности случайного выбора, с которой возможно сравнение эмпирических частот.

Умение проводить эвристический анализ и строить процедуры операций без известного однозначного алгоритма, но с установленным эталоном правильного решения, также доступно измерению. Эвристический анализ опирается во многом на догадку, развитую интуицию, способность к трансформации усвоенного на еще не изведанные области. Этот уровень включает все то, что нельзя просто выучить, чему нельзя и научиться, не обладая определенными задатками, которые обуславливают развитие способностей, позволяющих успешно овладевать такой деятельностью. От творческого уровня он отличается, пожалуй, лишь тем, что результат деятельности только субъективно неизвестен, хотя для обучаемого он является открытием пусть и небольшого масштаба. Закрытая форма заданий эвристического уровня четко выделяет эталон правильного ответа, но налагает особые требования на искусство составления дистракторов. Они должны включать не неправильные ответы, а, например, ответы, которые соответствуют другим условиям, что и потребует их эвристического анализа.

 

Способы составления дистракторов

При составлении дистракторов можно использовать принципы композиции заданий в тестовой форме, которые предложены в книге В.С. Аванесова[9], с теми ограничениями, которые накладывают содержание и предметная область тестовых заданий2. Например, в заданиях по физике сравнительно редко употребим принцип формального противоречия, который широко применяется в заданиях с двумя ответами, т.е. с одним дистрактором, отрицающим истинное утверждение. Значительно чаще может быть использован принцип противоречия диалектического, в соответствии с которым дистрактор не только формально отрицает утверждение, но дает конструктивное высказывание другого утверждения или его отрицание. Для утверждения, что объект обладает данным свойством, могут быть составлены дистракторы, согласно которым он может обладать рядом других свойств, отличных от данного. Это расширяет число дистракторов, имеющих отношение к утверждаемому явлению и способствует более полному его пониманию. Так утверждение «Свет обладает волновыми свойствами» и его отрицание «Свет не обладает волновыми свойствами» могут быть дополнены утверждениями «Свет обладает корпускулярными свойствами», «Свет обладает или волновыми или корпускулярными свойствами» и «Свет обладает и корпускулярными и волновыми свойствами», а также их отрицаниями.

При кумуляции дистракторов, когда их содержание вбирает в себя все или часть предыдущих, отвергается их независимость друг от друга, а кроме того менее полные ответы тоже бывают верными. Так в задании

1. ПРОДОЛЬНЫЕ ВОЛНЫ МОГУТ РАСПРОСТРАНЯТЬСЯ В

1) газах

2) жидкостях

3) твердых телах

4) газах и жидкостях

5) газах и твердых телах

6) жидкостях и твердых телах

7) любых упругих средах

8) любых средах

если не добавлять к первым семи слова "только", то они все верны. Если же заменить продольные волны на поперечные, то верным ответом окажется только третий. Если в этом примере удалить первые три дистрактора, то он будет демонстрировать принцип сочетания (по два или по три) дескрипторов, применение которого способствует увеличению их числа.

Для создания параллельных заданий, используются принципы фасетности и обратимости. Например:

2. РАБОТА, СОВЕРШАЕМАЯ ПОДНИМАЮЩИМСЯ (ОПУСКАЮЩИМСЯ) ЭСКАЛАТОРОМ (ЧЕЛОВЕКОМ) НАИБОЛЬШАЯ (НАИМЕНЬШАЯ), ЕСЛИ ЧЕЛОВЕК НА ЭСКАЛАТОРЕ

1. стоит
2. идет вверх
3. идет вниз
4. быстро взбегает вверх
5. быстро сбегает вниз.

Обратимость удобна на операционном уровне, когда расчетная формула связывает несколько величин, каждая из которых поочередно может выводиться за пределы основы задания и сопровождаться набором дистракторов, мотивированных типичными ошибками обучаемых.

В естественнонаучных дисциплинах применим принцип импликации, который отражает причинно-следственные или условно-логические связи. К первым можно отнести пример такого задания: "Если автомобиль массой 5 т движется со скоростью 72 км/ч по выпуклому мосту с радиусом кривизны 200 м, то его вес 1) уменьшается на 10 кН, 2) увеличивается на 10 кН, 3) увеличивается на 7,2 кН, 4) уменьшается на 7,2 кН, 5) не меняется", а ко вторым такого: "Если отклонение частицы от положения равновесия равно амплитуде ее колебания, то его фаза равна 1) 0, 2)p, 3) 2p, 4) -p, 5) p/2, 6) -p/2". Функциональная связь величин не всегда является причинно-следственной.

Степень проявления какого-либо качества или свойства или их изменений дает возможность проверки усвоения зависимостей:

3. ЕСЛИ ГРУППОВАЯ СКОРОСТЬ ВОЛНЫ МЕНЬШЕ ФАЗОВОЙ, ТО С РОСТОМ ДЛИНЫ ВОЛНЫ ФАЗОВАЯ СКОРОСТЬ

1) убывает

2) возрастает

3) не меняется

4) проходит через минимум

5) проходит через максимум

6) достигает экстремума

 

Помимо качественного, возможно и количественное градуирование:

4. ЕСЛИ МАССА ГАЗА В ОДНОМ СОСУДЕ ВДВОЕ БОЛЬШЕ, ЧЕМ В ДРУГОМ ТАКОМ ЖЕ ПРИ ОДИНАКОВЫХ ДАВЛЕНИЯХ И ТЕМПЕРАТУРАХ, ТО МОЛЯРНАЯ МАССА ГАЗА В ПЕРВОМ СОСУДЕ

1) такая же

2) вдвое больше

3) вдвое меньше

4) вчетверо больше

5) вчетверо меньше, чем во втором.

Здесь, кроме того продемонстрирована возможность включения верного ответа и дистракторов в текст основы задания.

Принцип неотрицательности содержания заданий, безусловно, верен в отношении логики определений и, по-видимому, обязателен для открытой формы тестовых заданий. Для заданий с выбором ответа он, в некоторых случаях, дидактически является полезным. Так, например, известно несколько эквивалентных формулировок второго начала термодинамики, но едва ли целесообразно сочинять еще и им неэквивалентные в достаточном для набора дескрипторов количестве. Форма задания2: "Неэквивалентно второму началу термодинамики утверждение, что невозможны процессы …(перечисляются)" даже при наличии двух отрицаний дидактически и когнитивно уместна, во-первых, потому, что второе начало ограничивает протекание некоторых процессов в природе к его исторически сложившиеся формулировки или эквивалентные им как раз и указывают на их невозможность, во-вторых, потому, что эти формулировки не тавтологичны, за каждой стоит свое глубокое содержание, в третьих, все они верны и лишний раз вспомнить их очень полезно для обучаемого. Подогнано по форме неэквивалентное утверждение, но чтобы осознать это, придется проделать заметную умственную работу.

 

Еще пример:

5. НЕВЕРНО УТВЕРЖДЕНИЕ, ЧТО

1) энтропия является функцией состояния термодинамической системы

2) при обратимом адиабатическом процессе изменение энтропии равно нулю

3) изменение энтропии при необратимом процессе всегда меньше, чем при обра­тимом процессе, связывающим те же два термодинамических состояния

4) максимум энтропии достигается в наиболее вероятном состоянии сис­темы

5) изменение энтропии системы при изо­термическом процессе равно отношению переданной теплоты к температуре».

Так или иначе, и здесь отрицательная форма задания не противоречит логической определенности его содержания как способности продуцировать правильный ответ и организовывать умственный процесс по его нахождению.

Большую часть приведенных в учебной книге9 тестовых заданий с выбором ответа из трех вариантов легко можно дополнить, пользуясь теми же принципами композиции, а именно альтернативы (противоположности), однородности, кумуляции, двойной альтернативы, импликации, градуирования и их сочетаний. Так, например, задания с естественнонаучным содержанием можно преобразовать в такие:

 

6. ГРАФИК НЕЧЕТНОЙ ФУНКЦИИ АСИММЕТРИЧЕН ОТНОСИТЕЛЬНО

1. начала координат
2. оси абсцисс
3. оси ординат
4. всех осей
5. оси аппликат
6. оси абсцисс и начала координат,
7. оси ординат и начала координат
8. любой оси, проходящей через начало координат
9. любых координатных плоскостей ....

 

7. ЯДРО АТОМА СОСТОИТ ИЗ

1. протонов
2. нейтронов
3. электронов
4. электронов и нейтронов
5. нейтронов и протонов
6. протонов и электронов
7. нуклонов и электронов
8. и далее барионов, гиперонов, мезонов, лептонов ....

 

8. ПРИ ДВИЖЕНИИ КОНВЕЙЕРА РЕЛЕ СКОРОСТИ

1. отключено
2. заблокировано
3. включено
4. разблокировано
5. не функционирует
6. функционирует, ...

 

9. ФУНКЦИЯ С ПОЛОЖИТЕЛЬНОЙ ПРОИЗВОДНОЙ В ИНТЕРВАЛЕ

1. возрастает
2. постоянна
3. убывает
4. достигает максимума
5. достигает минимума
6. стремится к постоянному значению
7. не ограничена сверху, ....

 

10. НАПРАВЛЕНИЕ СИЛЫ ЛОРЕНЦА ОПРЕДЕЛЯЕТСЯ ПО ПРАВИЛУ

1. правой руки
2. буравчика
3. левой руки
4. правого винта
5. векторного произведения векторов
6. Ленца

 

11. УДЕЛЬНАЯ ПРОВОДИМОСТЬ ЭЛЕКТРОЛИТА С УВЕЛИЧЕНИЕМ КОНЦЕНТРАЦИИ

1. увеличивается
2. уменьшается
3. сначала увеличивается, затем уменьшается
4. достигает минимума
5. не меняется.

 

12. ПОЛОВЫЕ КЛЕТКИ ОБРАЗУЮТСЯ В РЕЗУЛЬТАТЕ

1. мейоза
2. митоза
3. амитоза
4. эндомитоза
5. эндосперма
6. гаметогенеза
7. овогенеза.

Избыток дистракторов на этапе составления тестовых заданий лишь способствует их правильному отбору по результатам эмпирической проверки.

В заданиях с четырьмя ответами четыре варианта редко исчерпывают полную систему возможных альтернатив. Так фасетный пример "Свободно падающее тело в северном (южном) полушарии отклоняется к 1) югу, 2) северу, 3) западу, 4) востоку" может быть дополнен дистракторами типа "К юго-западу" и дистрактором "не отклоняется", хотя его и труднее включить в грамматический строй задания.

 

Дистракторы к заданиям с выбором одного правильного ответа

Проблема угадывания, которая всегда служила основой критики заданий с выбором ответа, разрешается путем статистического анализа распределений обученности. Из наших результатов[10] следует, что при должной мотивации оно отсутствует у студентов: в области вероятного угадывания (для пяти вариантов ответов она лежит вблизи 20% степени усвоения) эмпирические распределения имеют минимум частоты. Если бы угадывание имело место для всех, то здесь был бы максимум, если бы для некоторой части, то локальный максимум, который при больших размахе и стандартном отклонении распределения мог бы перекрываться последним, – как раз это отмечалось при входном контроле слушателей курсов довузовской подготовки (см. ниже). Без анализа эмпирических распределений обученности нет необходимости априорно вводить коррекцию на угадывание, там, где оно отсутствует. Упорный труд над заданиями, поиск правильного ответа – все это требует напряжения ума, работы мысли и следует отделять их от бездумного гадания. Смешивание этих двух процессов как раз и служит почвой для сторонних критиков, которые не давали себе труда вникать в сущность тестирования как умственной деятельности, происходящей на высоком для тестируемого уровне.

Задания по физике. в отличие от уравнений математики, могут включать этапы их вывода или составления, когда прямая подстановка решений невозможна, однако некоторые особенности дистракторов позволяют легко исключать их часть или же все до единого после внимательного рассмотрения их возможных предельных значений, размерностей и других факторов. Это может быть продемонстрировано на примере заданий из пособия для подготовки к тестированию[11]. Начнем с задания, входящего во все варианты (тексты заданий конспективны, трение, где не оговорено, не учитывается):

 

13. ИЗ ВЕРХНЕЙ ТОЧКИ ПОЛУСФЕРИЧЕСКОГО УГЛУБЛЕНИЯ В БРУСКЕ МАССОЙ m1 СОСКАЛЬЗЫВАЕТ ШАЙБА МАССОЙ m2, ПОСЛЕ ЧЕГО БРУСОК ДВИЖЕТСЯ ПО ГЛАДКОЙ ПОВЕРХНОСТИ, ПРИ ЭТОМ ЕГО МАКСИМАЛЬНАЯ СКОРОСТЬ РАВНА

1) 2m2v0/(m1+m2)

2) 2m1v0/(m1-m2)

3) 2m1v0/(m1+m2)

4) v0(m1+m2)/m1

5) v0(m1-m2)/m2

Здесь v0=√2gR – скорость шайбы после первого соскальзывания. При равной нулю массе шайбы либо при бесконечной массе бруска его скорость равна нулю, этим исключаются все дистракторы, остается первый ответ, который составители считали правильным. Остается сожалеть, что эта достаточно интересная задача так легко теряет заложенный в нее смысл.

 

14. ЗА ДВА ПЕРИОДА ПОЛУРАСПАДА РАСПАДАЕТСЯ ЧАСТЬ ЯДЕР

1) 1/16

2) 1/8

3) 1/ 4

4) 3/ 4

5) 1/ 2

Коль скоро за один период полураспада распадается половина ядер, то за два периода, конечно же, больше – и сразу готов единственный ответ 4) 3/ 4.

 

15. ЧЕТЫРЕ КУБИКА НА ГЛАДКОЙ ПОВЕРХНОСТИ СОЕДИНЕНЫ НИТЯМИ, К ПЕРВОМУ ПРИЛОЖЕНА СИЛА F. К ТРЕТЬЕМУ (ПОСЛЕДНЕМУ) КУБИКУ ПРИЛОЖЕНА СИЛА

1) 0

2) F/4

3) F/2

4) 3F/4

5) F

Сколько кубиков тянут, столько четвертей силы и будет в ответах.

 

16. ГРУЗ ПОДНИМАЕТСЯ ЛЕНТОЧНЫМ ТРАНСПОРТЕРОМ ПОД УГЛОМ Α К ГОРИЗОНТУ ПРИ КОЭФФИЦИЕНТЕ ТРЕНИЯ Μ С МАКСИМАЛЬНЫМ УСКОРЕНИЕМ

1. μgcosα  
2. g(sinα + μcosα)        
3. μgsinα   
4. μgtgα    
5. g(μcosα – sinα)

При μ = 0 груз просто скользит вниз, а отрицателен лишь пятый ответ.

 

17. ГОРИЗОНТАЛЬНЫЙ СОСУД РАЗДЕЛЕН ПОРШНЕМ НА ДВЕ ЧАСТИ, ЗАПОЛНЕННЫЕ РАВНЫМИ МАССАМИ РАЗНЫХ ГАЗОВ, МОЛЯРНЫЕ МАССЫ КОТОРЫХ Μ1 И Μ2. В РАВНОВЕСИИ ПЕРВЫЙ ГАЗ ЗАНИМАЕТ ЧАСТЬ ОБЪЕМА СОСУДА, РАВНУЮ

1) Μ1/(Μ1+Μ2)  

2) Μ2/(Μ1-Μ2)  

3) 2μ2/(Μ1-Μ2)  

4) Μ1/(Μ1+2μ2)  

5) Μ2/(Μ1+Μ2)

Пятый ответ очевиден в предельном случае малой молярной массы Μ1, когда число молекул велико и ими заполнен весь объем

18. ПРИ КОЭФФИЦИЕНТЕ ТРЕНИЯ О ПОЛ μ ЛЕСТНИЦА У ГЛАДКОЙ СТЕНЫ МОЖЕТ СТОЯТЬ ПОД НАИМЕНЬШИМ УГЛОМ К ПОЛУ, РАВНОМ:

1. arctg(1/2μ)      
2. arcctg(1/2μ)    
3. 1/2μ      
4. 2μ         
5. arccos μ

Очевиден первый ответ при предельных значениях коэффициента трения: если трение отсутствует, лестница стоит у стены вертикально, если бесконечно велико, то .под любыми углами, наименьший из которых равен нулю.

 

19. МОЛЬ ГАЗА СОВЕРШАЕТ ЦИКЛ, СОСТОЯЩИЙ ИЗ ДВУХ ИЗОХОР И ДВУХ ИЗОБАР. НАИМЕНЬШАЯ ТЕМПЕРАТУРА ЦИКЛА Т1, НАИБОЛЬШАЯ Т3, ТЕМПЕРАТУРЫ ДРУГИХ УГЛОВЫХ ТОЧЕК ЦИКЛА ОДИНАКОВЫ, ПРИ ЭТОМ РАБОТА ГАЗА ЗА ЦИКЛ РАВНА

1) R(Т1+Т3–2√Т3Т1)  

2) R√(Т3Т1)  

3) 2R√(Т3Т1)  

4) R(Т3+Т1)  

5) R(Т3-Т1)

При равных температурах цикл сходится в точку и работа равна нулю – три дистрактора отпадают сразу, а последний явно не дает площадь цикла.

 

20. НА ГЛАДКОЙ ПОВЕРХНОСТИ ЛЕЖИТ ДОСКА МАССЫ М, НА НЕЙ БРУСОК МАССЫ m, КОЭФФИЦИЕНТ ТРЕНИЯ МЕЖДУ НИМИ μ. БРУСОК СОСКАЛЬЗЫВАЕТ, ЕСЛИ К ДОСКЕ ПРИЛОЖИТЬ СИЛУ, БОЛЬШУЮ, ЧЕМ

1. μgm      
2. μg(М+m)                 
3. μg(М-m)                  
4. μgМ      
5. g(М+m)

Здесь выбор второго ответа нетруден при малых (больших) массах доски, бруска или малом коэффициенте трения между ними.

 

21. УСКОРЕНИЯ КАЧАЮЩЕГОСЯ НА НИТИ ШАРИКА МАССЫ m В НИЖНЕМ И КРАЙНИХ ПРИ ОТКЛОНЕНИИ НА УГОЛ α ПОЛОЖЕНИЯХ РАВНЫ ПО МОДУЛЮ, А СИЛА НАТЯЖЕНИЯ НИТИ В НИЖНЕМ ПОЛОЖЕНИИ ПРИ ЭТОМ РАВНА

1. mg(1+cosα)         
2. 2mg(1-cosα)        
3. 3mg 
4. mg(1+sinα)
5. mg(1-sinα)

При нулевом отклонении шарика сила натяжения нити равна mg и может лишь возрастать с ростом угла – подходит только четвертый ответ.

 

22. МАТЕМАТИЧЕСКИЙ МАЯТНИК СОВЕРШАЕТ КОЛЕБАНИЯ С ПЕРИОДОМ Т. ЕСЛИ НА ПУТИ НИТИ УСТАНОВИТЬ ГВОЗДЬ ПОД ТОЧКОЙ ПОДВЕСА НА РАССТОЯНИИ 3/4 ДЛИНЫ НИТИ, ТО ПЕРИОД КОЛЕБАНИЙ БУДЕТ РАВЕН

1. 2Т                 
2. 3Т/2     
3. Т          
4. 3Т/4     
5. Т/2

Ясно, что полпериода маятник движется, как и раньше, поэтому период не намного больше Т/2, но, конечно же, меньше Т; верен четвертый ответ.

 

Условие повторяет предыдущее задание. ЕСЛИ ЧАСТОТА КОЛЕБАНИЙ БЫЛА РАВНА ν, ТО ПОСЛЕ УСТАНОВКИ ГВОЗДЯ ОКАЖЕТСЯ РАВНОЙ

1. 2ν         
2. 3ν/2      
3. 4ν/3      
4. ν           
5. ν/2

Ясно, что период немного больше Т/2 (равен 3Т/4), а частота обратна ему.

 

23. К ГЛАДКОЙ ВЕРТИКАЛЬНОЙ СТЕНЕ НА ТРОСЕ ПОД УГЛОМ Α К НЕЙ ПОДВЕШЕН ШАР МАССЫ М, ПРИ ЭТОМ СИЛА НАТЯЖЕНИЯ ТРОСА РАВНА

1) Mg cosα    

2) Mg    

3) Mg/cosα    

4) Mg/sinα    

5) Mg tgα

Натяжение троса равно Mg при нулевом угле и может только увеличиваться, поэтому выбор третьего ответа сомнений не вызывает.

Условие повторяет предыдущее, при этом СИЛА ДАВЛЕНИЯ ШАРА НА СТЕНУ РАВНА  

1) Mg cosα    

2) Mg    

3) Mg/cosα    

4) Mg/sinα    

5) Mg tgα

Лишь пятый ответ верен при нулевом угле, когда эта сила равна нулю.

 

24. НА ГРАНИЦЕ РАЗДЕЛА ЖИДКОСТЕЙ ПЛАВАЕТ ОДНОРОДНОЕ ТЕЛО, ПЛОТНОСТЬ КОТОРОГО ρ БОЛЬШЕ ПЛОТНОСТИ ρ1 ВЕРХНЕЙ И МЕНЬШЕ ПЛОТНОСТИ ρ2 НИЖНЕЙ ЖИДКОСТИ, ПРИ ЭТОМ В НИЖНЕЙ НАХОДИТСЯ ЧАСТЬ ОБЪЕМА ТЕЛА РАВНАЯ

1. (ρ-ρ1)/(ρ2-ρ1) 
2. (ρ-ρ1)/(ρ2+ρ1) 
3. (ρ+ρ1)/(ρ2-ρ1) 
4. (ρ2-ρ1)/(ρ2-ρ) 
5. (ρ2-ρ)/(ρ2+ρ1)

Здесь только первый ответ определенно равен 1 при одинаковых плотностях тела и нижней жидкости, когда оно заведомо полностью в ней находится.

 

Условие повторяет предыдущее. ПРИ ЭТОМ В ВЕРХНЕЙ ЖИДКОСТИ НАХОДИТСЯ ЧАСТЬ ОБЪЕМА, РАВНАЯ

1) (ρ-ρ1)/(ρ2-ρ1)  

2) (ρ-ρ1)/(ρ2+ρ1)  

3) (ρ+ρ1)/(ρ2-ρ1)  

4) (ρ2-ρ1)/(ρ2+ρ)  

5) (ρ2-ρ)/(ρ2-ρ1)

Пятый ответ очевиден при одинаковых плотностях тела и верхней жидкости.

 

25. ШАРИК МАССЫ m ПРИКРЕПЛЕН К ВЕРТИКАЛЬНОЙ ОСИ ПРУЖИНОЙ ЖЕСТКОСТИ К И ДВИЖЕТСЯ ВОКРУГ ОСИ С УГЛОВОЙ СКОРОСТЬЮ ω ПО ОКРУЖНОСТИ РАДИУСА R; ПРИ ЭТОМ ДЛИНА НЕДЕФОРМИРОВАННОЙ ПРУЖИНЫ РАВНА

1) R(1-ω2m/К)   

2) R(1+ω2m/К)   

3) Rω2m/К   

4) R(1-Кω2/m)   

5) R(1+К/mω)

Выбор первого ответа нетруден при нулевых частотах или массах при понимании того, что длина пружины (и. радиус) может только увеличиваться.

Задание повторяет предыдущее: ЕСЛИ ДЛИНА НЕДЕФОРМИРОВАННОЙ ПРУЖИНЫ ЕСТЬ l0, ТО ЖЕСТКОСТЬ ПРУЖИНЫ РАВНА

1) R(1+ω2m/l0)   

2) R(1-l0ω2/m)   

3) Rω2m/(R-l0)  

4) (R-l0)/mω   

5) Rω2m/(R+l0)

Выбор третьего ответа однозначен для очень жесткой пружины, когда ее растяжение отсутствует, т. е. радиус остается равным первоначальной длине.

В ряде заданий, независимо от содержания, достаточно знать, что если модули перпендикулярных векторов 3 и 4, то для результирующего жди 5. Пифагоровых чисел существует гораздо больше: 6, 8, 10; 5, 12, 13; 8, 15, 17; 7, 24, 25; 9, 12, 15; 10, 24, 26; 12, 16, 20; 20, 21, 29; 15, 20, 25; 16, 30, 34 и др.

Рисунки здесь сознательно опущены: они не нужны для нахождения правильного ответа в этих заданиях. Не все задания повышенной сложности (например, самое первое из них содержится в сборнике задач физических олимпиад[12]) таковыми являются. Даже беглый обзор рассмотренных дистракторов показывает, что их аналитические выражения позволяют находить верные ответы без выполнения задания, чем заметно искажают исходную дидактическую задачу. Это превращает ее может быть в не менее интересную, но гораздо менее контролируемую и иначе оцениваемую. Замена аналитических выражений численными ответами, как это сделано в следующих выпусках пособия, не украшает тест в целом, да и не требует, по сути, набора дистракторов, в этих случаях достаточны будут и тесты открытого типа со свободным ответом.

 

Частоты выбора дистракторов

Самостоятельным направлением эмпирической проверки тестовых заданий является определение частот предпочтения дистракторов. Классическая теория педагогических измерений требует равновероятного отвлечения испытуемых от правильного ответа, что достижимо далеко не всегда, а скорее в тех случаях, когда содержательная основа дистрактора безразлична для испытуемого. В педагогической же практике наиболее удачными являются дистракторы, которые отражают самые распространенные типичные ошибки и заблуждения обучаемых. Их не приходится даже специально придумывать, а самый предпочитаемый дистрактор становится важным дидактическим фактором процесса обучения. Равновероятность же выбора дистракторов больше относится к их случайному выбору.

Процедура эмпирической проверки сводится к построению обычных матриц тестовых результатов с тем отличием, что вместо нуля на пересечении строки и столбца матрицы ставится номер выбранного дистрактора, а правильный ответ при этом отмечается уже не единицей, а другим обусловленным знаком (удобней всего знак "плюс"). Такие матрицы строятся для каждого из параллельных пакетов тестовых заданий по всем темам с одновременной статистической обработкой тестовых баллов.

Анализ частоты выбора дистракторов в первую очередь используется в дидактических целях, причем часто это требуется делать немедленно, пока заблуждение не закрепилось в памяти. Так лишь двум из десяти далось применение третьего закона динамики Ньютона к конкретной ситуации: из равенства сил взаимодействия тел остальные делали непременный вывод о равномерности их движения или даже о его отсутствии. Знак работы упругой силы сумели указать столько же испытуемых, а при ее вычислении одинаково ошиблись 70% из них. В некоторых случаях причиной выбора дистрактора является недопонимание содержания задания, что выясняется при обсуждении и требует его коррекции в дальнейшем, в других ситуациях коррекция скорее бывает нужна знаниям самих испытуемых - так более половины из них не представляли, что мощность силы тяжести тоже может быть отрицательной.

Когда дистракторы строились по принципу кумуляции, то значительная часть испытуемых пренебрегала уточнениями, останавливаясь на первом из них. В связи с этим, вероятно, не следует в таких случаях упорядочивать расположение дистракторов. Дистрактор – «груз на четвертой части пружины колеблется с частотой такой же, как на целой» - выбрали 70% испытуемых без всяких рассуждений и вычислений. А ведь так называемые неработающие дистракторы здесь могли бы заставить задуматься над тем, что не все обстоит так просто, хотя формальная тестология рекомендует их исключать. Когда выбор дистрактора происходит при полном незнании предмета, то включаются уже не когнитивные, а скорее аффективные механизмы, содействовать чему едва ли уместно при диагностике и измерению когнитивной сферы.

Когда 90% испытуемых считают правильным утверждение "Во всех инерциальных системах отсчета тело движется с одной и той же скоростью", забывая при этом даже закон сложения скоростей, который сразу его опровергает, то это говорит скорее в пользу такого дистрактора, вскрывающего непонимание учебного материала. Когда 70% испытуемых, вычисляя работу равномерно возрастающей силы, выбирают дистрактор, который основывает расчет на приращении силы вместо ее среднего значения, то этим он предвосхищает такую их типичную ошибку, хотя и довольно неожиданную. Повсеместное использование калькуляторов без оценки результата часто ведет к ошибке в сотни, тысячи и даже миллионы раз; если ее иной раз и не удается предугадать, то все равно неработающий дистрактор здесь как раз предостерегает от нее. Когда в задание входит ускорение свободного падения, то дистракторы 100 и 98, 50 и 49 лишь подсказывают, что его численное значение не стоит здесь округлять до 10. Наконец, неработающий дистрактор может быть включен в перечень противоположных альтернатив, так что его отсутствие просто станет подсказкой для выбора одной из них.

Когда от содержания явления резонанса - рост амплитуды колебаний при сближении частот системы и внешней силы - дистрактор, определяющий условие его осуществления, отвлекает 90% испытуемых, то это дает мотивированный повод для разъяснения еще раз сущности явления, а не для того чтобы уточнять или заменять дистрактор.

Объяснить выбор дистрактора в заданиях операционного уровня можно, когда они подобраны составителем не произвольно, а являются конечным результатом какой-либо вычислительной процедуры, предугадать которую помогает опыт работы. Только в этом случае численный результат задания однозначно связывается с ошибочным алгоритмом вычислений испытуемого и может быть проанализирован в дальнейшем. Если же дистракторы и ответ задавать в виде аналитических выражений, то причину выбора одного из них установить будет непросто, вероятнее всего, это будет сделано наугад. Наиболее предпочтительно, чтобы за выбором дистрактора стояла некоторая логика, составление таких дистракторов весьма полезно и преподавателю, заставляя его глубже вникать в сущность даже хорошо знакомых положений и пытаться представлять, как они воспринимаются обучаемыми.

Подробный анализ причин выбора дистракторов выполняет важную дидактическую функцию в обучении, чтобы педагогическая рефлексия оперативно замыкала цепи управления учебным процессом. Так, например, хотя принцип кумуляции ответов почти наводит на правильный ответ касательно работы гребца неподвижной относительно берега лодки при его стремлении плыть против течения, тем не менее, его выбрали лишь 40% испытуемых. А с весьма простым заданием по определению работы заданной силы трения на известном пути не справились почти 90% из них при почти равномерном распределении выбора дистракторов (идеал тестолога!), и все из-за небольшой проблемности задания, связанной с включением в него излишнего для расчета, но не для рассматриваемой ситуации, данного - массы перемещаемого груза, которую испытуемые пытались включать в расчетную формулу. Здесь дистракторы как раз сыграли свою прямую роль - отвлекать от правильного решения. В другом задании 40% испытуемых отвлекал первый же дистрактор из-за того лишь, что он совпадал с результатом простого перемножения данных (при вычислении работы упругой силы), а еще 20% привлек результат деления.

Подобные факты заставляют изучать контингент обучаемых и искать особые подходы к его обучению на младших курсах, что требует, естественно, большой дополнительной работы. Магия цифр и желание сразу взять в руки калькулятор не роднятся с бездумным угадыванием ответов - в дальнейшем убедимся, что последнего не происходит при тестировании даже с закрытой формой; дидактически это совсем другой аспект незнания, в какой-то мере даже деятельностный. Он и приводит к довольно равномерному распределению частот выбора дистракторов, особенно в заданиях с более сложной вычислительной процедурой. Именно в таких случаях удача тестолога оказывается задачей педагога. Дидактическая задача возникает, когда выявляется предпочитаемый большинством дистрактор, что требует коррекции самой учебной работы. Так обстоит и тогда, когда более 60% обучаемых считают, что жесткость четверти пружины такая же, как и у целой, а две трети из них делают одинаковую ошибку при определении скорости колеблющейся частицы.

И совсем иначе представляется ситуация, когда групповая скорость меньше фазовой при убывании последней с ростом длины волны лишь для 20% обучаемых, а для остальных при ее возрастании, постоянстве или даже достижении минимума; при этом неработающим остался почему-то дистрактор "при достижении максимума", на который логика составителя возлагала самые большие надежды. Скорее всего, более важно предугадать или выявить самую распространенную ошибку обучаемых и отразить ее в наборе дистракторов, чем отслеживать разброс их гаданий или размышлений при полном не знании предмета; это заставляет задумываться о полезности дистрактора "не знаю", который объективно ориентирован на признание обучаемым этого факта и не провоцирует его на придумывание или угадывание ответов. Для групповой и общей коррекции обучения нужнее анализ ошибочности предпочитаемого дистрактора и правильное решение при его отсутствии; индивидуальная коррекция предполагает уже самостоятельную работу над своими ошибками.

Лишь один из восемнадцати верно связал период колебаний маятника с ускорением свободного падения, двенадцать из них сочли, что при большем периоде колебаний часы идут быстрее - это та ошибка, которая при устном собеседовании мгновенно исправляется (достаточно схватиться за голову). К затуханию колебаний, по мнению испытуемых, может приводить фактор любого дистрактора, но не вязкое сопротивление движению; ничем, кроме сугубо декларативного изучения этого вопроса, такое не объяснишь.

 

Измерение обученности в довузовской подготовке

Уникальную возможность измерения обученности одним и тем же средством дает довузовская подготовка. В отличие от вузовской ее предметная область почти полностью совпадает с общеобразовательной по всем изучаемым дисциплинам, поэтому входной, текущий, тематический, рубежный и итоговый контроль могут проводиться на базе одного и того же пакета тестовых заданий и даже с помощью одних и тех же параллельных тестов. Это позволяет напрямую сопоставлять результаты разных видов тестирования и выделять факторы, связанные с конкретными дидактическими процессами в группах слушателей. Такая работа была начата автором совместно с разработчиками тестов для входного, рубежного и итогового контроля знаний слушателей подготовительных курсов по физике. Пять параллельных тестов, содержащих по 15 заданий разной сложности, которые охватывают учебный материал, предусмотренный требованиями, использованы для входного контроля подготовленности слушателей. По результатам тестирования 55 испытуемых построено эмпирическое распределение частот n тестовых баллов Х, статистический ряд для которого представлен в таблице 1.

 

Статистический ряд тестовых баллов                      Таблица 1

Х	0	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
n	1	0	4	3	10	11	11	4	4	5	2	0	0	0	0	0

 

Из него следует, что размах распределения составляет более 10 баллов, а средний тестовый балл Хср = 5,5 соответствует степени усвоения учебного материала 37%. При случайном выборе одного из четырех предлагаемых ответов наиболее вероятное значение тестового балла было бы Хвер = 3,75 при степени усвоения 25%. Мода распределения согласно таблице практически совпадает со средним значением, а медиана Ме = 5,4 лишь слегка смещена влево, что говорит о его симметрии. Качественно такое распределение оказалось возможным представить как наложение нормального со средним значением около Хвер и бимодального с модами при Х = 6 и Х = 9. Ширина первого на половине высоты около двух баллов, однако второе значительно шире и практически полностью перекрывает первое, причем в центральной части не дает возможности отделить один максимум от другого. Наибольшая частота случайного выбора n = 8 почти не отличается от первой моды с n = 10, что указывает на высокую вероятность попыток угадывания ответов частью слушателей. Коррекция положения первой моды на угадывание при четырех вариантах ответов Хк = Х - (Хм - Х )/3 = 3 настолько снижает результат тестирования для значительной части испытуемых, что практически делает его слабо определенным. Для второй моды коррекция Хк = Х - (Хм - Х )/3 = 7 уже более надежна, но число таких слушателей невелико - по оценке их не более десяти. Для контингента с таким разбросом степени подготовленности и близким вероятному угадыванию средним тестовым баллом следует использовать при входном контроле тесты с меньшей вероятностью угадывания ответа, например, увеличивая число дистракторов в них хотя бы на единицу, что сразу отделяет область угадывания от области эмпирических значений.

Результаты входного тестирования весьма своевременно знакомят преподавателя с особенностями контингента слушателей, конкретно ориентируют его при распределении ресурса учебного времени и тематики занятий. Задания, с которыми не справилась большая часть обучаемых, служат дидактически оправданным элементом обучения. Данные тестирования могут использоваться для комплектации гомогенных по подготовленности учебных групп, для определения разделов учебного материала, требующих более глубокого и подробного изучения, а также для индивидуальной коррекции при диагностике пробелов в знаниях обучаемых и умениях ими пользоваться. Такой диагностике способствует построение профилей трудности тестовых заданий, который каждому из них сопоставляет число R правильных ответов на него. В таблице 2 это число указано под номером N задания.

 

Профиль трудности тестовых заданий                     Таблица 2

N	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
R	23	35	24	30	27	22	23	11	17	22	15	25	11	9	7

 

В среднем профиль может быть назван правильным и описан логистической кривой. Наблюдаемые провалы объясняются вполне конкретными причинами: при N = 1 тем, что ни один испытуемый оказался не знакомым с понятием радиус-вектора и лишь двое с определением мгновенной скорости; при N = 3 тем, что испытуемые не воспринимают предложенную форму записи закона сохранения импульса; при N = 8 заведомо была трудна задача о движении тел по наклонной плоскости; при N = 11 было затруднено восприятие условия задания. Запланированная сложность последних заданий соответствовала и их трудности. Относительная же легкость заданий с N = 12 оказалась обусловленной не вполне рациональным для целей данного тестирования выбором дистракторов - верный ответ в сумме дает вес распределенного на две опоры груза без подробного решения; однако эта нерациональность дидактически оправдана и весьма эффективно может использоваться в обучении. Пик при N = 10 связан с тем, что в одном из вариантов теста правильный ответ мог быть получен при разных способах решения. Относительная же легкость заданий с N = 12 оказалась обусловленной не вполне рациональным для целей данного тестирования выбором дистракторов - верный ответ в сумме дает вес распределенного на две опоры груза без подробного решения; однако эта тестологическая нерациональность дидактически оправдана и весьма эффектно может использоваться в обучении.

Профили трудности были построены также отдельно для каждого из пяти параллельных тестов. Для построения профильных кривых они статистически менее репрезентативны, но позволяют рассчитать независимо средние значения числа R правильных ответов на вариант теста. В результате оказалось, что R = 5,3 , R = 5,5 , R = 6,2 , R = 5,8 , R = 5,6 , что демонстрирует достаточно высокую надежность пакета параллельных тестов, которые дают в среднем близкие оценки для случайной выборки испытуемых.

Самостоятельный интерес имеет и анализ выбора дистракторов. Так, например, непривычная для слушателей форма записи выражения для кинетической энергии подтолкнула их к выбору привычного выражения для энергии потенциальной, а задание движения тела "вверх" - к выбору знака "плюс" в его аналитическом описании у 80% испытуемых. Закон сохранения импульса нередко ассоциируется с самим импульсом, а за меру механического взаимодействия столь же часто как и сила принимается ее работа. Непонимание характера векторного описания движения в пространстве приводит к равновероятному выбору двух линейных зависимостей вместо иррационального выражения верного ответа. Для многих вызывают затруднения и простые графические расчеты.

 

Заключение

Тесты должны измерять качество усвоения учебного материала данной дисциплины: объемы знаний и уровни владения ими, т.е. то, что охватывается понятием обученность. Они пригодны для выявления уровня знаний, если дадут низкий балл недоучившемуся и высокий обученному, они надежны, если дают один и тот же балл одинаково знающим. Способствует этому унификация тестовых заданий по форме, исключение тех из них, которые больше выявляют интеллект и способности, нежели знания и умения. Тесты обученности не предназначены для измерения трудоспособности, профпригодности, интеллекта, прилежания или личностных характеристик. Измерение последних в массовом порядке во многих странах запрещено, оно недопустимо и опасно без учета психологического состояния испытуемых. Вопрос о том, измеряют ли тесты интеллектуальные способности, давно стоял перед психологами, причем довольно надежно установлено, что тесты интеллекта не фиксируют каких-либо процессов, а только сравнивают их результаты.

Определений интеллекта так много, что это свойство индивида едва ли является измеримым. Даже такие психологические способности, как память, невозможно рассматривать как отдельные свойства, которые можно измерять, поскольку в познавательной деятельности имеем дело не со свойствами, а с процессами, зависящими от конкретной ситуации, мотивации, установки и других факторов. Задания, репрезентативные для одних социальных или этнических групп, не всегда пригодны для других. Даже сама степень знакомства с процедурой тестирования может порождать различия в тестовых баллах, не связанные ни со способностями, ни с уровнем обученности. Выполнение тестовых заданий всегда подключает весь арсенал когнитивных процессов, таких как восприятие, память, распознавание, мышление, причем практически невозможно таким путем выделить отдельную способность и приходится анализировать их в совокупности.

Этика и право не препятствуют определению когнитивных возможностей и измерению обученности студентов. Объективная мера однако не всегда воспринимается психологически комфортно, поскольку не оставляет места на скидки из-за возможности необъективного оценивания. Думается, что каждый вправе знать об уровне своих знаний, но это не обязательно должно становиться достоянием других.