Метод анализа результатов критериально-ориентированного тестирования в целях текущего контроля учебного процесса

Опубликовано в ж. педагогические Измерения №4 2015 г.

 

Андрей Печников

профессор кафедры кораблевождения,

ВУНЦ ВМФ “Военно-морская академия”

 

Денис Печников

доцент кафедры кораблевождения,

ВУНЦ ВМФ “Военно-морская академия”

 

В статье раскрывается подход к решению задач текущего педагогического контроля методами критериально-ориентированного тестирования. Результаты тестирования рассматриваются не как индивидуальные достижения обучаемых, а как продукт взаимодействия преподавателя и обучаемых в процессе обучения. Предлагаемый метод анализа результатов тестирования в дополнении к уровню обученности обучаемых обеспечивает оценку эффективности обучающих воздействий обучающего и реального проявления свойств обучаемости и учебной мотивации обучаемых.

Ключевые слова: текущий педагогический контроль, критериально-ориентированное тестирование, учебная мотивация, обучаемость, обучающее воздействие.

 

Введение

Под педагогическим контролем обычно понимают “систему научно-обоснованной проверки результатов образования, обучения и воспитания” или “функцию управления образовательным процессом, осуществляемую с целью получения достоверной информации о ходе и результатах проводимой воспитательной и обучающей деятельности”. Выделяют входной, текущий и итоговый виды контроля. В качестве перспективного средства реализации всех этих видов контроля рассматривается педагогическое тестирование.

Входной и итоговый контроль предваряют и завершают учебный процесс. Их результаты могут и должны учитываться при проектировании обучения, но они не ориентированы на корректуру уже начавшегося образовательного процесса. Эти виды контроля могут быть реализованы как средствами нормативно- ориентированного, так и критериально-ориентированного тестирования. В отличие от них, текущий контроль реализуется непосредственно в процессе обучения, а его “важнейшей функцией является функция обратной связи, которая позволяет преподавателю получать сведения о ходе процесса усвоения у каждого учащегося и адаптировать процесс обучения к их потребностям”.

В педагогике обратная связь определяется как “положительное или отрицательное воздействие результатов обучения на процесс освоения новых знаний и умений”. Оценки успешности обучаемых, определяемые методами нормативно-ориентированного тестирования, здесь не информативны, поскольку не отражают соотношения вида “усвоил - не усвоил” между обучаемым и изученным содержанием обучения. Поэтому для решения задач текущего педагогического контроля могут использоваться только методы и средства критериально-ориентированного тестирования. Для установления соответствия существующих методов обработки результатов критериально-ориентированного тестирования целям текущего педагогического контроля, прежде всего, необходимо четко определить функции самого этого вида педагогического контроля.

Функции текущего педагогического контроля реализуются в процессе решения коммуникативной задачи, определяемой как “задача совершенствования знаний одного субъекта-реципиента другим субъектом-решателем коммуникативной задачи. Требование коммуникативной задачи для её решателя (обучающего) формулируется как требование формирования образа изучаемого объекта и его представления реципиенту (обучаемому) в виде, обеспечивающем последним усвоение этого объекта. Критерием решённости коммуникативной задачи являются достижение достаточной условной полноты знаний обучаемого об изучаемом объекте, причём за эталонное принимается знание обучающего”.

Эти функции “не ограничиваются аттестацией достигнутого обучаемыми уровня подготовленности, а включают предоставление обучающему наиболее полной информации о той создавшейся дидактической ситуации, разрешение которой является целью решения текущей коммуникативной задачи”. Авторы, исследующие тестовые технологии как средство контроля процесса обучения, подтверждают такой вывод.

Так Н.Ф. Ефремова выделяет в качестве ведущей функции тестов их диагностическую, а не контрольно-оценочную функцию. Она определяет тесты как “инструментарий для выявления индивидуальных затруднений, их причин и направлений корректировок деятельности учащихся и учителей”. М.Б. Челышкова, анализируя функции тестирования, отмечает, что в ситуации текущего педагогического контроля тесты предназначены для выявления пробелов в знаниях и слабых места в подготовке учащихся, выявления направления индивидуальной помощи в освоении нового материала”.

Полноту информации, необходимой для достижения целей текущего педагогического контроля, Е.И. Машбиц связывает с наличием следующих данных: 1) достаточность фонда знаний и умений учащегося для усвоения способа действия, предусмотренного учебной целью; 2) индивидуальные особенности учащегося, имеющие значение для достижения учебных целей; 3) эффективность в отношении индивидуальных особенностей учащегося отдельных тех видов обучающих воздействий (способов обучения), которые входят в методический арсенал обучающего.

 

Анализ существующих процедур обработки результатов критериально-ориентированного тестирования

Во всех известных схемах обработки данных тестирования принято исходное положение Г. Раша о том, что успех участника тестирования в решении определенного тестового задания зависит, в основном, от двух факторов: трудности задания и уровня подготовленности испытуемого. В соответствии с этим положением, обученность испытуемого оценивается вероятностью того, что он правильно выполнит некоторое случайно выбранное тестовое задание, сформулированное в рамках тестируемой предметной области. Эта вероятность обозначается термином “функция успеха” и определяется как

,                                                                      (1)

где уровень обученности испытуемого и уровень трудности задания являются латентными параметрами, оценка которых и является целью тестирования.

 

Общепринятая схема оценки результатов тестирования

Пусть имеется испытуемых с различной подготовленностью . Каждому испытуемому предлагается один и тот же вариант теста, состоящий из заданий различной трудности . Пусть индикаторы успешности решения этих заданий определяются по дихотомному принципу: , если i-ый испытуемый правильно выполнил j-ое задание, и , если i-ый испытуемый выполнил j-ое задание неправильно.

Для обработки полученных результатов значения сводятся в матрицу ответов, пример которой представлен в табл. 1.

Таблица 1

Матрица ответов (11х9)

Номер i испытуемого	Номер j тестового задания
1	2	3	4	5	6	7	8	9
1	0	1	1	0	1	0	1	1	1	6	0,67
2	0	0	0	0	1	0	0	1	1	3	0,33
3	0	0	0	0	0	1	0	1	1	3	0,33
4	0	0	0	0	1	0	1	1	1	4	0,44
5	1	0	0	0	1	0	0	1	1	4	0,44
6	0	1	1	0	0	0	1	1	1	5	0,56
7	1	1	1	1	1	1	1	1	1	9	1,00
8	1	0	1	1	0	1	1	1	1	7	0,78
9	0	0	0	0	0	0	1	1	1	3	0,33
10	1	0	1	0	1	0	1	1	1	6	0,67
11	1	1	1	1	1	1	1	1	0	8	0,89
	5	4	6	3	7	4	8	11	10
	0,45	0,36	0,55	0,27	0,64	0,36	0,73	1,00	0,91
	0,55	0,64	0,45	0,73	0,36	0,64	0,27	0,00	0,09
Ранг	6	7	5	9	4	7	3	1	2
Ранг	5	8	9	7	4	3	6	2	1
Сложность	82,5	141,3	189,0	126,0	68,9	55,8	96,6	43,4	31,6

 

Первичная обработка матрицы включает расчет по каждой строке и по каждому столбцу соответствующих маргинальных сумм элементов

.                                     (2)

Исходный балл отражает меру успеха i-ого испытуемого, а балл рассматривается как показатель трудности j-ого задания.

Поскольку каждое из значений представляет собой апостериорную оценку функции успеха , то в качестве первичных показателей, отображающих латентные параметры уровня обученности i-ого испытуемого и уровня трудности j-ого задания, принимаются соответствующие им оценки математического ожидания

                                                               (3)

.                                                                (4)

Оценки (3,4), приведенные в табл. 1, представляют собой все данные, которые могут дать существующие методы анализа результатов критериально-ориентированного тестирования для решения задач текущего контроля учебной деятельности обучаемых.

Эти данные не несут информации об эффективности обучающих воздействий, реализованных при изучении тестируемой предметной области, об уровне учебной мотивации обучаемых и их индивидуальных характеристиках обучаемых, определяющих результативность их учебной деятельности. Поэтому они явно недостаточны для достижения целей текущего педагогического контроля. Кроме того, чтобы адекватно использовать оценки (3,4) нужно чётко понимать смысл тех характеристик, которые они измеряют.

 

Смысл показателя трудности тестового задания

Если понятие и процедура оценки показателя (4) уровня обученности (подготовки, квалификации) испытуемого интуитивно понятны, то понятие “трудность задания”, вызывает много вопросов. Поэтому рассмотрим его более подробно.

Под термином “трудность тестового задания (уровень трудности)” понимается “основная количественная характеристика тестового задания, не зависящая от выборки испытуемых и отраженная на определенной шкале”.

Аналогичную трактовку приводят М.Ю. Олешков и В.М. Уваров: “характеристика задачи (пункта) теста, отражающая статистический уровень ее решаемости в данной выборке стандартизации”. Такие дефиниции трудности задания корректны только в отношении нормативно-ориентированного тестирования, где, как указывает В.С. Аванесов, “задания нельзя включать в настоящий тест до тех пор, пока не станет известной мера их трудности”.

Более общую и обтекаемую трактовку трудности задания дают Л. Крокер и Дж. Алгина.

Они трактуют термин “уровень трудности (трудность) тестового задания (item difficulty)” как “основную статистическую характеристику тестового задания, определяемую долей испытуемых выборки, которые отвечают на это задание правильно”. При этом указывается, “что это технический термин, который иногда кажется противоречащим общепринятой трактовке термина “трудность”1.

Суть этого противоречия в том, что по логике вещей трудность задания должна расти с ростом оценивающего ее показателя, а фактически она растет при уменьшении показателя (4). С целью устранения этого несоответствия наряду с показателем (4), оценивающим вероятность успеха, используется показатель вида

,                                                        (5)

который оценивает противоположную вероятность срыва выполнения задания и определяется термином “индекс трудности”. Кроме показателей (4,5) известная теория IRT (Item Response Theory) и реализующие её модели для оценки трудности заданий используют более сложные показатели, которые сочетают оценки (4,5).

Таким образом, “трудность тестового задания” ─ это условное наименование (обозначение) параметра тестового задания, который определяется экспериментальным путем на этапе разработки нормативно-ориентированного теста, служит средством формирования этого теста, но для оценки результатов тестирования испытуемых не используется. В процессе фактического тестирования заранее определенные значения трудности отдельных тестовых заданий могут использоваться в технологиях адаптивного нормативно-ориентированного тестирования для оптимизации процедуры выбора следующего задания.

С учетом указанного показатели (4,5) трудности тестовых заданий в отношении целей критериально-ориентированного тестирования бесполезны, поскольку они не несут информации, необходимой решения коммуникативной задачи. При этом остается открытым вопрос, что оценивают показатели (4,5).

С формальной точки зрения, представленные в табл. 1 оценки показателей (4,5) ─ это соответственно значения функций успеха и неуспеха, которые наиболее вероятны для рассматриваемой группы испытуемых при выполнении соответствующего j-ого тестового задания. Эти оценки рассматриваются в качестве характеристики j−ого тестового задания, которая, как отмечает М.С. Мысик, позволяет “констатировать, что с рассматриваемым заданием испытуемые справляются лучше (или хуже), но не дают никакого представления о том, почему”.

Вопросы - почему одно тестовое задание труднее другого и чем определяется трудность тестовых заданий - довольно активно обсуждается в работах А.В. Гидлевского, Т.В. Кошкаровой, А.П. Попова, И.Н. Елисеева, Е.Ю. Комаровой, О.Э. Наймушиной, Б.Е. Стариченко, И.С. Наумова, В.С. Выхованец. Взгляды авторов всех этих публикаций едины по нескольким позициям.

Во-первых, анализируя содержание рассматриваемых публикаций с позиций теории задач Б.А. Балла, можно прийти к выводу, что все их авторы рассматривают тестовое задание как частный случай учебной задачи: Некоторые из них прямо указывают на это: “в контексте нашей работы различие терминов “задача” и “задание” не является принципиальным, и по этой причине они будут использоваться как синонимы”.

Во-вторых, все авторы согласны, что тестовое задание характеризуется вполне определенной величиной усилий, которые должны быть приложены испытуемым (обучаемым) для его решения. Третья согласованная позиция состоит в том, что величина усилий испытуемого может быть оценена субъективно и объективно, и в отношении этих оценок соответственно можно применять термины “трудность” и “сложность”, формулируемые в педагогике в отношении учебных задач (см. табл. 1).

Таблица 1

Взаимное соответствие понятий трудности и сложности задачи в педагогике

Трудность (субъективная оценка)	Сложность (объективная оценка)
“мера сравнения ресурсов решателя задачи с ресурсами, необходимыми для ее решения”	“объективная ресурсоемкость реального или предполагаемого процесса решения задачи”1
“субъективная характеристика задачи, зависящая от того, кто решает эту задачу”	“объективная характеристика задачи, которая определяется структурой процесса ее решения”2
“субъективная категория, характеризующая готовность субъекта преодолеть препятствия, связанные с определенным объективным составом деятельности”	“объективная категория, характеризующая состав деятельности, необходимой для решения задачи, независимо от того, кто эту деятельность выполняет”3

 

Далее мнения тестологов расходятся. Линия разделения мнений проходит по результатам установления соотношения между терминами “сложность” и “трудность.

Так А.В. Гидлевский, Т.В. Кошкарова, А.П. Попов и И.Н. Елисеев рассматривают два подхода к решению проблемы исчисления трудности учебных тестовых заданий. Первый подход опирается на возможность оценки трудности задания, основываясь на характеристиках его сложности, под которыми понимаются минимальная длина алгоритма решения, либо количество операций в неоптимизированных алгоритмах. Второй подход можно назвать сравнительным. Он предполагает, что трудность учебного тестового задания вводится через отношение числа учащихся, не решивших задачу, к общему количеству решавших ее.

Другими словами, эта группа авторов рассматривает трудность и сложность как названия двух способов оценки одной и той же характеристики тестового задания. При этом А.В. Гидлевский и Т.В. Кошкарова отдают предпочтение первому подходу и развивают объективные методы оценки, а А.П. Попов и И.Н. Елисеев предпочитают сравнительный подход и развивают его модели.

Если приверженцы сравнительного подхода никак не комментируют недостатки объективного подхода, то сторонники последнего активно критикуют альтернативные модели: “классический (сравнительный) метод показал свою несостоятельность, так как возможность трансляции результатов тестирования конкретной группы испытуемых на все другие группы вызывает справедливые сомнения тестологов”.

Кроме того, они констатируют безуспешность попыток найти взаимосвязь между показателями сложности и трудности, ввиду недостатков предлагаемых подходов. Другими словами, эти две группы авторов не видят перспектив сближения и сочетания развиваемых ими подходов.

М.С. Мысик, Е.Ю. Комарова, О.Э. Наймушина, Б.Е. Стариченко, И.С. Наумов, и В.С. Выхованец, наоборот, считают, что субъективные и объективные оценки тестовых заданий оценивают не одну и ту же, а две разные характеристики, которые отличаются по своему смыслу, а потому должны иметь разные количественные и качественные оценки.

Под трудностью подразумевается, главным образом, затруднение или препятствие, характеризующееся высокой сложностью и требующее большого труда. В то время как “сложность” характеризуется как многообразность затруднительных препятствий. Под сложностью понимается объективная характеристика задания, не зависящая от учащихся, а под трудностью - субъективная характеристика, непосредственно связанная с процессом и результатами решения задачи учениками.

Важно осознать, что степень трудности задания не совпадает со степенью его сложности. Степень сложности характеризуется объективной насыщенностью и формой его изложения, а степень трудности всегда предполагает соотнесение подлежащего усвоению учебного материала с ранее усвоенным учебным материалом и интеллектуальными возможностями учащихся.

Эта группа авторов исходит из того, что между характеристиками трудности и сложности тестовых заданий существует та взаимная связь, которая определена в педагогике в отношении сложности и трудности учебной задачи: трудность характеризует возможность субъекта преодолеть объективную сложность задачи.

Принимая это положение педагогики, авторы считают, что трудность – субъективное восприятие сложности и оценка теста учащимся как превышающий его возможности3, а “степень сложности сказывается на трудности выполнения теста в зависимости от индивидуальных способностей учащихся5. Они полагают, что сложность тестового задания ─ это объективная многофакторная количественная дидактическая характеристика учебного задания, отражающая вероятность выполнения задания учащимся и определяемая числом и характером умственных действий, необходимых для его решения нормативным способом. При этом считается, что “трудность задачи может быть получена путем сопоставления сложности задачи со знаниями, имеющимися у обучающегося, и не может быть больше сложности: в процессе обучения сложность задачи является достижимым пределом трудности.

Различия в подходах этой группы авторов состоят в том, что М.С. Мысик, Е.Ю. Комарова, О.Э. Наймушина и Б.Е. Стариченко предлагают оценивать сложность и трудность заданий методом экспертной оценки, а И.С. Наумов и В.С. Выхованец развивают формализованные подходы к оценке структурной сложности взвешенного ориентированного мультиграфа, представляющего собой структуру содержания тестовых заданий.

Здесь целесообразно отметить, что кроме моделей А.В. Гидлевского, Т.В. Кошкаровой, И.С. Наумова и В.С. Выхованец, давно известны модели В.П. Мизенцева и Л.П. Леонтьева, которые прямо ориентированы на оценку семантической сложности познавательных объектов. Эти модели и соответствующие им методики были неоднократно апробированы и доказали свою объективность и адекватность.

Е.Ю. Комарова, М.С. Мысик, О.Э. Наймушина, Б.Е. Стариченко, И.С. Наумов и В.С. Выхованец формулируют следующие утверждения: трудность непосредственно связана со сложностью; трудность задания будет возрастать пропорционально его уровню сложности; знание сложности заданий позволяет осуществить предсказание трудности их решения учащимися и т.п. На основе таких утверждений они естественно, так или иначе, формулируют вывод, что трудность является характеристикой производной от сложности, а критерием адекватности различных мер сложности является достаточно высокая степень соответствия (корреляции) между мерой сложности и мерой трудности задания. Однако надёжно подтвердить такую степень соответствия не удаётся.

Например, М.С. Мысик, исследуя по результатам ЕГЭ связь между трудностью тестовых заданий и заявленными тремя уровнями их сложности (базовый, повышенный и высокий), отмечает парадоксальное на её взгляд несоответствие между полученными статистическими оценками этих характеристик. Суть несоответствия состоит в том, что “в 2009 году успешность выполнения заданий низшего базового уровня была сопоставима с успешностью выполнения заданий высокого уровня, а задания повышенного уровня оказались наиболее сложными для выполнения, а в 2010 году наименьший процент верно выполненных заданий пришелся на базовый уровень”4.

Такие же примерно несоответствия были выявлены и в случаях, когда сложность тестовых заданий определялась не экспертными, а формальными методами. Так, например, описан эксперимент, в ходе которого группе из 134 курсантов был предложен тест по знанию основных понятий навигации.

 

Результаты экспериментальной оценки взаимосвязи трудности и сложности тестовых заданий и их обсуждение

Принятый для оценки взаимосвязи трудности и сложности заданий тест состоял из 50 заданий с выбором из предложенных 5 ответов единственного верного ответа. Сложность каждого из 50 тестовых заданий была оценена по методике В.П. Мизенцева. Связь показателей (5) трудности тестовых заданий с показателями сложности этих заданий оценивалась по критерию ранговой корреляции Спирмана.

Полученный результат свидетельствовал, что связь между трудностью и сложностью тестовых заданий в соответствии с принятой в психологии зоной неопределенности статистических оценок должна быть классифицирована как статистически незначимая (случайная). В качестве наглядного подтверждения такого положения в табл. 1 приведён взятый наудачу фрагмент данных этого эксперимента, который, имея для оценку , в явном виде демонстрирует отсутствие непосредственной зависимости трудности тестового задания от его сложности.

Таким образом, либо методика В.П. Мизенцева не соответствует принятому критерию адекватности мер сложности заданий, либо неверен сам критерий этой адекватности.

Методика В.П. Мизенцева многократно апробирована: 1) она обеспечила разработку и экспериментальную проверку моделей обучаемости; 2) она явилась основанием для разработки проблемно-ориентированной системы проектирования сценария обучения и управления процессом его реализации; 3) она обеспечила разработку метода декомпозиции содержания обучения на эпизоды автоматизированных учебных занятий и т.д. Другими словами, методика В.П. Мизенцева уже доказала свою адекватность.

Если методика В.П. Мизенцева адекватно оценивает сложность познавательного объекта, знание которого анализируется рассматриваемым тестовым заданием, то тогда некорректен сам критерий адекватности мер сложности тестовых заданий, в качестве которого принята высокая степень соответствия (корреляции) между мерой сложности и мерой трудности задания. Однако, некорректность этого критерия ставит под сомнение общепринятое в педагогике положение о том, что трудность задачи характеризует возможность субъекта преодолеть объективную сложность задачи.

Чтобы разобраться в этой противоречивой ситуации достаточно привести оригинальную формулировку того положения Г.А. Балла, которое составило основание для рассматриваемого критерия адекватности мер трудности и сложности: При прочих равных условиях наиболее правдоподобной является та гипотеза, для которой ряд значений сложности дает наиболее высокую корреляцию с рядом значений трудности.

Из этой формулировки следует, что высокая корреляция между оценками трудности и сложности ─ это не факт, который может составить основание для формулировки критерия, а только гипотеза, которая требует своей проверки. Кроме того, Г.А. Балл подчеркивает, что рассматриваемая гипотеза представляется правдоподобной только “при прочих равных условиях”. Что мог иметь в виду Г.А. Балл под “прочими равными условиями”?

Если рассматривать уровень обученности только как характеристику и результат индивидуальной учебной деятельности обучаемого, то трудность учебного задания для обучаемого будет зависеть только от сложности задания. Чтобы обеспечить одинаковый уровень трудности всех тестовых заданий достаточно обеспечить одинаковую сложность этих заданий. Именно такой подход имеет место в тестологии.

Однако в теории педагогики уровень обученности, а, значит и результат тестирования, рассматриваются не как результаты индивидуальной учебной деятельности обучаемого, а как результаты корпоративной деятельности обучения, которые проявляется в деятельности обучаемого. Поэтому, в числе факторов, определяющих трудность тестового задания, следует учитывать воздействие сложности объекта, тестируемого этим заданием, на деятельность как обучаемого, так и обучающего. Следует анализировать условия решения не учебной, а коммуникативной задачи.

Сегодня между целями текущего педагогического контроля и методами критериально-ориентированного тестирования имеет место противоречие, суть которого состоит в следующем. Текущий педагогический контроль реализуется с целью улучшить результаты учебной деятельности обучаемого путем изменения обучающих воздействий как параметров деятельности обучающего. Формулируя такую цель, мы предполагаем, что деятельность обучающего является фактором, определяющим результаты обучения. Однако, анализируя результаты тестирования, мы рассматриваем эти результаты только как продукт деятельности обучаемого и исключаем деятельность обучающего из своего анализа. Чтобы устранить это противоречие и обеспечить достижение целей текущего педагогического контроля следует анализировать результаты тестирования как продукт корпоративной деятельности обучения, а не индивидуальной деятельности обучаемого.

 

Результат выполнения тестового задания как продукт взаимодействия обучающего и обучаемого

Под термином “учебный элемент (УЭ)” будем понимать “логически завершенный элемент содержания программы обучения, а под термином ”учебный объект (УО)” – “информационный продукт, отображающий те стороны структуры или функционирования УЭ, на которые направлено конкретное обучающее воздействие”. Таким образом, УО есть тот образ УЭ, который предъявляют обучающий или обучаемый друг другу в конкретной дидактической ситуации. В общем случае УО может быть представлен в идеальном (общение), материализованном (схема, действующая модель и т.д.) и смешанном виде.

Обучение представляет собой процедуру попеременного манипулирования УО (см. рис. 2), реализуемую двумя реальными субъектами (обучающим и обучаемым). В этой процедуре УО для обучающего и обучаемого в зависимости от реализуемого обучающего воздействия играет роль объекта управления или отображающего элемента.

 

Рис. 2. Схема взаимодействия обучающего и обучаемого
в процессе решения коммуникативной задачи

Выделяют два основных вида обучающих воздействий: изложение учебного материала и учебную задачу. Если обучающий реализует первый вид воздействий и предъявляет изучаемый объект обучаемому, то для него УО является объектом управлении, а для обучаемого - отображающим элементом. Если реализуется второй вид обучающего воздействия, то обучаемый, манипулируя УО, решает задачу управления им, а обучающий - задачу на рефлексию этого УО. Первый вид обучающих воздействий обладает той особенностью, что его результаты могут быть выявлены только путем реализации второго вида обучающего воздействия. Именно эту цель преследуют текущий педагогический контроль и реализующие его методы критериально-ориентированного тестирования.

Для анализа влияния деятельностей обучающего и обучаемого на результативность (эффективность) обучения, прежде всего, следует определить виды деятельности, входящие в состав обучения, и организацию их взаимодействия. В педагогике эти вопросы наиболее обстоятельно рассмотрены В.М. Блиновым (см. табл. 2).

Таблица 2

Характеристики деятельностей в составе обучения [В.М. Блинов, 1976]

Основные характеристики	Название деятельности
Обучение	Деятельность обучения	Обучающая	Учебная
Субъект деятельности	Обучающий, обучаемый	Активный - обучающий. Пассивный- обучаемый.	Обучающий	Обучаемый
Объект деятельности	Учебная деятельность обучаемого	Обучающая деятельность	Учебный элемент (УЭ)	Собственное сознание обучаемого, учебный объект (УО)
Вид деятельности	Групповая, кооперативная	Индивидуальная управленческая	Индивидуальная коммуникативная	Индивидуальная, ограниченно познавательная
Цели деятельности	Заданные изменения в субъекте учебной деятельности (обучаемом)	Организация взаимодействия между обучающей и учебной деятельностями	Создание условий для достижения целей учебной деятельности	Усвоение УЭ как результат изменения сознания обучаемого
Средства деятельности	Педагогическое общение	Методы, приемы и способы осуществления обучающей деятельности	Материальные и идеальные модели УЭ	Приемы и способы познавательной деятельности
Способ деятельности	Управление учебной деятельностью обучаемого	Формулировка и решение дидактической задачи	Реализация обучающего воздействия путем представления УЭ в виде УО	Манипулирование УО в процессе решения познавательной задачи
Продукт деятельности	Фактические изменения в субъекте учебной деятельности (обучаемом)	Вид обучающего воздействия как способ организации взаимодействия обучающего и обучаемого	Предъявляемый обучаемому УО	Прямой - усвоенный УЭ. Опосредованный - результат решения учебной задачи

 

Основываясь на его позициях, рассмотрим те виды деятельности, которые реализуют обучающий и обучаемый в процессе решения коммуникативной задачи.

Эффективность обучающего воздействия В.М. Блинов определяет на основе понятия “обученность”, под которой понимает “идеальное качество, предел, к которому стремятся любые результаты обучения”. Он рассматривает обученность как “продукт взаимодействия деятельностей обучающего и обучаемого … некоторое отображение свойств личности обучаемого, сформированное в результате его участия в обучении”. Уровень обученности - это “достигнутая обучаемым степень приближения к обученности, определяемая фактическим качеством усвоения”. В отношении конкретного обучающего воздействия уровень обученности определяется как “результат сравнения фактического и эталонного качества усвоения УЭ, фигурирующего в формулировке цели рассматриваемого обучающего воздействия”.

Л.П. Леонтьевым и О.Г. Гохманом обосновано, что УЭ может считаться усвоенным, когда все вершины и связи смысловой структуры образа этого УЭ, предъявленного обучаемым, полностью соответствуют его эталонной смысловой структуре. Введенное выше понятие сложности УЭ Л.П. Леонтьев и О.Г. Гохман обозначают термином “трудоемкость усвоения УЭ”, понимаемым как “мера сложности изучаемого объекта, зависящая от его объема и логической структуры, или, иначе, от числа входящих в него понятий (семантических единиц) и структуры отношений (связей) между ними”5.

На основе этих положений уровень обученности (усвоения УЭ), достигнутый в результате обучающего воздействия первого вида (изложения учебного материала), выявляется путем измерения результатов выполнения тестового задания и оценивается как

,                                                                      (6)

где: - показатель уровня обученности (усвоения УЭ); - сложность (трудоемкость усвоения) УЭ, измеряемая количеством семантической информации, содержащейся в эталонной (нормативной) модели УЭ; - сложность усвоенной части УЭ (смысловой структуры той части предъявленного обучаемым образа УЭ, которая совпадает с эталонной (нормативной) моделью УЭ).

Чтобы оценить влияние на (6) всех видов деятельности, представленных в табл. 2, достаточно установить закономерность формирования той части нормативной модели УЭ, которая совпала с моделью обучаемого и оценивается как .

В теории семантических систем совокупность процедур реализации первого вида обучающего воздействия (изложение нового учебного материала) и оценки его результативности Н.М. Соломатин описывает как процесс информирования вида

,                                        (7)

где: - семантическая операция информирования, - процедуры информирования: генерирование (), передача (), прием (), хранение (), восприятие (), понимание () и принятие решения (); - знак последовательной конъюнкции двух аргументов , означающий возможность перехода к процедуре только после завершения процедуры .

Результаты (8) обусловливаются принципом истинности информирования, который определяет, что “истинность информирования … имеет место только в том случае, если последовательная конъюнкция всех процедур информирования истинна, … истинность информирования отсутствует, если хотя бы одна из его процедур оказывается нереализованной”:

.                                        (8)

Если рассматривается возможность частичной истинности информирования (), то процедура (8) принимает вид

,                                          (9)

где: - показатели эффективности процедур информирования.

Для представления (9) в соответствии с данными педагогики проанализируем принадлежность процедур информирования субъектам, участвующим в обучении, и видам их деятельности. При этом учтем указание Е.И. Машбица на то, что “изложение учебного материала ─ это не простое информирование, а педагогически направленное (т.е. учитывающее индивидуальные возможности и особенности обучаемых) развертывание перед учащимися фрагмента учебной деятельности, вовлекающее их (явно или неявно) в эту деятельность”.

В соответствии с этим указанием анализ целесообразно начать с деятельности обучаемого, которая определяет часть параметров деятельности обучающего. Свою лепту в процесс информирования обучаемый вносит процедурами приема (), хранения (), восприятия (), понимания () и принятия решения ().

Н.М. Соломатин указывает, что процедура приема () информации реализуется объектом-приемником в виде последовательности микропроцедур, зависящей как от формы представления информации, так и вида объекта-приемника (человек, ЭВМ). Кратко рассмотрим влияние формы информации и особенностей приема информации человеком на эффективность обучения, соответственно обозначив их влияние коэффициентами и .

В теории семантических систем рассматриваются однородные и комплексные формы представления информации. К однородным формам отнесены: текстовая t−форма (книги, документы), аудиальная S−форма (речь, звуки); g−форма визуальная (жесты, пластика и т.д.); изобразительная C−форма (графика, рисунки, кино и т.п.). Комплексные U-формы объединяют несколько однородных форм и представлены большим числом их сочетаний.

Особенности влияния форм информации на ее прием человеком наиболее отчетливо сформулированы в нейролингвистическом программировании (НЛП). Здесь под термином “репрезентативная система (РС)” понимается “разновидность памяти, обеспечивающая кодирование и хранение информации в виде тех или иных ассоциаций”. Различают следующие виды РС: 1) визуальную ─ опирающуюся, в основном, на зрение; 2) аудиальную ─ базирующуюся, в основном, на слухе; 3) кинестетическую ─ отдающую предпочтение осязанию и обонянию. Теория НЛП определяет, что люди используют все репрезентативные системы, но только в одной из них, называемой ведущей, информация осознается. Имеются верифицированные методики определения вида ведущей репрезентативной системы (ВРС) и апробированный подход к учету ВРС при выработке обучающих воздействий.

Тип ВРС является врожденной характеристикой обучаемого. Возможное отрицательное влияние этой характеристики проявляется только в том случае, когда обучающее воздействие не соответствует типу ВРС (например, когда УО предъявляется визуалу в аудиальной форме, а аудиалу – в визуальной). В обычной процедуре информирования несоответствие типа ВРС форме представления информации - это неизбежное, случайным образом возникающее ограничение. Однако мы рассматриваем тот случай информирования, в котором, как указывает Е.И. Машбиц, должны учитываться индивидуальные возможности и особенности обучаемых (приемников информации).

В нашем случае тип ВРС является той характеристикой, которая должна задавать форму предоставляемой обучаемому информации до ее передачи. Поэтому является не показателем эффективности учебной деятельности обучаемого, а показателем эффективности деятельности обучения обучающего, который должен учесть тип ВРС обучаемого при выработке обучающих воздействий. Отсюда следует, что показатель должен рассматриваться как частный показатель, входящий в групповой показатель процедуры генерирования учебной информации обучающим.

В качестве различия между человеком и ЭВМ в процедуре приема информации, оцениваемой показателем , в теории семантических систем обсуждается тот факт, что компьютер может не принимать передаваемую ему информацию только в соответствии с заранее заданными правилами (запрет на прием отдельных видов информации и т.п.). В отличие от ЭВМ человек может отказаться от приема информации произвольно и даже вопреки установленным правилам (“на одно ухо глухой, на другое не слышит”). Такой же способностью человек (обучаемый) обладает в отношении процедуры хранения () информации (“в одно ухо влетает, в другое вылетает”). Степень реализации способности произвольно не принимать и не хранить учебную информацию в педагогике и психологии связывается с уровнем учебной мотивации обучаемого.

Термин “мотивация” имеет много трактовок. В соответствии с целями анализа процесса информирования в обучении следует принять формулировку В.Г. Леонтьева, который определяет мотивацию как “процесс (процедуру) побуждения, реализации в действии и в поведении … мотивационных установок, представляющих собой внутренние причины поведения и деятельности человека”. По признаку соответствия мотивационных установок обучаемых целям обучения эти установки ранжируют по уровням учебной (учебно-познавательной) мотивации.

Наиболее подробная классификация этих уровней предложена А.К. Марковой. Ей же были представлены средства диагностики этих уровней и приведены оценки их влияния на результаты обучения. Значит, уровень учебной мотивации определяет эффективность процедур приема () и хранения () информации, что позволяет рассматривать его как групповой показатель эффективности учебной деятельности, агрегирующий частные показатели и .

В качестве интегрального показателя эффективности процедур восприятия (), понимания () и принятия решения () рассматривается показатель обучаемости. Под обучаемостью обычно понимают способность человека к усвоению знаний и шире к учению, “тот комплекс психофизиологических (природных) свойств человека, под действием которых он воспринимает социальный опыт (идеи, знания и т.д.)”.

Целям количественной оценки этой характеристики наиболее соответствует трактовка, в которой под обучаемостью понимается “способность обучаемого к усвоению вполне определенной части из того количества семантической информации, которое содержится и может быть им извлечено из эталонной модели УЭ в результате ее однократного предъявления в виде, наиболее полно соответствующем специфическим особенностям данного обучаемого” . В приведенном определении постулируются следующие общепринятые положения: 1) обучаемость есть стабильная характеристика учебной деятельности обучаемого; 2) фактическое проявление обучаемости существенно зависит от характера обучающей деятельности (приемов, способов обучения); 3) проявление максимальной обучаемости возможно при “идеальной” деятельности обучающего, т.е. при полном соответствии обучающего воздействия характеру учебной деятельности обучаемого.

Обобщая выводы, сделанные в отношении показателей процедур информирования, реализуемых i-ым обучаемым, можно интегральный показатель эффективности его деятельности представить в следующем виде

,                                                       (10)

где: ─ интегральный показатель эффективности учебной деятельности; ─ соответственно показатели эффективности процедур приема (), хранения (), восприятия (), понимания () и принятия решения (); ─ соответственно показатели уровня учебной мотивации и обучаемости обучаемого.

Необходимо отметить, что обучаемость не только определяет показатель эффективности учебной деятельности. Наряду с ВРС она задает условия коммуникативной задачи и обусловливает эффективные способы ее решения.

В рамках процесса (7) обучающий выполняет две процедуры: генерирование () и передачу () учебной информации.

В соответствии с приведенной выше особенностью педагогического информирования УО, который предъявляется обучаемому, должен не только соответствовать нормативному УЭ, но и быть адаптирован к “индивидуальным возможностям и особенностям обучаемых”. Поэтому в обучении процедура генерирования () учебной информации должна включать две процедуры: планирования () и формирования () учебной информации.

Процедуру обучающий реализует в деятельности обучения (см. табл. 2), которая выполняется в предметной области педагогики и имеет целью разработку дидактического плана изучения (ДПИ) УЭ, который представляет собой “адаптированную к познавательным возможностям обучаемого последовательность УО, презентация которых обеспечивает эффективное усвоение обучаемым рассматриваемого УЭ” . В результате разработки ДПИ УЭ определяются: 1) необходимость декомпозиции УЭ на ряд компонент из-за ограниченных познавательных возможностей (свойства обучаемости) обучаемого; 2) число и последовательность предъявления выделенных компонент УЭ; 3) способы презентации УО, соответствующих всем выделенным компонентам УЭ (приемы и способы обучения, применяемые для создания УО и его предъявления обучаемому). Представляется необходимым указать на ту особую роль, которую в разработке ДПИ УЭ играет обучаемость.

Все личностные характеристики обучаемого, определяющие условия обучения, не зависят от действий обучающего и должны учитываться последним при выработке обучающего воздействия. Исключение составляет обучаемость. Она зависит от сложности (трудоемкости усвоения) УЭ, а потому может варьироваться действиями обучающего. Изменяя (обычно уменьшая) сложность УЭ, обучающий имеет возможность повысить свойство обучаемости, а, повысив обучаемость, обучающий повышает и эффективность соответствующего обучающего воздействия. Именно такую зависимость между обучаемостью и обученностью имел в виду В.М. Блинов, утверждая, что “обученность следует рассматривать в качестве функционального проявления обучаемости”.

Процедуры формирования () и передачи () учебной информации реализуются обучающим в рамках обучающей деятельности. Эта деятельность выполняется уже не в предметной области педагогики, а в предметной области изучаемой учебной дисциплины и представляет собой “развертывание перед учащимися фрагмента учебной деятельности, вовлекающее их (явно или неявно) в эту деятельность”.

По отдельности процедуры планирования (), генерирования () и передачи () информации являются латентными и проявляются только в виде единой презентации УО, которая в педагогике обозначается как обучающее воздействие. Поэтому “вся система предпочтений дидактики в отношении эффективности деятельностей обучающего формулируется как система предпочтений в отношении эффективности обучающего воздействия”. В соответствии с изложенными выше положениями интегральный показатель эффективность j−ого обучающего воздействия целесообразно представить в виде

,                                                        (11)

где: ─ интегральный показатель эффективности обучающего воздействия; ─ соответственно показатели эффективности процедур планирования (), генерирования () и передачи () учебной информации; ─ соответственно показатели эффективности деятельности обучения и обучающей деятельности

Подставляя (10,11) в (9), а полученный вид (10) в (7), имеем

,                                                      (12)

где: - показатель уровня усвоения j-ого УЭ i-ым обучаемым; ─ интегральный показатель эффективности j-ого обучающего воздействия (действий обучающего); ─ интегральный показатель эффективности учебной деятельности i-ого обучаемого; - сложность (трудоемкость усвоения) эталонной модели j−ого УЭ; - сложность части j−ого УЭ, правильно усвоенной i-ым обучаемым.

Рассмотрим возможность оценки по результатам критериально- ориентированного тестирования.

Оценка результатов тестирования как продукта взаимодействия обучающего и обучаемых

В отношении результатов критериально-ориентированного тестирования и соответствующих им тестовых заданий (см. табл. 1) примем следующие допущения: 1) сложность каждого из тестовых заданий определяется эталонной (нормативной) сложностью тестируемого в нем УЭ, т.е. ; 2) каждый из представленных в тестовых заданиях УЭ был предъявлен всем обучаемым в виде одного и того же обучающего воздействия; 3) обучаемость и уровень учебной мотивации всех обучаемых в процессе изучения тестируемых УЭ оставались неизменными.

Эти допущения абсолютно соответствуют специфике текущего педагогического контроля, который проводится в процессе или после проведения учебного занятия (нескольких связанных учебных занятий, проведенных на коротком отрезке времени) с целью выявления необходимости корректуры процесса обучения. В рассматриваемых случаях в отношении всех обучаемых реализуются одни и те же обучающие воздействия. Уровень учебной мотивации обучаемых, хотя и является наиболее неустойчивой характеристикой обучаемых, но на рассматриваемом сравнительно коротком отрезке времени может наряду с обучаемостью рассматриваться в качестве стабильного параметра деятельности обучаемого.

В принятых допущениях необходимо отдельно остановится на том требовании, что при критериально-ориентированном тестировании сложность тестовых заданий не должна завышаться за счет искусственно создаваемой сложности формулировок самих заданий.

Такой прием изменения сложности заданий вслед за М.А. Лепиком рекомендует целый ряд авторов, например, М.С. Мысик, О.Э. Наймушина и Б.Е. Стариченко. Его применение действительно обеспечивает более четкую ранжировку обучаемых по результатам нормативно-ориентированного тестирования. Однако при решении задач критериально-ориентированного тестирования искусственное завышение сложности тестовых заданий идет вразрез с целями текущего педагогического контроля, т.к. порождает неадекватность оценки сложившейся дидактической ситуации и может привести к неправильной формулировке коммуникативной задачи.

Результат выполнения любого тестового задания в соответствии с принятыми допущениями может быть из (12) представлен в виде

.                                                           (13)

Поиск множеств и неизвестных значений коэффициентов эффективности деятельности обучающего и обучаемых предлагается реализовать путем решения задачи нелинейного программирования вида

,                                         (14)

в которой значения коэффициентов и определяются путем минимизации суммы квадратов отклонений расчетных значений показателей результативности выполнения тестовых заданий от их эмпирических значений , экспериментально установленных в процессе тестирования.

В результате обработки данных критериально-ориентированного тестирования общепринятым способом обучающий получает информацию о единственной характеристике, которая полезна для достижения целей текущего педагогического контроля. Этой характеристикой являются оценки того уровня обученности обучаемых, который был ими достигнут в результате анализируемого процесса обучения.

В итоге решения задачи нелинейного программирования в дополнении к этой единственной характеристике обучающий получает: 1) оценки эффективности всех обучающих воздействий, которые были реализованы в отношении тестируемых УЭ; 2) оценки эффективности учебной деятельности обучаемых в период изучения УЭ, фигурирующих в выполненных обучаемыми тестовых заданиях.

Эта дополнительная информация позволяет существенно повысить определенность формулировки исходной ситуации и адекватность решения той коммуникативной задачи, в интересах разрешения которой проводилось тестирование.

Решение задачи (14) в отношении результатов тестирования, приведенных в табл. 1, представлено в табл. 3.

Таблица 3

Матрица анализа результатов тестирования как продуктов взаимодействия обучающего и обучаемых

Номер i испыту-емого	Оценка результата решения j тестового задания
1	2	3	4	5	6	7	8	9
1	0,61	0,50	0,76	0,39	0,77	0,46	0,93	0,97	0,97	0,97	0,67
2	0,34	0,28	0,42	0,22	0,43	0,25	0,51	0,54	0,54	0,54	0,33
3	0,30	0,24	0,37	0,19	0,38	0,22	0,45	0,47	0,47	0,47	0,33
4	0,45	0,37	0,56	0,29	0,57	0,34	0,69	0,72	0,72	0,72	0,44
5	0,41	0,34	0,51	0,27	0,52	0,31	0,63	0,66	0,66	0,66	0,44
6	0,51	0,42	0,64	0,33	0,65	0,38	0,78	0,82	0,82	0,82	0,56
7	0,63	0,51	0,78	0,41	0,80	0,47	0,96	1,00	1,00	1,00	1,00
8	0,63	0,51	0,78	0,41	0,80	0,47	0,96	1,00	1,00	1,00	0,78
9	0,36	0,29	0,44	0,23	0,45	0,27	0,54	0,57	0,57	0,57	0,33
10	0,62	0,51	0,78	0,40	0,79	0,47	0,95	0,99	0,99	0,99	0,67
11	0,63	0,51	0,78	0,41	0,80	0,47	0,96	1,00	1,00	1,00	0,89
	0,63	0,51	0,78	0,41	0,80	0,47	0,96	1,00	1,00
	0,45	0,36	0,55	0,27	0,64	0,36	0,73	1,00	0,91
	82,53	141,3	189,0	126,0	68,9	55,8	96,6	43,4	31,6

 

Для реализации (14) при целесообразно использовать стандартную функцию “Solve (Поиск решения)” Microsoft Excel, а при ─ ее расширенную версию “Premium Solver Platform for Excel”, которая предоставляется компанией Frontline Systems в свободном доступе.

 

Справедливость гипотезы Г.А. Балла о высоком уровне корреляции оценок сложности и трудности тестовых заданий

Формулируя свою гипотезу, Г.А. Балл предполагает, что “при прочих равных условиях … ряд значений сложности дает наиболее высокую корреляцию с рядом значений трудности”. Рассмотрим те условия, за счет равенства может быть обеспечена высокая корреляция показателей трудности и сложности тестовых заданий.

Оценки сложности тестовых заданий определяются только принятой эталонной (нормативной) структурой УЭ, а потому постоянны в любых условиях. Значит, равенство условий следует анализировать только в отношении показателей трудности тестовых заданий. Отвлечемся от трудности как от “затруднения, которое необходимо преодолеть субъекту для успешного решения задачи” и рассмотрим те показатели , которыми трудность оценивается.

Как отмечалось выше, показатели трудности ─ это значения функций успеха и неуспеха, которые наиболее вероятны для рассматриваемой группы испытуемых при выполнении соответствующего j-ого тестового задания. В соответствии с (3,5) исходный показатель для каждого j-ого задания рассчитывается как среднее арифметическое значение индикаторов успешности выполнения этого задания.

Решая задачу текущего педагогического контроля, мы рассматриваем значения как адекватные следствия тех обучающих воздействия, которые были направлены на усвоение соответствующих УЭ. Поэтому обеспечить прочие равные условия для проявления свойства трудности во всех тестовых заданиях можно только путем фиксации в показателе (13) эффективности обучения на одном и том же уровне всех параметров, не связанных с параметром сложности изучаемого УЭ. Таковыми параметрами являются: 1) эффективность обучающих воздействий, т.е ; 2) уровень учебной мотивации обучаемых (испытуемых), т.е. .

В условиях, когда показатели эффективности обучающих воздействий одинаковы для всех воздействий, а уровни учебной мотивации всех обучаемых совпадают, различия между индивидуальными показателями (13) эффективности обучения могут быть вызваны воздействием единственного фактора ─ индивидуального свойства обучаемости обучаемых. Но, как указывалось выше, свойство обучаемости зависит от сложности изучаемого УЭ. Эта зависимость в педагогике обозначается термином “иллюзия усвоения” и состоит в том, что “чем больше трудоемкость (сложность) УЭ, тем меньше свойство обучаемости и ниже качество усвоения УЭ”. Таким образом, в рассматриваемых условиях показатели наиболее вероятных значений уровня усвоения j−ых УЭ, принимаемые в качестве оценок трудности j−ых учебных заданий, зависят только от индивидуальных свойств обучаемости рассматриваемой группы обучаемых, а значит практически функционально зависят от сложности тестируемых в этих заданиях УЭ.

Отсюда следует, что, если в период изучения УЭ эффективности всех обучающих воздействий, а также уровни учебной мотивации всех обучаемых одинаковы, то различия в трудности учебных заданий могут определяться только сложностью тестируемых в них УЭ. Значит, в рассматриваемых условиях трудность учебных заданий должна функционально зависеть от сложности тех УЭ, которые тестируются в этих учебных заданиях. О проявлении этой закономерности на практике и говорит Г.А. Балл, формулируя свою гипотезу.

Справедливость приведенных выше теоретических обоснований, да и самой гипотезы Г.А. Балла легко проверить на практике. Для осуществления такой проверки нужно, во-первых, привести оценки трудности тестовых заданий к одинаковой эффективности соответствующих им обучающих воздействий, а, во-вторых, оценить корреляционную связь между полученным рядом оценок приведенной трудности тестовых заданий с рядом оценок их сложности.

Привести эмпирические оценки трудности заданий к одинаковой эффективности соответствующих им обучающих воздействий проще всего, используя известную в эргономике операцию нормирования показателей качества (“шкалирования отношений по базовому показателю качества”). Если принять в качестве базового показателя качества эффективность обучающего воздействия, то нормированные значения показателей трудности примут вид

,                                                                   (15)

,                                                       (16)

где: , − соответственно нормированные оценки показателей , значения которых соответствуют трудности j−ого тестового задания при максимальной эффективности () соответствующего обучающего воздействия.

Выберем из табл. 1 и табл. 3 те результаты тестирования (см. табл. 4), которые относятся к характеристикам трудности и сложности тестовых заданий и представлены в виде показателей, у которых измеряемое свойство растет с ростом показателя.

Таблица 4

Характеристики анализируемых тестовых заданий
и соответствующих им обучающих воздействий (ОВ)

Характеристики тестового задания и тестируемого в нем УЭ	Номер тестового задания
1	2	3	4	5	6	7	8	9
Трудность	0,55	0,64	0,45	0,73	0,36	0,64	0,27	0,00	0,09
Ранг	6	7	5	9	4	7	3	1	2
Сложность [сем. ед.]	82,5	141,3	189,0	126,0	68,9	55,8	96,6	43,4	31,6
Ранг	5	8	9	7	4	3	6	2	1
Эффективность ОВ	0,63	0,51	0,78	0,41	0,80	0,47	0,96	1,00	1,00
Ранг	4	3	5	1	6	2	7	8	8
Приведенная трудность	0,28	0,29	0,30	0,33	0,20	0,23	0,24	0,00	0,09
Ранг	6	7	8	9	3	4	5	1	2

 

Оценим зависимость приведенных в табл. 4 характеристик по коэффициенту ранговой корреляции Спирмена, учитывая, что его критические значения для числа тестовых заданий составляют и .

Таблица 4

Оценка корреляции характеристик тестовых заданий

Характеристики тестового задания и тестируемого в нем УЭ	Трудность	Сложность [сем. ед.]	Эффективность ОВ	Приведенная трудность
Трудность	1
Сложность [сем. ед.]	0,592	1
Эффективность ОВ	-0,788	-0,413	1
Приведенная трудность	0,804	0,900	-0,629	1

Приведенные в табл. 4 оценки свидетельствуют, что из шести исследованных связей неслучайной (статистически значимой) может быть признана только связь между сложностью и приведённой трудностью. Остальные связи являются либо неопределенными, либо статистически незначимыми. Аналогичная картина имеет место и на описанной выше выборке из 134 испытуемых, проходивших тестирование по 50 тестовым заданиям. Здесь также из шести оцениваемых связей статистически значимой (неслучайной) может быть признана только корреляция между приведенной трудностью и сложностью тестовых заданий, которая составляет .

Таким образом, гипотеза Г.А. Балла справедлива: при прочих равных условиях (одинаковой эффективности всех обучающих воздействий, которые направлены на усвоение УЭ, составляющих содержание тестовых заданий), трудность тестовых заданий всегда будет значимо коррелировать с их сложностью.

 

 

[1] Балыхина Т.М. Словарь терминов и понятий тестологии. – М.: РУДН, 2000. – 86с.

[2] Коджаспирова Г.М., Коджаспиров А.Ю. Словарь по педагогике. - М.: ИКЦ «МарТ»; Ростов н/Д: Изд. центр «МарТ», 2005. - 448 с.

[3] Талызина Н.Ф. Педагогическая психология. – М.: Изд. центр “Академия”, 1998. - 288с.

[4] Вишнякова С.М. Профессиональное образование: словарь. Ключевые понятия, термины, актуальная лексика. – М.: НМЦ СПО, 1999. – 538с.

[5] Балл Г.А. Теория учебных задач: Психолого-педагогический аспект. – М.: Педагогика, 1990.– 184 с.

[6] Печников А.Н. Теоретические основы психолого-педагогического проектирования автоматизированных обучающих систем. - Петродворец: ВВМУРЭ им. А.С. Попова, 1995. - 326с.

[7] Ефремова Н.Ф. Тестовый контроль в образовании: учеб. пособие. - М.: Логос, 2007. - 368 с.

[8] Челышкова М.Б. Современные средства оценивания результатов обучения: учеб. пособие. – М.: Изд. центр “Академия”, 2007. – 224 с.

[9] Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения: (Педагогическая наука - реформе школы). - М.: Педагогика, 1988. - 192 с.

[10] Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests, 1960, Copenhagen, Denmark: Danish Institute for Educational Research.

[11] Сложность оценивалась по описанной ниже методике В.П. Мизенцева

[12] ОСТ Т 1.1. Педагогические тесты, термины и определения. Отраслевой стандарт. – М.: Министерство образования РФ, 2001. – 26с.

[13] Олешков М.Ю., Уваров В.М. Современный образовательный процесс: основные понятия и термины. – М.: Минобрнауки РФ, 2006. – 143 с.

[14] Аванесов В.С. Теория и практика педагогических измерений (материалы публикаций). – Екатеринбург: ЦТ и МКО УГТУ-УПИ, 2005. – 98с.

[15] Крокер Л. Введение в классическую и современную теорию тестов: учебник / Л. Крокер, Дж. Алгина; пер. с англ. - М.: Логос, 2010. − 668 с.

[16] Крокер Л. Введение в классическую и современную теорию тестов: учебник / Л. Крокер, Дж. Алгина; пер. с англ. - М.: Логос, 2010. − 668 с.

[17] Аванесов В.С. Теория и практика педагогических измерений (материалы публикаций). – Екатеринбург: ЦТ и МКО УГТУ-УПИ, 2005. – 98с.

[18] Мысик М.С. Трудность тестовых заданий: планируемая и реальная (на материале французского языка) // Педагогическое образование в России. 2012. № 1. С. 181-193.

[19] Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис. ... канд. пед. наук. - Екатеринбург, 2010. - 211 с.

[20] Балл Г.А. Теория учебных задач: Психолого-педагогический аспект. – М.: Педагогика, 1990.– 184 с.

[21] Гузеев В.В. Соотнесение сложности и трудности учебных задач с уровнями планируемых результатов обучения // Школьные технологии. � 2003. � № 3. � С. 50-56.

[22] Лернер И.Я. Факторы сложности познавательных задач // Новые исследования в педагогических науках. 1970. № 1. С. 86-91.

[23] Гидлевский А.В., Кошкарова Т.В. Проблемы трудности учебных тестовых заданий // Образование и наука. 2009. № 10. С. 13-21.

[24] Гидлевский А.В. Простой метод оценки трудности учебных тестовых заданий // Интеграция образования. 2010. №4. С. 20-24. Гидлевский А.В., Кошкарова Т.В. Особенности применения субъект-предикатного подхода к оценке трудности дидактических тестовых заданий // Омский научный вестник. 2010. №4 (89).

[25] Попов А.П. Аддитивность трудности тестовых заданий. // Наука и мир. Международный научный журнал. 2013. № 4 (4). С. 38-42. Попов А.П. Проблема оценки трудности тестовых заданий // Известия вузов. Северокавказский регион. Технические науки. 2012. №4. С. 115-120. Елисеев И.Н. Исследование погрешности расчёта трудности заданий теста на основе моделирования дихотомической матрицы ответов // Педагогическая информатика. 2011. № 4. С. 92-101. Елисеев И.Н. Экспериментальное подтверждение состоятельности оценок трудности заданий теста // Программные продукты и системы. 2012. №2. С. 153-156.

[26] Гидлевский А.В., Кошкарова Т.В. Особенности применения субъект-предикатного подхода к оценке трудности дидактических тестовых заданий // Омский научный вестник. 2010. №4 (89).

[27] Гидлевский А.В. Простой метод оценки трудности учебных тестовых заданий // Интеграция образования. 2010. №4. С. 20-24.

[28] Комарова Е.Ю. Субъективная трудность и объективная сложность языкового тестирования // Вестник Тамбовского университета. Сер. Гуманитарные науки. 2011. Вып. 3(95). С. 105-109.

[29] Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис. ... канд. пед. наук. - Екатеринбург, 2010. - 211 с.

[30] Комарова Е.Ю. Трудность и сложность языковых тестов: сущность, источники, преодоление // Иностранные языки в школе. 2012. № 2. С. 11-17.

[31] Лернер И.Я. Проблемное обучение. – М.: Знание, 1974. - 64 с. Лернер И.Я. Факторы сложности познавательных задач // Новые исследования в педагогических науках. 1970. № 1. С. 86-91.

[32] Наймушина О.Э., Стариченко Б.Е. Многофакторная оценка сложности учебных заданий // Образование и наука. 2010. №2. С.58-70. Наймушина О.Э., Стариченко Б.Е. Измерение уровня усвоения компонентов знаний по физике на основе многофакторной оценки сложности контрольных заданий // Мир науки, культуры, образования. 2009. № 7 (19). С. 106-109.

[33] Наумов И.С., Выхованец В.С. Оценка трудности и сложности учебных задач на основе синтаксического анализа текстов. // Управление в больших системах. 2014. Выпуск 48. С 97–131.

[34] Мизинцев В.П., Кочергин А.В. Проблема аналитической оценки качества и эффективности учебного процесса в школе: учебное пособие к спецкурсу. – Куйбышев: Куйб. ГПИ, 1986. -131с.

[35] Леонтьев Л.П., Гохман О.Г. Проблемы управления учебным процессом (математические модели). - Рига: “Зинанте”, 1984. - 239 с.

[36] Комарова Е.Ю. Субъективная трудность и объективная сложность языкового тестирования // Вестник Тамбовского университета. Сер. Гуманитарные науки. 2011. Вып. 3(95). С. 105-109. Комарова Е.Ю. Трудность и сложность языковых тестов: сущность, источники, преодоление // Иностранные языки в школе. 2012. № 2. С.11-17.

[37] Мысик М.С. Трудность тестовых заданий: планируемая и реальная (на материале французского языка) // Педагогическое образование в России. 2012. № 1. С. 181-193.

[38] Наймушина О.Э., Стариченко Б.Е. Многофакторная оценка сложности учебных заданий // Образование и наука. 2010. №2. С. 58-70.

[39] Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис. ... канд. пед. наук. - Екатеринбург, 2010. - 211 с.

[40] Палкин К.С., Печников А.Н., Печников Д.А. Метод управления длиной системы одиночных тестовых заданий с единственным верным ответом // Образовательные технологии и общество. 2015. Т. 18. № 1. - С. 544-560. Палкин К.С., Печников Д.А. Экспериментальная апробация метода интервальной оценки результатов выполнения системы тестовых заданий с единственным верным ответом // Образовательные технологии и общество. 2015. Т.18. №1. - С.535-543.

[41] Остапенко Р.И. Математические основы психологии. Учебно-методическое пособие. – Воронеж: ВГПУ, 2010. – 76 с.

[42] Печников А.Н. Теоретические основы психолого-педагогического проектирования автоматизированных обучающих систем. - Петродворец: ВВМУРЭ им. А.С. Попова, 1995. - 326с.

[43] Воробьёв Г.А. Формализация задачи управления процессом обучения на основе построения иерархической понятийной сети знания: Дис. ... канд. техн. наук. - Пенза, 2010. - 155 с.

[44] Бобов И.С. Модели и алгоритмы планирования предъявления содержания обучения для компьютерных систем обучения и интеллектуального тренажа ВМФ: Дис. ... канд. техн. наук. – Петродворец, 2003. - 120 с.

[45] Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис. ... канд. пед. наук. - Екатеринбург, 2010. - 211 с.

[46] Лернер И.Я. Проблемное обучение. – М.: Знание, 1974. - 64 с. Лернер И.Я. Факторы сложности познавательных задач // Новые исследования в педагогических науках. 1970. № 1. С. 86-91.

[47] Балл Г.А. Теория учебных задач: Психолого-педагогический аспект. – М.: Педагогика, 1990.– 184 с.

[48] Печников А.Н. Теоретические основы психолого-педагогического проектирования автоматизированных обучающих систем. - Петродворец: ВВМУРЭ им. А.С. Попова, 1995. - 326с.

[49] Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения: (Педагогическая наука - реформе школы). - М.: Педагогика, 1988. - 192 с.

[50] Блинов В.М. Эффективность обучения (методологический анализ определения этой категории в дидактике). – М.: Педагогика, 1976. - 191 с.

[51] Печников А.Н., Ветров Ю.А. Проектирование и применение компьютерных технологий обучения. Том 1. Часть 1. Концепция САО и моделирование процессов деятельности. Кн. 2. – СПб: БГТУ “Военмех”, 2003. – 207с.

[52] Леонтьев Л.П., Гохман О.Г. Проблемы управления учебным процессом (математические модели). - Рига: “Зинанте”, 1984. - 239 с.

[53] Перспективы развития вычислительной техники: в 11 кн.: Справ. пособие / Под ред. Смирнова Ю.М. Кн. 1: Информационные семантические системы / Н.М. Соломатин. - М.: Высш. шк., 1989. – 127с.

[54] Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения: (Педагогическая наука - реформе школы). - М.: Педагогика, 1988. - 192 с.

[55] Бэндлер Р. Используйте свой мозг для изменений. Нейролингвистическое программирование – СПб.: Ювента, 1994. - 168 с. Гриндер М., Ллойд Л. Исправление школьного конвейера: НЛП в педагогике. – М.: Изд-во ИОИ, 2001г. – 37с.

[56] Леонтьев В.Г. Психологические механизмы мотивации учебной деятельности: Учебное пособие. – Новосибирск: НГПИ, 1987.- 91с. Леонтьев В.Г. Мотивация и психологические механизмы ее формирования. – Новосибирск: ГП “Новосибирский полиграфкомбинат”, 2002. – 264 с.

[57] Маркова А.К., Матис Т.А., Орлов А.Б. Формирование мотивации учения: Кн. для учителя. – М.: Просвещение, 1990. – 192с.

[58] Блинов В.М. Эффективность обучения (методологический анализ определения этой категории в дидактике). – М.: Педагогика, 1976. - 191 с.

[59] Печников А.Н., Шиков А.Н. Проектирование и применение компьютерных технологий обучения. – СПб.: Изд-во ВВМ, 2014. – 393 с.

[60] Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения: (Педагогическая наука - реформе школы). - М.: Педагогика, 1988. - 192 с.

[61] Печников А.Н., Шиков А.Н. Проектирование и применение компьютерных технологий обучения. – СПб.: Изд-во ВВМ, 2014. – 393 с.

[62] Блинов В.М. Эффективность обучения (методологический анализ определения этой категории в дидактике). – М.: Педагогика, 1976. - 191 с.

[63] Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения: (Педагогическая наука - реформе школы). - М.: Педагогика, 1988. - 192 с.

[64] Блинов В.М. Эффективность обучения (методологический анализ определения этой категории в дидактике). – М.: Педагогика, 1976. - 191 с.

[65] Лепик М.А. Факторы сложности типовых текстовых задач: Автореф. дис. ... канд. пед. наук. - Тарту, 1989. – 18 с.

[66] Мысик М.С. Трудность тестовых заданий: планируемая и реальная (на материале французского языка) // Педагогическое образование в России. 2012. № 1. С. 181-193.

[67] Наймушина О.Э., Стариченко Б.Е. Многофакторная оценка сложности учебных заданий // Образование и наука. 2010. №2. С. 58-70. Наймушина О.Э., Стариченко Б.Е. Измерение уровня усвоения компонентов знаний по физике на основе многофакторной оценки сложности контрольных заданий // Мир науки, культуры, образования. 2009. № 7 (19). С. 106-109. Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис. ... канд. пед. наук. - Екатеринбург, 2010.- 211 с.

[68] Балл Г.А. Теория учебных задач: Психолого-педагогический аспект. – М.: Педагогика, 1990. – 184 с.

[69] Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис. ... канд. пед. наук. - Екатеринбург, 2010. - 211 с.

[70] Беспалько В.П. Основы теории педагогических систем. - Воронеж: Изд. Воронежского ун-та, 1977. – 236с.

[71] Информационно-управляющие человеко-машинные системы: Исследование, проектирование испытания: Справочник / Под общ. ред. А.И. Губинского и В.Г. Евграфова. – М.: Машиностроение, 1993. – 528 с.