Галина Смирнова
Славянский-на-Кубани государственный педагогический институт
smirnova_g_i@mail.ru
Опубликовано в ж. «Педагогические Измерения» № 2 2005 г.
Аннотация
Актуальность работы обусловлена возрастающим интересом к проблеме педагогических измерений и преимуществами теории Г. Раша (1). Изучение идей, изложенных Георгом Рашем, целесообразно вести в рамках курса педагогических измерений для студентов-выпускников педагогических вузов. Структуру такого курса предлагается построить на основе тезаурусного подхода.
В большинстве контролирующих программ вопрос с интерпретацией результатов педагогических измерений решается довольно просто: суммируется количество правильных ответов на задания теста. При этом самый простой вид оценки ответов на задание состоит только из двух вариантов: один балл за правильный ответ и ноль баллов – за неправильный ответ.
В 1950-ых датский математик Георг Раш предложил использовать модель измерения, которая нашла широкое применение в области педагогических измерений. Эта модель дает возможность оценивать более точно уровень знаний учащихся с помощью вероятностной функции от разности между уровнем подготовленности испытуемого и уровнем трудности задания. Изучение этой модели целесообразно вести в рамках курса для студентов старших курсов педагогических вузов. Предлагается структуру курса построить на основе тезаурусного подхода.
Определение тезауруса. Существует множество определений тезауруса. Приведем те из них, которые описывают тезаурус как информационную систему.
Тезаурус [гр. Thesauros запас] – полный систематизированный набор данных о какой-либо области знаний, позволяющий человеку или вычислительной машине в ней ориентироваться [6].
Тезаурус – библиотека с набором словарей синонимов, антонимов, родственных слов и родовидовых связей, которая служит для расширения поискового запроса, позволяющего находить релевантные текстовые фрагменты по смысловой близости к запросу [5].
Тезаурусы предназначены для хранения и классификации конкретных слов и сочетаний. При составлении тезауруса надо предусмотреть обработку синонимов, омонимов и морфологических вариаций ключевых слов.
Правильный набор ключевых слов имеет определяющее значение для оптимального понимания структуры тезауруса. Для составления набора ключевых слов используют процедуру, основанную на применении законов Ципфа, которая заключается в следующем: берут любой текст-источник, близкий к искомой теме, то есть «образец», и анализируют его, выделяя значимые слова. В качестве текста-источника может служить книга, статья, Web-страница, любой другой документ.
Более адекватной представляется структура тезауруса в виде так называемых семантических срезов, где для каждого основного термина отдельно строится таблица сопутствующих слов и слов шумовых (которые не должны встречаться в источнике). Таким образом, вместо единой иерархической структуры терминов получается пакет таблиц, который может расширяться и модифицироваться отдельно.
В связи с недостаточным количеством литературы на русском языке и малодоступности англоязычных источников, раскрывающих суть теории Г. Раша, возникает потребность в обобщении доступной литературы, раскрытии основных идей, теории и методики педагогических измерений Г. Раша. Данная проблема может быть решена на основе тезаурусного подхода.
Приведем несколько базовых терминов разрабатываемого тезауруса педагогических измерений Г. Раша.
Латентная переменная (latent variable) – скрытая, ненаблюдаемая переменная, которая не измеряется в явном виде, как, например, длина или вес в физике [4].
В гуманитарных науках, в том числе в и педагогике, большинство используемых переменных являются латентными: «уровень знаний», «качество образования», «уровень патриотизма», «уровень толерантности» и многие другие.
Наиболее часто используемая латентная переменная в образовании - это уровень знаний. Например, оценка «3» по физике в сельской школе соответствует одному уровню знаний, оценка «3» по физике в городской школе соответствует другому уровню знаний и та же самая оценка «3» соответствует третьему уровню знаний в физико-математическом лицее. Или, например, оценка «3» у одного преподавателя может соответствовать большему уровню знаний, чем оценка «4» у другого преподавателя.
Испытуемые (Persons) – это множество граждан, выразивших добровольное желание объективно определить уровень своей подготовленности, и на этой основе решать вопросы своего социального и профессионального самоопределения. Задача испытуемых – постараться ответить правильно на как можно большее число тестовых заданий. Чем больше правильных ответов, тем выше исходный тестовый балл испытуемого. Последний получается эмпирически, сложением всех баллов, полученных за правильное выполнение каждого задания теста [2].
Из определения испытуемых вытекает, что измерение уровня и структуры подготовленности должно быть объективным. Испытуемые имеют право на объективное измерение уровня их подготовленности. Испытуемые имеют право и на своевременное получение объективной информации о собственных результатах и о качестве проведенных измерений. Объективность обеспечивается такими моделями измерения, которые позволяют оценить уровень подготовленности испытуемого независимо от выборки заданий, доставшейся испытуемому в виде теста. Для достижения объективности результатов, всем испытуемым требуются одинаковые инструкции, условия, правила интерпретации и оценивания результатов, параллельные задания. Предполагаются недопустимость списывания и других форм нарушения.
Мера трудности задания (Measure of the item difficulty) – является обязательным требованием к тестовым заданиям [3]. Трудность задания определяется различными методами:
а) умозрительно, на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения заданий. В русском языке сложилась практика вместо слова «трудность» использовать слово «сложность».
б) после эмпирической апробации заданий, с подсчетом доли неправильных ответов qj в каждом задании (j). В качестве показателя трудности в классической теории тестов долго использовалась статистика рj.
В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм. Таким образом, требование известной трудности оказывается важнейшим системообразующим признаком тестового задания.
Математическая модель Раша (Rasch Model) – семейство математических формул, предназначенных для связи полученной вероятности и разницы между уровнем знаний индивида и трудностью тестового задания.
1952 году Георг Раш разработал концепцию измерения латентных переменных, которая находит применение при решении всё большего круга задач. Суть этой концепции измерения латентной переменной состоит и следующем. Измеряемая латентная или скрытая переменная каким-то образом проявляет себя, что можно зафиксировать с помощью регистрируемых переменных, которые называются индикаторными. Если бы латентная переменная никак бы себя не проявляла, то тогда вообще было бы непонятно, о какой переменной идет речь [4].
Все латентные переменные измеряются в логитах, которые можно перевести потом в любую другую шкалу, например 100-балльную или 1000-балльнуюю. Необходимо подчеркнуть, что шкала измерения латентных переменных на основе модели Раша является интервальной, что позволяет использовать широкий класс процедур статистического анализа. Кроме того, в интервальной шкале начало отсчета (точка "0") не фиксировано, и с помощью линейных преобразований легко перевести оценки измерений в логитах в другие оценки, например, в баллы. Чаще всего за точку отсчета (за нуль логитов) принимается среднее значение оценок индикаторных переменных.
Наиболее наглядна интерпретация логита в задачах тестирования, когда ответы на тестовые задания оцениваются как правильные и неправильные. Здесь вероятность РIj правильного ответа i-ого студента на
j-ое задание определяется логистической функцией
Где qi - уровень знаний i-ого студента (в логитах), bj - трудность j-ого задания (в логитах).
Литература:
1. Georg Rasch and Measurement. Informal Remarks by Ben Wright at the Inaugural Meeting of the AERA Rasch Measurement SIG, New Orleans - April 8, 1988. www.rasch.org/rmt/contents.htm
2.Аванесов В.С. Композиция тестовых заданий. М., 2002. 3 изд.
3. Аванесов В.С. Форма тестовых заданий. М., 2 изд. 2005.
