Мишин Игорь Николаевич д-р с.-х. наук, профессор ФГБОУ ВО «Смоленская государственная академия физической культуры, спорта и туризма» г. Смоленск, Смоленская область
Опубликовано: Мишин И.Н. Эффективность использования тестов в оценке уровня освоения компетенций // Приоритетные направления развития науки и образования: материалы XI Междунар. науч.–практ. конф. (Чебоксары, 27 нояб. 2016 г.). В 2 т. Т. 1 /редкол. : О.Н. Широков [и др.] – Чебоксары: ЦНС «Интерактив плюс», 2016. – С. 203-207. – ISSN 2411-9652.
Аннотация: в статье проанализирован опыт использования тестов с точки зрения их эффективности, выявлен ряд проблем, влияющих на процедуру и эффективность тестирования. Определены основные принципы разработки и использования тестов и тестовых заданий для оценки уровня освоения компетенций, необходимых для повышения эффективности тестирования.
Ключевые слова: компетенции, тесты, тестирование, ФГОС.
Современная образовательная парадигма предполагает, что вузы самостоятельно определяют требования к званиям, умениям и навыкам, которые требуется освоить обучающимся, в рамках формирования общекультурных и профессиональных компетенций, заданных ФГОС [1]. Также для контроля освоения студентами компетенций вузы самостоятельно разрабатывают и фонды оценочных средств, которые, как правило, содержат тесты, как один из обязательных элементов при создании учебно-методических комплексов, рабочих программ к учебным дисциплинам.
Различным аспектам и методологии использования тестов в образовательном процессе посвящено множество статей [2-5]. Тестирование в педагогике выполняет три основные взаимосвязанные функции [5]: диагностическую, обучающую и воспитательную. Диагностическая функция заключается в выявлении уровня знаний, умений, навыков обучающегося. Многие авторы [2; 4; 5] обосновано считают, что по объективности, широте и скорости диагностирования тестирование превосходит все остальные формы педагогического контроля. Обучающая функция тестирования состоит в мотивировании обучающегося к активизации работы по усвоению учебного материала. Воспитательная функция проявляется в периодичности и неизбежности тестового контроля.
Несомненно, что применение тестов, в том числе с использованием специализированных тестирующих программ, заметно повышает качество и эффективность преподавания и контроля знаний обучающихся.
Учитывая самые разнообразные виды, формы, классы тестов, типов вопросов, методов оценки знаний и тестирования, применяемых в образовательном процессе, несомненно, все еще остается актуальной проблемы создания тестовых заданий и использования тестов. Однако на современном этапе развития высшей школы возникает закономерные вопросы: в какой мере тестирование позволяет реализовать диагностическую и обучающую функции в условиях компетентностного подхода? В какой мере использование тестов позволяет эффективно оценить уровень формирования компетенций у обучающихся?
Аванесов следующим образом определят эффективность теста [6]: Эффективным можно назвать тест, который лучше, чем другие тесты, измеряет знания студентов интересующего уровня подготовленности. Тест называется эффективным для измерения знаний студентов с уровнем, соответствующим точке континуума знаний, если он обеспечивает в этой точке максимум информации о значении при минимуме числа заданий.
Действительно с помощью эффективного теста, с определенным уровнем надежности и валидности можно определить степень знаний испытуемого. Однако подавляющее большинство преподавателей, при составлении тестов, никогда не рассчитывают показатели надежности и валидности тестовых результатов и эффективности теста. К сожалению, наиболее часто в тестах используют простейший метод «выбрать правильный ответ из неправильных ответов», без учета теории тестов, методов тестирования (ретестовый метод, параллельных форм, расщепления), без определения надежности теста, шкалирования результатов и их статистической обработки, в том числе в зависимости от трудностей заданий теста. Соответственно итоговая оценка, получаемая из соотношения количества правильных ответов и заданных вопросов, не позволяет адекватно оценить знания студента, что резко снижает эффективность тестирования.
Еще большую сложность вызывает оценка знаний на основных уровнях (гносеологическом и технологическом) изучения какой-либо дисциплины - знать, уметь, владеть, а также оценка личностных и деловых качеств обучающегося, которые задаются парадигмой образования.
Как показывает многолетняя практика использования тестов, в области информатики, информационных технологий наилучшие результаты проявляются на технологическом уровне, то есть уровне умений, использования того или иного программного продукта, решения стандартных задач и примеров. Определенные затруднения вызывают тестовые задания на знания, в том числе, знание точных правил, операций, определений. Следует отметить, что часто у студентов вызывают затруднения простейшие тестовые вопросы, которые в процессе изучения предмета или постоянного автоматического использования выпадают из поля внимания студента, отодвигаясь на «второй план». Очевидные действия «не замечаемые» студентом являются причиной ошибок при ответе на тестовые задания.
При использовании тестов, также возникает проблема психологического восприятия студентом текста вопросов и ответов теста. Эта проблема тесно связана с качеством тестирующих материалов. Дидактика построения теста подразумевает, что тестовое задание должно быть представлено в форме краткого суждения, сформулировано ясным, четким языком, исключающим неоднозначность. Содержание задания должно быть выражено краткой, предельно простой синтаксической конструкцией, без повторов и двойных отрицаний [4; 5]. Часто варианты ответов отличаются только отдельными словами или предлогами «и, или, не». Студент вместо того, чтобы обдумывать вопрос, пытается определить семантические отличия вариантов ответа.
Наибольшие затруднения у студентов вызывают тестовые задания на понимание и решение нестандартных задач, в том числе, требующих когнитивного мышления, творческого подхода, понимания сущности и взаимосвязи рассматриваемых процессов и операций. Именно тех умений, личностных и деловых качеств, которые определяются компетентностным подходом. Это сложные задания, они подразумевают определенный уровень знаний, требуют более длительного времени на обдумывание, и очень часто требуют использования дополнительных источников для поиска решений. Соответственно в тесте количество таких сложных, творческих тестовых заданий должно быть ограничено. Учитывая, что при тестировании, как правило, на ответ отводится 1-2 минуты, этого времени явно недостаточно для адекватного осмысления сложных вопросов и нахождения правильного ответа, особенно в стрессовой ситуации проведения теста или экзамена.
Как показывает опыт, при выполнении теста, в котором имеются сложные задания (с точки зрения студента), требующие определенных логических построений, творческого подхода, студенты предпочитают выбирать ответ наугад или пропускают такое задание. Более того, если количество сложных заданий составляет большую часть теста, студенты перестают обдумывать и более простые тестовые задания, выбирая ответы наугад. Этому же способствует тип теста - «один правильный ответ». И если преподаватель при составлении тестов, не учитывает современную методологию создания тестов, психологию восприятия и прохождения теста обучающимся, то при большом количестве «подходов» студент может получить положительную оценку. Которая, ни в коей мере, не дает истинную оценку компетенций обучающегося.
Фактически существующие формы тестов показывают относительно низкую диагностическую эффективность оценки знаний обучающихся, в том числе по ряду причин, указанных выше, и не могут дать объективной оценки освоения компетенций, особенно при промежуточной аттестации по какой-либо дисциплине. В тоже время тесты остаются достаточно эффективным инструментом для рубежного и текущего контроля оценки знаний, умений и навыков освоения отдельных разделов дисциплин и отдельных дидактических единиц. При этом любые задания, требующие длительного обдумывания, и применения дополнительных источников необходимо исключать из тестов для текущего и рубежного контроля.
С помощью тестов чрезвычайно сложно оценить способность обучающегося решать поставленные проблемы. Так ФГОС по направлению подготовки бакалавриата [7], требуют формирования достаточно специфических компетенций, например, способности к самоорганизации и самообразованию (ОК-6); способности к организации коллектива исполнителей, принятия управленческих решений в условиях различных мнений (ПК-13); способности к нахождению компромисса между различными требованиями как при долгосрочном, так и при краткосрочном планировании и определении оптимального решения (ПК-13).
Для оценки освоения указанных компетенций достаточно сложно составить тестовые задания, даже в рамках отдельных дисциплин. В данном случае более уместны формы контроля в виде творческих и технологических проектов, кейс- метода и т. д. для оценки указанных компетенций. Тем не менее использование современной теории и методологии тестирования позволяют найти подходы для формулирования тестовых заданий для оценки деловых качеств, оценки освоения, в том числе указанных выше компетенций.
Один из таких подходов эффективного тестирования сформулировал В.С. Аванесов [6], предложивший использование адаптивного теста, с дифференцированной валидностью для каждого уровня, когда при тестировании используется алгоритм выбора очередного задания оптимального уровня трудности, в зависимости от ответа студента на предыдущее задание. Каждый студент последовательно получает такие задания, чтобы на каждом шаге разность между значениями параметров подготовленности испытуемого и трудности задания уменьшалась по модулю, постепенно приближаясь к нулю.
К сожалению указанный подход достаточно сложно реализуется при программной реализации алгоритма выбора тестового задания оптимального уровня трудности для конкретного студента и расчета оценки его знаний.
Тем не менее рассмотренный круг проблем применения тестов для оценки освоения компетенций, позволяет сформулировать следующие принципы разработки и использования тестов и тестовых заданий:
Таким образом, рассмотренные вопросы и проблемы разработки и эффективного использования тестов для оценки знаний показали, что при освоении различных уровней компетенций тестирование не способно в полной мере реализовать диагностическую и обучающую функции. Просматривается недостаточная эффективность тестов оценки уровня освоения профессиональных и общепрофессиональных компетенций, в том числе при промежуточной аттестации обучающихся. Компьютерные тесты и тестирование целесообразно использовать только в качестве вспомогательного инструмента для проведения рубежного и текущего контроля. Также необходимо постоянно совершенствовать качество тестов и тестирующих заданий с учетом теории тестов и с учетом психологии восприятия информации человеком, требуется использование тестирующих систем, которые используют разные типы вопросов, дифференцируют и уровни вопросов по сложности, и ответы на них, с соответствующей оценкой сложности. Требуется разработка тестов способных оценивать нестандартные решения, гносеологический уровень знаний и мышления студентов.
Список литературы
