Вопросы организации банка тестовых заданий

Елена Попова

Дмитрий Попов

 

Опубликовано в ж. «Педагогические Измерения» №4, 2007 г.

 

Московский государственный университет печати

elena-popova@mail.ru, damitry@mail.ru

 

В статье рассматриваются вопросы организации банка тестовых заданий, на основе учета взаимосвязи формы и содержания. Предлагается методика анализа семантической сущности тестовых заданий и построения оптимальных форм тестовых заданий на основе анализа их содержания.

Ключевые слова: тестовые задания, форма, содержание, качество

 

ФАКТОРЫ КАЧЕСТВА ЗАДАНИЙ

Одной из приоритетных проблем в применении тестирования для оценки знаний студентов является качество тестовых заданий. В ранее опубликованных работах   определены требования к содержанию качественного тестового задания. Факторы, влияющие на качество содержания тестового задания (ТЗ), можно представить обобщённым образом:

• компактность и свернутость

• логичность и корректность (формулировка ТЗ в виде суждения, соответствие ГОС)

• содержательность и значимость

• однозначность и ясность

• достаточность

• время вывода заключения о результате тестирования.

Для любого ТЗ можно подобрать наиболее подходящую форму, благодаря которой задание будет представлено наиболее кратким по содержанию и ёмким по смыслу. Формирование именно таких ТЗ производится на основе методических правил и принципов, опубликованных в ряде источников:

1. Тестовое задание должно быть представлено в форме краткого суждения, сформулированного четким языком и исключающего неоднозначность ответов тестируемого на требования тестового задания.

2. Формулировка ТЗ не должна содержать повторов, любых форм отрицаний и сленга.

3. Формулировка ТЗ должна быть выражена в повествовательной форме (вопрос исключается).

4. Желательно, в формулировке ТЗ не использовать повелительные наклонения (выберите, вычислите, укажите и т.д.), поскольку такое ТЗ не является суждением.

5. В ТЗ с выбором не должно быть заведомо ложных ответов, ответов, содержащих подсказку, а также явно выделяющихся, обособленных ответов.

6. Недопустимы ответы типа: «всё вышеперечисленное верно», «все указанные ответы неверны» и т.д.

7. Ни в тексте, ни в ответах не должно быть подсказок.

8. Лучше «длинное» задание и «короткие» ответы, чем наоборот.

9. Должно быть предусмотрено достаточное количество вариантов ответов (в форме с выбором 4-6, на установление последовательности 4-8, на установление соответствия – 3-5). В открытой форме должны быть предусмотрены все возможные образцы эталонных ответов, в связи с тем, что компьютерное тестирование накладывает ограничения по времени формирования ответов; большое количество вариантов ответов требует большего времени для поиска верных ответов. Таким образом, за время, отведенное под тест, предоставляется меньшее количество заданий, число заданий уменьшается, и, соответственно, уменьшается надежность тестовых результатов.

10. ТЗ должно соответствовать содержанию ГОС, а значит, и учебной программы.

11. ТЗ должно быть ясным и понятным по смыслу. Ясность смысла тестовой ситуации и представления ТЗ свидетельствует о том, что при конструировании тестовой ситуации ничего существенного не упущено, а исходные посылки и требование проблемной тестовой ситуации понятны для тестируемых с определенным уровнем обученности.

12. ТЗ должно быть компактно и свернуто. Эти характеристики показывают насколько наглядно, компактно сформулировано данное ТЗ, и насколько оно приведено к форме, облегчающей тестируемому целостное восприятие содержания тестового задание (использование наглядной информации – рисунки, формулы, графики и т.д.).

Субъект тестирования воспринимает тестовое задание как единое целое. Социологические опросы студентов показывают, что изначально тестируемый воспринимает формулировку задания, изучив которую считает, что этого будет достаточно, для того чтобы понять общее требование данного задания. На восприятие ТЗ, а также на формирование вывода, на это задание, влияет огромное количество факторов (в том числе психологических, окружающей среды, настроя, освещения и т.д.).

В связи с этим, деятельность разработчиков банков тестовых заданий должна быть направлена на уменьшение влияния второстепенных факторов, отвлекающих, пусть даже в самой маленькой степени, субъекта от главного при тестировании: понимания требования задания и формирования верного заключения в отведенное время. На сегодняшний день, понимая важность и необходимость компьютерного тестирования, большинство проводящих эту процедуру предварительно сводят большинство внешних факторов к минимуму, путем подготовки лабораторий к компьютерному тестированию, положительного настроя студентов к процедуре, полного инструктажа и т.д.

Разработчики со своей стороны пользуются общими требованиями при составлении тестовых заданий, которые позволяют свести к минимуму отвлекающие факторы по их содержанию. С точки зрения формы будем считать, что если субъект тестирования, при представлении ему задания в определенной форме, может достоверно судить о содержании и требовании конкретного ТЗ, и производить полностью адекватные выводы, учитывая степень своей обученности, то мы можем судить о качестве формы представления задания.

Формируя ответы на ТЗ, тестируемый должен как можно меньшее время тратить на распознавание тестового задания с точки зрения формы. В этом аспекте факторы качества “Компактность и свернутость” отнесем к факторам качества по форме представления.

Существуют 4 классические формы тестовых заданий: задания с выбором одного или нескольких правильных ответов, открытая форма, на установление соответствия, на установление правильной последовательности. Формы построены по признаку действий, выполняемых тестируемыми. В связи с тем, что тесты применяются довольно широко, встает задача обеспечения переносимости и мобильности банков тестовых заданий и форм представления тестов.

На международном уровне большой вклад в развитие стандартизации форм представления тестов, а также их спецификаций внес американский стандарт IMS QTI. Стандарт поддерживает 4 классических формы заданий и позволяет обеспечить переносимость, мобильность тестовых данных между различными программными и аппаратными платформами. В стандарте определены положения, согласно которым усилия разработчиков систем тестирования во всем мире направлены, на то, чтобы их банки были:

• интероперабельными (interoperable) - обеспечение возможности взаимодействия различных банков тестовых заданий, что крайне важно для распределенных учебных сред;

• многократно используемыми (reusable) - давало возможность многократного использования компонентов тестирования, построенных на основе информационных технологий;

• адаптивными (adaptable) - позволяло системам включать развивающиеся новые информационные технологии, без перепроектирования систем;

• долговечными (durable) - соответствовало разработанным стандартам и предоставляло возможность вносить изменения без тотального перепрограммирования;

• доступными (accessible) - давало возможность тестироваться из разных мест (локально и дистанционно, из учебного класса, с рабочего места или из дома); программные интерфейсы должны обеспечивать возможность работы испытуемым разного образовательного уровня, разных физических возможностей (включая инвалидов).

ПРИМЕР ИССЛЕДОВАНИЯ ОТДЕЛЬНОГО ТЕСТОВОГО ЗАДАНИЯ С ТОЧКИ ЗРЕНИЯ ОПТИМАЛЬНОСТИ ФОРМЫ И СОДЕРЖАНИЯ

Общую схему исследования можно представить в виде следующих шагов:

• определения области знания;

• выделение единиц с семантической сущностью;

• анализ возможных форм представления ТЗ;

• проверка соответствия формы содержанию;

• анализ качества тестовых заданий.

 

Рассмотрим подробнее каждый из представленных этапов анализа тестовых заданий.

Этап 1. Область знания. Для составления любого ТЗ выбирается некая общая область знаний (например, по одной дисциплине). Эта область, безусловно, должна содержать семантическое значение с точки зрения содержания задания. Будем считать такую область, в аспекте разработки банка тестовых заданий, областью с семантической сущностью. Следовательно, весь учебный материал, по которому разрабатывается банк тестовых заданий, можно представить как общую конкретную область знаний, состоящую из единиц с семантической сущностью  (ЕСС) (рис.1).

 

Рис.1

 

Любая ЕСС может пересекается с соседними единицами в смысловом аспекте, т.е., одна тема может являться частью для соседней темы, и, следовательно, задания могут составляться на пересечении двух единиц с одной семантической сущностью.

Этап 2. Выделение минимальных единиц с семантической сущностью. Определив ЕСС в выбранной области знаний, можно начать процесс формирования структуры банка и выбора конкретных тем (разделов), по которым будут составляться ТЗ, в соответствии с целью разработки банка. Проводя иерархическое структурирование разделов области знаний, выберем отдельную минимальную единицу информации, с необходимой и достаточной семантической сущностью для составления тестового задания какой-либо формы. Эту единицу информации будем считать минимальной единицей с семантической сущностью (МЕСС). Другими словами МЕСС должна содержать достаточное количество смысловой информации, чтобы с ее помощью можно было представить информацию в виде тестового задания в одной из форм. Тестовые задания формулируются из МЕСС.

Этап 3. Анализ возможных форм ТЗ на основе МЕСС.  МЕСС представляет собой истинное утверждение из выбранной предметной области. На основе МЕСС  можно получить множество инверсий этого утверждения – другими словами дистракторов. Учитывая, что МЕСС однозначно характеризует элемент знания, можно сделать вывод о возможной форме ТЗ.   Будем считать, что, полученную минимальную смысловую единицу, возможно, представить с точки зрения 4 форм: закрытой (1), открытой (2), на последовательность (3), соответствие (4). Тогда общая область знания может быть отображена следующим образом:

 

Рис.2

 

На рисунке 2 показаны возможные представления МЕСС с помощью различных форм (формы обозначены 1,2,3,4), а также пересечения минимальных единиц с семантической сущностью, которые также могут обладать необходимой семантической информацией для составления тестового задания.

Пример 1: На начальном этапе нужно выбрать область знаний. Возьмем, например,  дисциплину “Сети ЭВМ и телекоммуникации”, для специальности “Автоматизированные системы обработки и управления”. В соответствии с государственным образовательным стандартом выберем темы, по которым будет разрабатываться банк. В нашем случае это будет тема “Эталонная модель взаимосвязи открытых систем”. Выделяем по этой теме ЕСС, затем МЕСС. Тестовые задания будут составляться по мере выделения очередной МЕСС.

Выбрана ЕСС: “Эталонная модель взаимосвязи открытых систем ОSI представлена 7 уровнями взаимодействия компьютеров от самого высокого к самому низкому: прикладным, представления данных, сеансовым, транспортным, сетевым, канальным, физическим”.

Выделим МЕСС из приведенной фразы, в каждой из них будет отражена минимально-необходимая смысловая информация для составления тестового суждения:

МЕСС 1: “Эталонная модель взаимосвязи открытых систем ОSI”.

В данном случае МЕСС может быть представлена двумя формами: с выбором одного правильного ответа и открытой. Для форм на соответствие и последовательность не хватает семантической информации.

Приведем примеры различных форм с учетом анализа МЕСС.

Задание 1  – с выбором одного или нескольких правильных ответов

(Здесь и далее используются следующие обозначения:

Ф – формулировка,

В – верный вывод на задание,

Д – дистракторы):

Ф: ЭТАЛОННАЯ МОДЕЛЬ ВЗАИМОСВЯЗИ ОТКРЫТЫХ СИСТЕМ ИМЕЕТ АНГЛИЙСКУЮ АББРЕВИАТУРУ - …

В: OSI

Д: MIOS

Д: ISO

Д: SIO

Д: СOM

Задание 2 – открытая форма

Ф: ЭТАЛОННАЯ МОДЕЛЬ ВЗАИМОСВЯЗИ ОТКРЫТЫХ СИСТЕМ ИМЕЕТ АНГЛИЙСКУЮ АББРЕВИАТУРУ - _________

В: OSI

 

МЕСС 2: “ОSI представлена 7 уровнями взаимодействия компьютеров”.

Здесь, как и в предыдущем случае МЕСС может быть представлена двумя формами.

 

Задание 3  – с выбором одного или нескольких правильных ответов

Ф: ОSI ПРЕДСТАВЛЕНА … УРОВНЯМИ ВЗАИМОДЕЙСТВИЯ КОМПЬЮТЕРОВ.

В: 7

Д: 5

Д: 10

Д: 12

Д: 20

 

Задание 4 – открытая форма

Ф. КОЛИЧЕСТВО УРОВНЕЙ ВЗАИМОДЕЙСТВИЯ  В МОДЕЛИ OSI - …

В: 7

B: СЕМЬ

 

МЕСС 3: “Уровни взаимодействия компьютеров от самого высокого к самому низкому: прикладной, представления данных, сеансовый, транспортный, сетевой, канальный, физический”

В данном случае МЕСС может быть представлена в  четырех формах,.

 

Задание 5  – с выбором одного или нескольких правильных ответов

Ф: УРОВНИ ВЗАИМОДЕЙСТВИЯ КОМПЬЮТЕРОВ:

В: прикладной	В: сетевой
В: представления данных	В: канальный
В: сеансовый	В: физический
В: транспортный	Д: маршрутизированный

 

Задание 6 – открытая форма

Ф: САМЫЙ ВЫСОКИЙ УРОВЕНЬ ВЗАИМОДЕЙСТВИЯ КОМПЬЮТЕРОВ В СООТВЕТСТВИИ С МОДЕЛЬЮ OSI - …

В: прикладной

 

Задание 7 – форма на последовательность:

(цифры 1,2, … обозначают выводы на задание в верной последовательности)

Ф: УРОВНИ ВЗАИМОДЕЙСТВИЯ КОМПЬЮТЕРОВ, В ПОРЯДКЕ ОТ САМОГО ВЫСОКОГО - К САМОМУ НИЗКОМУ

1) прикладной	5) сетевой
2) представления данных	6) канальный
3) сеансовый	7) физический
4) транспортный

 

Задание 8  – форма на соответствие: (    1 – элемент последовательности,

1+ – соответствующий ему элемент,

соответственно 2 и 2+ … и т.д.)

Ф: СООТВЕТСТВИЕ УРОВНЕЙ ВЗАИМОДЕЙСТВИЯ КОМПЬЮТЕРОВ

1: Самый высокий уровень взаимодействия компьютеров

1+: прикладной

2: Самый низкий уровень взаимодействия компьютеров

2+: физический

3:

3+: сеансовый

4:

4+: представления данных

 

Для каждой из представленных выше форм, приведено только по одному ТЗ, однако, благодаря точному анализу ЕСС видно, что для каждой из них можно было составить несколько заданий. В этом аспекте правильное разбиение области знаний на МЕСС, может служит подсказкой для составления оптимального количества заданий каждой формы.

Итак, единицу с семантической сущностью “Эталонная модель взаимосвязи открытых систем ОSI представлена 7 уровнями взаимодействия компьютеров от самого высокого к самому низкому: прикладным, представления данных, сеансовым, транспортным, сетевым, канальным, физическим” мы разбили на 3 МЕСС:

1. «Эталонная модель взаимосвязи открытых систем ОSI …»

2. «ОSI представлена 7 уровнями взаимодействия компьютеров …»

3. «От самого высокого к самому низкому: прикладной, представления данных, сеансовый, транспортный, сетевым, канальным, физическим».

Этап 4. Проверка соответствия возможной формы ТЗ содержанию с точки зрения методологических требований. До этого момента определена  внутренняя и внешняя формы тестовых заданий. Спроектированы задания с точки зрения качества формы. Однако, для того, чтобы ТЗ можно было однозначно определить как качественное, его необходимо проверить с точки зрения качества содержания. Такая проверка осуществляется при помощи представленных выше факторов качества. В опубликованных работах предположено, что есть наиболее и наименее приоритетные факторы, влияющие на качество содержания тестового суждения. Возможное ранжирование важности этих факторов по убыванию, которое было произведено при помощи анкетирования компетентных лиц, представлено в таблице (ранг соответствует номеру фактора):

                                Таблица 1

ЗНАЧЕНИЯ	Факторы
Однозначность и ясность	Содержательность и значимость	Логичность и корректность	Достаточность	Компактность и свернутость	Время вывода
РАНГИ	1	2	3	4	5	6

 

Будем учитывать важность факторов, влияющих на качество содержания с точки зрения возможности применения отобранных форм. Для этого возьмем следующую шкалу:

                                    Таблица 2

№ пункт.	Замечания по факторам	Возможность применения формы
1	1,2	Форма не может быть применена для данного содержания
2	3,4	Форма не оптимальна для данного содержания
3	5,6	Форма относительно оптимальна для содержания
4	отсутствие замечаний	Подобрана оптимальная для содержания форма

 

Этап 5. Ранги качества представленных тестовых суждений. Анализируя таблицу 2 можно сделать вывод о том, что проведенный выше анализ может найти оптимальное соотношение содержания и формы для конкретного тестового задания. Если полученное путем приведенного анализа ТЗ соответствует пункту 4 табл.2., то можно утверждать, что оно высококачественно с точки зрения учитываемой методологии и синтеза формы и содержания конкретного суждения. Проведем анализ представленных выше форм тестовых заданий в соответствии с методологическими требованиями по содержанию, результаты внесем в таблицу 3.

 

Таблица 3.

№ зад.	Наличие не соответствия факторам (отсутствие замечаний)	Возможность применения формы
1	Отсутствие замечаний	Подобрана оптимальная для содержания форма
2	Отсутствие замечаний	Подобрана оптимальная для содержания форма
3	Отсутствие замечаний	Подобрана оптимальная для содержания форма
4	Отсутствие замечаний	Подобрана оптимальная для содержания форма
5	4,5	Форма не оптимальна для данного содержания
6	Отсутствие замечаний	Подобрана оптимальная для содержания форма
7	Отсутствие замечаний	Подобрана оптимальная для содержания форма
8	4	Форма не оптимальна для данного содержания

 

Задание №5 не соответствует методологическим требованиям по следующей причине: “Должно быть предусмотрено необходимое и достаточное количество заключений в закрытой форме – 4-6” (оптимальное количество заданий закрытой формы при компьютерном тестировании). В нашем случае 8 ответов, следовательно, присутствует не соответствие сразу двум факторам качества: 4 (достаточность) и 5 (компактность и свернутость). Задание №8 не соответствует методологическим требованиям, т.к. для формы на соответствие предусмотрено не менее 3 заключений, которым должны соответствовать варианты, в нашем случае их 2, следовательно, присутствует не соответствие фактору качества 4 (достаточность). Вывод: для заданий 5 и 8 подобраны не оптимальные формы для отражения содержания, задания 1,2,3,4,6,7 высококачественны с точки зрения учитываемой методологии и синтеза формы и содержания.

 

ЗАКЛЮЧЕНИЕ

Форма не существует без содержания, так же, как содержание не существует без формы. Смысл этого известного философского вывода  можно перенести и в область создания банков тестовых заданий. Однако в этом случае первоначальным всегда является содержание, поскольку от содержания области знаний отталкивается  разработчик тестовых заданий, когда подбирает наиболее оптимальную форму. Следовательно, с этой точки зрения, содержание можно рассматривать как приоритетное явление перед формой. Однако, как показано в статье, содержание интерпретируется как явление, а форма представления тестового суждения как сущность, и, в конце концов, именно форма является тем объектом, с которым сталкивается тестируемый, и от чего он начинает строить свои суждения, чтобы прийти к содержанию. Поэтому с этой точки зрения форма может рассматриваться как приоритетное явление перед содержанием. Полученное диалектическое противоречие позволяет сделать вывод о том, что форма и содержание имеют одинаковые приоритеты при составлении тестовых заданий и единственно верным решением является предложенная в статье методика рассматривать их как единое целое с целью проектирования качественных банков тестовых заданий.