Вопросы теории и методики разработки параллельных заданий в тестовой форме по английскому языку

 

Светлана Пестряева

Московский государственный университет путей сообщения

pesveta@gmail.com

Опубликовано в ж. «Педагогические Измерения» № 3, 2007 г. С. 41-48..

 

Аннотация

В статье рассматриваются вопросы создания параллельных заданий в тестовой форме.  В качестве теоретической основы такой работы рассматривается педагогическая теория учебных единиц П.Эрдниева. 

 

Зачем нужны параллельные задания?

Во-первых, параллельные тестовые задания нужны для того, чтобы исключить списывание – явление весьма распространённое в российской образовательной практике. А за этим стоит несоответствие  между полученными результатами тестирования и реальными знаниями испытуемых, а также принудительность многих проверок знаний. Во-вторых, эти задания нужны для организации самостоятельной работы учащихся в процессе учебы в течение года, а также для подготовки к различным видам контроля. «Задания в тестовой форме меняют учебный процесс революционным образом в случае их применения для организации самостоятельной работы. Именно с помощью заданий в тестовой форме можно создать современные обучающие средства.

Цель данной статьи - рассмотреть некоторые вопросы теории и методики разработки параллельных тестовых заданий. Параллельными тестовыми заданиями называются такие задания, которые имеют сходное предметное содержание в пределах укрупненной учебной единицы знаний, равные средние арифметические, равные дисперсии и равные интеркорреляции[1].

Задания в тестовой форме обладают неоспоримыми преимуществами перед другими педагогическими формами контроля знаний. В литературе выделяется пять основных преимуществ таких заданий:

1.Высокая научная обоснованность заданий и самого теста, что позволяет получать объективированные оценки уровня подготовленности испытуемых;

2. Технологичность тестовых методов;

3. Точность измерений;

4. Наличие одинаковых, для всех, правил проведения педагогического контроля и адекватной интерпретации тестовых результатов;

5. Сочетаемость тестовой технологии с другими современными образовательными технологиями[2].

Постановка проблемы

В настоящее время в литературе не исследованы содержательно-педагогические вопросы формулирования параллельных заданий. Главное препятствие на пути разработки настоящих тестов – отсутствие педагогической теории разработки параллельных заданий в тестовой форме. Именно это мешает созданию таких вариантов теста, которые можно было бы применять в практике без риска получения существенных ошибок измерения и низких показателей надёжности каждого варианта теста. В общем можно сказать, что ещё не выработана единая теория разработки параллельных заданий в тестовой форме. Следовательно, для контроля качества  обучения необходимо выработать методы создания параллельных заданий и критерии проверки качества тестов в системе педагогических измерений.

Относительно учебной дисциплины «английский язык» различается шесть международных уровней знаний, от начинающего – это Кембриджский экзамен первого уровня сложности (Key English Test),  до профессионала - Certificate of Proficiency in English (CPE) - это Кембриджский экзамен высшего уровня сложности (beginner - proficiency). Соответственно на образовательном рынке в России представлен широкий спектр  учебников с разработанными тестами зарубежных издательств, широко известных почти каждому старшекласснику и подавляющему большинству студентов. Многие ВУЗы занимаются по учебникам  издательств Cambridge, Oxford, Longman, Express Publishing  и др.  

Теоретическая и методическая основа тестовых методов - это:

- единая система понятий и терминов

- вопросы формы и содержания тестов

- математические модели педагогических измерений

            В зарубежной тестовой литературе о параллельных заданиях в тестовой форме пишут в статистическом смысле, то есть в смысле равенства статистических показателей. Параллельные задания должны иметь сходные средние арифметические и сходные значения дисперсий. В параллельных вариантах теста истинные компоненты одного варианта (T1) должны равняться истинным компонентам другого (T2), в каждой выборке испытуемых, отвечающих на оба варианта теста: помимо равенства T1 = T2, принимается равенство  = , т. е.,  равенство дисперсий параллельных заданий теста.

Измерение качества педагогических заданий означает процесс выявления их существенных свойств, а также отображение уровня проявления каждого свойства  численными эквивалентами, адекватными количеству проявляемого свойства.  Все параллельные варианты заданий должны измерять одно и то же интересующее педагога свойство.

 

Технология укрупнения дидактических единиц и фасеты

Считается, что параллельные варианты заданий должны проверять одну укрупненную единицу знаний. Концепция укрупнения дидактических единиц (УДЕ) была разработана П.М. Эрдниевым и рассматривалась им как технология обучения[3]. В нашей работе эта концепция расширяется до возможностей использования УДЕ в вопросах автоматизированного тестового контроля знаний. Как справедливо отмечал П.М.Эрдниев, его концепция отвечает тенденции современного познания к интеграции и синтезу информации. Применительно к вопросам разработки тестов идея УДЕ позволяет преодолеть дробность и элементаризм содержания заданий. Средством укрупнения содержания тестовых заданий является использование фасетов.

Фасет - это форма записи нескольких вариантов одного и того же задания. Например, мы хотим проверить усвоение лексики пройденной главы. Во избежание дробления содержания заданий и для исключения возможности списывания создаётся фасет. Это означает, что в фигурных скобках заключены параллельные варианты каждого задания. Испытуемый получает только один вариант из фасета. Все элементы одного фасета априорно считаются равнотрудными по содержанию и по форме.  Помимо возможности укрупнения дидактических единиц, фасетная технология является хорошим средством достижения параллельности вариантов теста.

В литературе самое первое упоминание о фасетных заданиях можно найти на стр. 22 работы В.С.Аванесова[4]. В последующих работах этого автора идея фасетных заданий постепенно оснащалась множеством практических примеров и превратилась, фактически, в фасетную технологию разработки параллельных заданий в тестовой форме.

 

Примеры параллельных тестовых заданий

Варианты одного задания можно видеть на нижеследующем примере:

1. WHEN {someone is forced to leave their job; someone is enthusiastic about something} WORDS AND PHRASES

1) relieve somebody of their duties	8) fire somebody with enthusiasm
2) give somebody the sack	9) make somebody redundant
3) give somebody (their) notice	10) relieve somebody of their post
4) lose your job	11) redundancy
5) motivate	12) suspend
6) inspire	13) rousing
7) lay off	14) fire

                                                                                                          ARE USED

            Здесь представлены два параллельных варианта одного задания. Первое – «someone is forced to leave their job» и второе - «someone is enthusiastic about something».   В процессе тестирования испытуемый получает один из этих двух вариантов задания в тестовой форме.

2. WHEN {someone is forced to leave their job; someone is made to do something} WORDS AND PHRASES

1) induce somebody to do something	9) prompt somebody to do something
2) relieve somebody of their duties	10) cause somebody to do something
3) make somebody do something	11) lead somebody to do something
4) give somebody (their) notice	12) relieve somebody of their post
5) make somebody redundant	13) redundancy
6) give somebody the sack	14) suspend
7) lose your job	15) motivate
8) lay off	16) fire

                                                                                                          ARE USED

Первое и второе задания по содержанию совпадают. Поэтому их можно объединить в одно задание с тремя вариантами в фасете, при условии проведения тестирования с использованием компьютера. Если тестирование проходит с использованием бумажного носителя, то второе задание включается в банк параллельных заданий одного варианта. Представленные параллельные задания в тестовой форме рассчитаны на высокий уровень владения языком студентов, например,  специальности «менеджмент». Если внимательно проанализировать варианты ответов, то нельзя однозначно сказать, что уровень трудности один и тот же для каждого испытуемого, т.к. лексический запас каждого студента не однороден. Но не возникнет сомнения, что проверяется одна укрупненная единица знаний.

Другой пример:

 3. PHRASE {a stupid person, to make a mistake} MEANS

1) to fall into the trap of doing something	9) to goof up
2) to get something wrong	10) blunder
3) to make a mistake	11) slip up
4) to misjudge	12) idiot
5) to go wrong	13) wally
6) goof ball	14) dope
7) fool	15) jerk
8) dork	16) goof

Мы видим два варианта одного и того же задания. Предлагается   16 вариантов ответов на каждый из двух вариантов одного и того же задания. На  выполнение каждого задания отводится  не более одной минуты. Предполагается, что испытуемые должны знать эту лексику. Но на практике возникают такие ситуации, что студенты одной группы, но разных подгрупп, занимаются по разным учебно-методическим компонентам (УМК), что делает сравнение нереальным.

Соответственно уровень различных УМК выбирается для подгрупп один и тот же, если подготовленность испытуемых примерно однородна, что редко встречается в практике, а лексическое  содержание разнится и здесь возникает проблема оценки знаний испытуемых одной группы, но разных подгрупп. В литературе нет четких разграничений по лексике по уровням владения языком «General English». Уровни таковы:

1-beginner – 300 слов

2-elementary - 600 слов

3-pre-intermediate -1200 слов

4- intermediate - 1600 слов

5-advanced - 3000 слов

Еще один пример.

4 {To speak to someone by telephone, to pass a test} MEANS TO

1) give somebody a buzz	11) give somebody a ring
2) give somebody a call	12) make a telephone call
3) make a phone call	13) be given a pass
4) be on the phone	14) make a call
5) scrape through	15) sail through
6) breeze through	16) get through
7) telephone	17) qualify
8) graduate	18) phone up
9) phone	19) ring up
10) call	20) pass

Мы видим два варианта одного и того же задания. Для радикального снижения вероятности угадывания правильного ответа предлагается 20 вариантов ответа на каждый из двух вариантов одного и того же задания.

Представленные ниже примеры разработаны для параллельных заданий, нацеленных на контроль усвоения лексических единиц.

5. THE AMOUNT YOU HAVE TO PAY {To have a particular service or use something, to travel somewhere by bus, train, plane etc,   for services and activities, rather than objects , to enter or join something , to spend in order to run a business or to do a particular activity , for something in a place such as a shop or restaurant } IS

1) cost	7) price control
2) price	8) price cutting
3) charge	9) price range
4) feed	10) price tag
5) fare	11) char
6) fair	12) fee

 

6. {Ground, land, earth, soil, floor} IS THE

1) planet that we live on

2) soft substance that covers the ground and that plants grow in

3) surface that you walk on when you are indoors

4) part of the earth's surface that is not covered in water

5) surface that you walk on when you are outdoors

 

7. {Wait, expect, look forward to, await} MEANS TO

1) believe that something will come, happen etc

2) stay somewhere or not do something until something comes, happens etc (informal English)

3) stay somewhere or not do something until something comes, happens etc (formal English)

4) be excited and pleased about something that is going to happen

Используя фасет, можно разработать бесконечное множество различных параллельных заданий в тестовой форме по всем аспектам языка. Примеры фасета показаны в задании 8, 9, 10, 11. Действительно, с помощью компьютерных технологий, можно ввести в компьютер все глаголы для задания 8, все существительные для задания 9, все прилагательные для задания 10, все наречия для задания 11. Ограничением будет только систематизация слов по уровням знания языка и частотности  их употребления в письменной и разговорной речи.

8. ГЛАГОЛ {V}

1) правильный

2) неправильный

 

9. СУЩЕСТВИТЕЛЬНОЕ {N}

1) правильное

2) неправильное

 

10. ПРИЛАГАТЕЛЬНОЕ {Adj}

1) правильное

2) неправильное

 

11. НАРЕЧИЕ {Adv}

1) правильное

2) неправильное

Далее  приводятся примеры параллельных тестовых заданий по теме «Глагол to get» Известно, что английские слова многозначны, и одно слово может иметь более 50 значений, относиться к разным частям речи. Глагол «to get» один из самых распространенных по употреблению.

Цель тематических заданий – приобретение компенсаторных навыков владения иностранным языком и расширения лингвистической компетенции.

12. {To get something by buying it, asking for it; to be given something; to get a score in a game}  MEANS TO

1) be awarded	6) be given
2) acquire	7) receive
3) inherit	8) obtain
4) score	9) make
5) find	10) get

В данном фасете задания 12 представлены три параллельных варианта одного задания. Первый – « To get something by buying it, asking for it »  , второй« to be given something» и третий « to get a score in a game » Эти варианты считаются равнотрудными и нацелены на расширение возможности выражения одной и той же мысли различными языковыми средствами. Так мысль «To get something by buying it, asking for it »  можно выразить четырьмя способами: 2) acquire, 5) find, 8) obtain, 10) get. Мысль «to be given something» можно выразить пятью способами: 1) be awarded, 3) inherit, 6) be given, 7) receive, 10) get; Мысль « to get a score in a game» можно выразить тремя способами: 4) score, 9) make, 10) get.  При этом «get» можно употреблять в соответствующем значении во всех трех параллельных вариантах одного задания.