Вадим Аванесов
Опубликовано в ж. «Педагогические Измерения» №3 2010 г.
Аннотация
Даны определения основных понятий теории профессионального отбора, рассмотрены критерии принятия решений, рассмотрены вопросы работы с таблицами Тейлора-Рассела.
Ключевые слова: профессиональный отбор, критерии принятия решений, таблицы Тейлора-Рассела.
Основные определения
Профессиональный отбор - это деятельность по улучшению кадрового состава (вуза, учреждения, организации, фирмы) с целью повышения эффективности обучения и (или) трудовой деятельности.
Цель профессионального отбора – повышение эффективности учебного процесса студентов, а также производительности труда кадрового состава.
Объект профессионального отбора – процесс приёма абитуриентов (испытуемых) на учёбу, работу.
Предмет профессионального отбора - объективированная оценка кадрового потенциала на основе применения различных критериев, тестов, статистических методов и решающих правил.
Методы профессионального отбора – показатели эффективности кадрового состава, тесты для оценки способностей к выполнению интересующей деятельности, статистические методы оценки качества показателей и методы оптимизации принимаемых решений.
Критерий профессионального отбора – метрический показатель приемлемости кадров, рассматриваемый в качестве зависимой переменной. В качестве критерия часто рассматривают учебные достижения принятых абитуриентов, мнение экспертов, результаты рейтинга, доля успешных абитуриентов из общего числа набранных без какого –либо конкурса. В каждом отдельном случае профотбора могут применяться один или несколько критериев. В последнем случае профотбор становится многокритериальным.
Тест – система заданий равномерно возрастающей трудности, позволяющая качественно измерить уровень и оценить качество подготовленности. Результаты теста рассматриваются в качестве независимой переменной, влияющей на результаты критерия (зависимой переменной).
Критерии принятия решений в профессиональном отборе
На рисунке 1 представлено корреляционное поле, одна из точек которого отображает одного испытуемого, с результатами по тесту Х и по критерию Y. Множество таких точек ограничивается эллипсом (Точки на рис. не представлены). Требования по критерию Y (например, значение «проходного» тестового балла) представлено линией Yc. Это – критическое значение баллов по критерию, ниже которого испытуемые не принимаются в вуз.
B
C
D
A
Y
На оси абсцисс откладываются результаты испытуемых по тесту Х. Вертикальная линия У представляет критическое значение тестового балла, ниже которого успешность испытуемого сомнительна. Одновременно, линия Хс означает, что если бы при приеме в вуз использовалось уравнение линейной регрессии вида Y′ = a + bX, то тогда принимались бы только те, у кого значение тестового балла выше Хс.
Посредством установления предельно допустимых значений по критерию У и по тесту Х всё корреляционное поле делится на четыре части:
- правая верхняя часть эллипса (А) образует подмножество испытуемых, которые показывают высокие результаты и по тесту Х, и по критерию Y. На языке профотбора их называют valid positives (VP): чем больше испытуемых попадают в зону VP, тем выше качество профотбора. Успех этих испытуемых предсказан тестом и подтверждён результатами по критерию.
- правая нижняя часть эллипса (B) образует подмножество испытуемых, имеющих достаточный проходной балл по тесту Х, но не дотягивающих по критерию Y. Хотя тестовые баллы по Х у них вполне приемлемы, их не принимают в вуз из-за недостаточных результатов по критерию Y.Такое подмножество испытуемых называют false positives (FP). Их успех предсказан по тесту, но не подтверждается результатами по Y. Большое число такого рода неудачников – результат завышенных требований к испытуемым по критерию Y, и заниженных требований – по тесту X;
- левая нижняя часть эллипса (C) объединяет подмножество испытуемых, у которых результаты и по тесту, и по критерию оказываются ниже требуемых. На языке теории профотбора таких испытуемых их называют valid negatives (VN). Неуспех этой части абитуриентов предсказывается тестом и подтверждается критерием. В рамках данной технологии у абитуриентов части С нет, естественно, шансов попасть в вуз.
- и наконец, верхняя левая часть эллипса (D) объединяет подмножество испытуемых, успех которых тест не предсказывает, но результаты по критерию оказываются вполне достаточными, хотя результаты по тесту ниже допустимых требований. Это так называемые false negatives (FN). Такая ситуация возникает обычно в случаях, когда требования по критерию оказываются ниже требований по тесту.
Теперь можно обобщить введенную лексику на русском и на английском языках и представить её в удобной для запоминания и для работы форме соответствия :
Табл.1 Соотношение русской и английской лексики профотбора
|
Части корреляционного поля и их смысл |
Профессиональная лексика и символика |
|
А – успешные по тесту и по критерию |
VP – valid positives |
|
B – успешные по тесту, но неуспешные по критерию |
FP – false positives |
|
C – неуспешные по тесту и по критерию, |
VN – valid negatives |
|
D – успешные по критерию, но не успешные по тесту |
FN –false negatives |
Полезно заметить, что тест эффективен для разделения испытуемых на части А и С. Первым он предсказывает удачу по критерию. И действительно, испытуемые части А отвечают реальным требованиям этого критерия. Что касается испытуемых части С, то и здесь прогноз оказывается реалистичным: кто не проходит по результатам теста, оказываются «непроходными» и по критерию. А это означает что результаты теста обладают свойством так называемой прогностической валидности: они довольно точно предсказывают удачу испытуемым группы А и неудачу испытуемых части С.
Для испытуемых двух других частей, B и D применение метода регрессионного анализа содержат погрешности. Так, для испытуемых В тест предсказывает успешность, но по критерию эти испытуемые в вуз не проходят. Что происходит либо из-за некачественного теста, либо критерия, либо из-за ошибки выбора критических значений теста и (или) критерия.
Если предположить, что нет подходящего теста, а есть только один критерий, то в вуз принимаются испытуемые подмножеств А и D. Это абитуриенты, которые отвечают требованиям критерия. Если число испытуемых А + D разделить на множество (общее число) всех абитуриентов, то получившаяся при этом доля 
Возьмём пример процесса профотбора, в котором участвуют сто человек. Из них часть А составляют 40, часть В – 10, часть С – 30. и часть D – 20 человек. Тогда доля абитуриентов, отбираемых на основе критерия равна 
Чаще встречается ситуация, когда нет критерия, но есть хотя бы один тест, который предполагается подходящим для данной ситуации профотбора. Тогда в вуз принимают по тесту. И принятыми оказываются подмножества абитуриентов А + В (См. рисунок 1). Если число абитуриентов этих двух частей разделить на множество всех абитуриентов (испытуемых), то получится доля принимаемых на основе только тестовых результатов. 
Сравнение двух ситуаций приёма, по тесту и по критерию, указывает на различия в результатах. При использовании только критерия принимаются испытуемые частей А + D, а при приёме на основе только теста в вуз поступают абитуриенты частей А + B корреляционного поля. Из примера видно, что абитуриенты части А поступают в вуз при любой ситуации, а частей В и D – в зависимости от применения либо теста, либо критерия.
Естественно возникают вопросы: – Что делать? Какую принять тактику? Кому отдать предпочтение – испытуемым части В или испытуемым части D?
Общим ответом на эти вопросы является необходимость применение и теста, и критерия, желательно, приемлемого качества. Тогда мера успешности профотбора (Success Ratio) считается из отношения 
Для запоминания рассмотренных отношений полезна аналогия с библейским выражением «Много званых, но мало избранных». Званые - а их всегда больше в таких случаях – это множество всех поступающих – N = A +B +C +D. Избираемых можно разделить на три группы:
– подмножества A +B, если выбирать по итогам применения только теста.
– подмножества A + D, если выбирать по итогам применения только критерия.
– подмножество испытуемых А, если для отбора используются тест и критерий. Это и есть избранные. Доля избранных вычисляется из отношения 
Применение таблиц Тейлора-Рассела в профессиональном отборе
Из проведенного обсуждения становится понятным, что доля принимаемых на учебу регулируется установлением критических значений Yc и Xc. Например, при большом числе абитуриентов значения по показателям Y и X могут повышаться в той мере, которая точно обеспечит потребную долю абитуриентов. При низком конкурсе значения Yc и Xc, естественно, опускаются ниже.
Если ввести в эту логику ещё одну переменную – значения коэффициента корреляции результатов теста с результатами по критерию (rxy,), то оказывается, что мера успешности профотбора (Succes Ratio) можно рассматривать как функцию от трёх переменных значений - rxy , BR и SR. Напомним, что BR (base ratio) означает долю испытуемых, отбираемых только с помощь критерия; BR получается из отношения
В 1939 году была опубликована статья Taylor & Russell, в которой было введено ещё одно понятие - Success Ratio- что можно перевести на русский язык как мера успешности профотбора. Хотя понятие «успешность» довольно широкое и может выражаться различными показателями, в данном случае под этим понимается мера, вытекающая из отношения
Этими же авторами было показано, что мера успешности профотбора зависит от значения коэффициента корреляции rxy между тестом Х и критерием Y, а также от значений ВR и SR. Символически данную зависимость можно записать в форме математической модели:
где
BR – доля отбираемых по критерию;
SR – доля отбираемых по тесту.
В свою очередь, как видно из рисунка 1, значение ВR зависит от Yс, а значение SR зависит от Хс.
На основе этой модели Taylor & Russell разработали таблицы, из которых они вывели, что даже тесты с низкой корреляцией могут оказаться полезными для повышения эффективности профотбора. Всё дело в выборе приемлемых граничных значений Хс и Yc. (1938, р. 591). Представим себе ситуацию профотбора, в которой принято решение повысить требования к значениям тестовых баллов. Это означает, что по сравнению с рисунком 1, приведенным здесь повторно, линия Хс на рис.2 должна заметно переместиться вправо.
B
C
D
A
Y
мера успешности профотбора
B
C
D
A
Y
Например, множество испытуемых А стало равно 30, В = 5, С = 40 и D = 25 испытуемым. Тогда 
Некоторое повышение доли успешности отбора произошло из-за снижения испытуемых части В.
Если ещё поднять требования по тесту, то вполне может возникнуть ситуация, представленная на рис.3.
Рис.3
C
D
A
Y
На рис.3. видно, что при повышении требований по тесту исчезло множество В, называемых false positives (FP). И хотя оценки по критерию есть, и есть установленный уровень требований Yc, фактически все испытуемые принимаются в вуз исключительно на основе тестовых оценок. В таких случаях успешность применения теста считается стопроцентной, или равной единице, если считать в долях. . Правда, при этом сведена до нуля роль критерия, что неверно.
Если понизить требования по критерию Yc, то получится ситуация, представленная на рис. 4.
Рис.4.
B
C
D
A
Y
При снижении доли отбираемых по критерию сам критерий фактически перестаёт работать. Кроме того, заметно возрастает доля испытуемых части D (false negatives, FN).
При повышении BR доли принимаемых по критерию (или уровня квалификации общего контингента) роль теста снижается. В предельном случае, когда всех поступающих можно принять, тест оказывается излишним.
Предполагая двумерное нормальное распределение данных, авторы представили таблицы, которые оказались полезными для выбора граничных значений
