Оцениваем качество образования в ВУЗе: зачем, что и как?
"Дьявол играет нами, когда мы не мыслим точно"
Мераб Мамардашвили
Зачем оцениваем ?
Качество давно уже стало не просто объектом изучения, но и объектом планирования и управления, в том числе в государственном масштабе. "Качество образования в вузах" - один из таких объектов управления. Развитие принципов и методов управления качеством тесным образом связано с исследованием его природы и закономерностей.
Известная аксиома "управлять можно только тем, что измеримо" характеризует и ответ на вопрос ("зачем?"), вынесенный в название круглого стола, и смысл ряда задач, которые необходимо решать. Уметь количественно оценивать качество деятельности вузов нужно и в процессе выработки принципов государственного финансирования вузов, и в процессе разработки интегрированной отчетности вузов (особенно в части интеллектуальной собственности и человеческого капитала, например, для целей мониторинга эффективности, качества государственных услуг), и в процессе оценивания качества деятельности ППС, аспирантов и студентов (для морального и материального стимулирования).
Предпосылками проведения круглого стола в ЦЭМИ РАН явились два важных события: 1) разработка Агентством стратегических инициатив дорожной карты по созданию Национальной системы компетенций и квалификаций (НСКК), в рамках которой в краудсорсинг-проекте наша идея проекта "Качество образования (Рейтинг ВУЗов)" была признана одной из лучших; 2) Министерство образования и науки России провело мониторинг эффективности российских вузов и, по сообщению СМИ, планирует и дальше на постоянной основе его проводить.
Одним из способов определения значения показателя эффективности образовательной деятельности вуза является расчет совокупных результатов его деятельности на единицу затраченных ресурсов . В квалиметрии имеется аппарат, с помощью которого могут быть количественно оценены любые экономические и неэкономические по своей природе результаты и тем самым включены в рассмотрение при расчетах социально-экономической эффективности деятельности вузов или при подготовке различных видов интегрированной отчетности или при проведении рейтингов (аналогичным по содержанию понятию "эффективность" в квалиметрии является термин "интегральное качество").
Использование наработок в теоретической квалиметрии позволяет обоснованно подойти к выбору и построению системы КПЭ (например, при построении интегрированной отчетности вузов) и настроить "измерительную систему" с учетом стратегических целей вузов и потребностей ключевых стейкхолдеров, а также обеспечить соблюдение Берлинских принципов ранжирования ВУЗов (в т.ч. транспарентности , валидности и релевантности ) при построении национальных и/или глобальных рейтингов.
Разработка и использование квалиметрических методик при оценивании качества образования в вузе позволяет с заданной точностью проводить не только измерения отдельных качественных (не финансовых) параметров деятельности вузов, но и сравнивать показатели результативности вузов между собой, например, по интегральному качеству.
Все ВУЗы России и мира отличаются друг от друга и видами своей деятельности (моделями), и целями, и результатами, и используемыми для выполнения своих функций ресурсами. Квалиметрический анализ позволяет учесть любые критерии деятельности вузов (на характер которых не накладывается никаких ограничений), свести все показатели воедино, преобразовать разнородные показатели в однородные, обеспечить надежность информации, необходимую точность, свертку показателей и, самое главное, сопоставимость результатов.
Что оцениваем ?
Прежде чем говорить о построении теоретических моделей качества образования в вузе и о том, как его оценивать, попытаемся определить границы измеряемого объекта в терминах и определениях, принятых в квалиметрии - научной дисциплины, изучающей проблематику комплексного количественного оценивания качества любых объектов.
Итак, примем:
Качество - такая совокупность свойств объекта, проявление которой обеспечивает получение определенных результатов, но которая не включает в себя характеристики ресурсов, используемых для получения этих результатов.
Качество образования в вузе - это комплексная характеристика процессов воспитания и обучения человека в системе высшей школы, удовлетворяющая потребности заинтересованных лиц и представляющая собой совокупность получаемых при этом результатов, но которые не включают в себя показатели ресурсов (например, денежных средств), используемых в этих процессах. Если же еще дополнительно учитываются и затрачиваемые ресурсы, то исследуемая таким образом характеристика называется "интегральное качество образования в вузе", синонимом которому является "эффективность образования в вузе".
Например, модель национального рейтинга вузов, построенного на основе комплексного показателя "качество образования в вузе" может быть представлена в виде иерархической структуры - http://www.labrate.ru/kostin/quality-edu-tree.html ( см. фрагмент из книги "Квалиметрия в высшей школе").
Как выбираем метод оценивания ?
Очевидно, что любое оценивание должно производиться с точки зрения каких-то критериев (предъявляемых требований). Вне этих критериев (требований) говорить об оценивании бессмысленно. Поэтому, прежде, чем сравнивать между собой различные методы оценивания качества образования в вузе, нужно установить те требования, которым эти методы должны соответствовать.
Каким же требованиям должен удовлетворять способ оценивания качества образования в вузе, применяемый для выбора лучшего вуза (с точки зрения одного и/или нескольких заинтересованных лиц) ?
Мы сформулировали эти требования на основе изучения литературы по вопросам теории экономической эффективности, логики оценок, исследования операций и теории принятия решений .
К ним относятся:
1. Нетрудоемкость. Любой метод оценивания качества деятельности вуза должен не только обеспечивать принципиальную возможность получения оценки, но и не требовать слишком больших затрат ресурсов на его использование. В противном случае может оказаться, что корректный метод оценивания качества применять будет сложно из-за большой трудоемкости сбора и обработки требуемой для проведения оценки информации. Необходимо подчеркнуть, что в данном случае имеется в виду трудоемкость использования, а не разработки метода оценки.
2. Оперативность. Умение оценивать качество образования в вузе может оказаться действенным инструментом планирования и управления. Значение показателя качества образования в вузе должно быть известно не позднее, а раньше, чем начнется его практическая реализация, особенно в широких масштабах, например как это предполагало Минобразования России в мониторинге эффективности деятельности вузов. Это означает, что оценка качества образования в вузе должна быть проведена оперативно, до принятия управленческих решений в связи с проводимой оценкой.
3. Улучшаемость. Метод оценки качества образования в вузе должен быть таким, чтобы имелась принципиальная и практическая возможность его совершенствования, с целью повышения удобства использования и его надежности (достоверности). Далеко не все способы оценки удовлетворяют этому требованию.
4. Количественность. Для того чтобы оценка качества образования в вузе могла использоваться как инструмент управления (выработка принципов государственного финансирования вузов, моральное или материальное стимулирование деятельности студентов, аспирантов и ППС, установление обоснованных цен за обучение в вузе, автоматизация проектирования и т.д.), необходимо, чтобы результат такой оценки имел количественную форму и, предпочтительно, был выражен в шкале отношений (а не в шкале рангов). Только в этом случае окажется возможным не только оценивать, какой вуз лучше (по качеству образования), но и самое главное выявлять насколько или во сколько раз лучше.
5. Одинаковость. Желательно, чтобы к различным по характеру вузам применялась одинаковая методология их оценивания . В противном случае может оказаться, что полученные значения показателей качества образования в вузе будут несопоставимы друг с другом, что резко понизит их ценность. Именно удовлетворение данного требования снимает ограничения, содержащиеся в широко распространенных в СМИ мнениях: "сравнивать объем НИОКР, например, в Бауманке, с объемом НИОКР в РГГУ нельзя ", "нельзя сопоставлять вузы разного профиля: гуманитарные с инженерными, классические университеты и университеты технические, юридические и театральные учебные заведения" и т.п.
6. Глобальность. Довольно часто локальные оценки показателей деятельности вузов не соответствуют глобальному критерию - интересам оптимального развития общества. Поэтому необходимо, чтобы метод оценивания качества образования в вузе позволял проводить его с точки зрения глобального критерия - интересов всего общества (общественных потребностей).
7. Гибкость. Суть этого требования заключается в том, что механизм, с помощью которого производится выбор лучшего по качеству вуза, должен быть достаточно гибким, т.е. допускать его использование в самых различных ситуациях. Например, он должен обеспечивать: выбор и по показателю качества, и по показателю интегрального качества; сравнение вузов и в шкале рангов, и при необходимости в шкале отношений; давать возможность сравнивать вузы и по отдельным критериям, составляющим качество .
8. Единственность. Обычно оценка качества образования необходима для выбора лучшего из нескольких вузов. Если рассматривать эту операцию более широко, то можно утверждать, что такой выбор является частным случаем процесса оптимизации качества деятельности вуза. Но теория оптимизации строится на соблюдении одного важного условия: оптимизируемая функция (в данном случае - качество образования в вузе) должна быть единственной. Аргументов, от которых зависит эта функция, т.е. свойств, характеризующих качество образования в вузе, может быть очень много, но сам критерий, по которому проводится оптимизация (оценка качества образования в вузе), должен быть единственным.
9. Сравнимость. При применении очень многих методик оценивания качества, в том числе по экономическим показателям, предполагается, что сравниваемые варианты полностью сопоставимы, т.е. абсолютно равнозначны по своему качеству. Однако такая абсолютная качественная равнозначность на практике встречается чрезвычайно редко. Более того, если выбрать достаточно высокую точность сравнения, то говорить об абсолютной качественной равнозначности вообще принципиально неверно. Всегда один вуз отличается от другого по тем или иным показателям (свойствам). Это означает, что в процессе оценивания и сравнения вузов, например по экономическим показателям, нельзя пользоваться допущением, согласно которому качество образования сравниваемых вузов одинаково, а нужно учитывать значения их показателей качества, тем самым обеспечивая сопоставимость.
10. Воспроизводимость. Один из главных принципов, на которых базируется современная наука, заключается в том, что результаты эксперимента, производимого в аналогичных условиях, но разными исследователями и в разное время, должны быть воспроизводимыми.
Процесс оценивания качества образования в вузе - одна из разновидностей эксперимента. Это означает, что оценки одного и того же вуза, проводимые с точки зрения одних и тех же критериев, должны давать одинаковые результаты независимо от того, когда и кем такое оценивание проводится.
11. Полнота. Качество образования в вузе определяется совокупностью различных его свойств. А это означает, что метод оценивания вуза должен быть таким, чтобы всесторонне учитывались все эти свойства - как измеримые, так и еще неизмеримые, как положительные, так и отрицательные, как экономические, так и социальные (не экономические). При оценивании качества образования в вузе должны учитываться все свойства вуза, имеющие значение для его потребителей.
12. Чувствительность. Качество образования в вузе определяется совокупностью целого ряда свойств, каждое из которых может быть выражено каким-то числовым показателем. Естественно, что изменение значения любого из этих показателей должно приводить к изменению значения и показателя качества. Иначе говоря, метод оценивания качества образования в вузе должен быть таким, чтобы эта оценка была чувствительна к изменению значений отдельных показателей свойств, определяющих это качество.
13. Монотонность. Требованием 12 (чувствительность) уже определялось, что значение показателя качества должно изменяться при изменении значений отдельных, характеризующих его значений показателей свойств. Естественно поставить условие, чтобы это изменение происходило монотонно: при улучшении значения показателя свойства значение показателя качества должно плавно, без скачков увеличиваться (и наоборот). Таким образом, показатель качества должен быть монотонной функцией от показателей отдельных свойств, характеризующих образовательный процесс в вузе.
14. Точность. Желательно, чтобы погрешность вычисления отдельных элементов формулы, используемой для оценивания качества, и структура самой формулы обеспечивали бы точность определения значения показателя качества, сравнимую с точностью обычных технических или экономических расчетов (разумеется, при безусловном соблюдении также и требования 11 - полноты).
Сформулированная выше система требований позволяет проанализировать существующие методы оценивания вузов по качеству образования.
Пример такого анализа (для объекта - "качество проекта") проведен в работе Азгальдова Г.Г. (1989). Результаты сравнения приведены в итоговой таблице 1. Таким образом, показано, что квалиметрический метод оценивания качества образования в вузе является самым приемлемым из всех применяющихся в настоящее время для этой цели методов. Разумеется, превосходство метода квалиметрии над остальными нельзя понимать как превосходство над всеми методами по всем требованиям. Квалиметрический метод лучше других только по совокупности всех 14 требований, а по некоторым требованиям, взятым в отдельности, он может и уступать другим методам. Например, по требованию 1 (нетрудоемкость) он, конечно, уступает методу Б (оценка одним экспертом, - см. табл.1, "Б").
Однако следует ли из факта превосходства квалиметрического метода, что при выборе лучшего вуза по качеству должна применяться только квалиметрическая оценка, а все другие методы должны быть раз и навсегда отвергнуты? Ответ, конечно, должен быть отрицательным.
Детальное выявление ситуаций, в которых вместо метода квалиметрии для оценки качества образования в вузе целесообразно использовать и другие методы, целесообразно рассмотреть в рамках круглого стола "Как и зачем измерять качество образования в вузе ?" или в последующих дискуссиях.
Таблица 1. Соответствие методов оценки качества образования в вузе предъявляемым требованиям
Шифр метода Название метода оценивания качества образования в вузе Не удовлетворяются требования
А Экспертный - выбор группой экспертов 11-13
Б Экспертный - выбор одним экспертом 11-14
В Социологический - выбор на основе опосредственного выявления мнения потребителей 1, 2, 5, 10
Г Социологический - выбор на основе непосредственного выявления мнения потребителей 1,5,6,10
Д Дифференцированный - выбор по одному свойству; на показатели остальных свойств ограничения не накладываются 5, 6, 9, 11-13
Е Выбор по скорректированному показателю экономичности, при ограничениях на другие показатели 7, 12, 13
Ж Выбор по нескорректированному показателю экономичности, при ограничениях на другие показатели 9, 12, 13
3 Выбор по одному, неэкономичному показателю, при ограничениях на другие показатели 11, 12, 14
И Комплексный - выбор по модели функционирования объекта 5, 11
К Комплексный - выбор по критерию "стоимость - эффективность" в виде отношения 5, 7, 14
Л Комплексный - выбор по критерию "стоимость -эффективность" в виде разности 5, 7, 14
М Комплексный - выбор по методу предпочтения в дихотомической шкале 6, 12-14
Н Комплексный - выбор по методу предпочтения в недихотомической шкале 6, 14
О Комплексный - выбор с участием ЛПР 6, 14
П Комплексный - выбор по методу лексикографического упорядочения 9, 12-14
Р Комплексный - выбор по методу квалиметрии -
Источник: Азгальдов Г.Г. Квалиметрия в архитектурно-строительном проектировании - М.: Стройиздат, 1989. - 264с.
Костин Александр Валерьевич, к.э.н., ведущий научный сотрудник ЦЭМИ РАН, ученый секретарь Научного совета по экономическим проблемам интеллектуальной собственности при отделении общественных наук Российской Академии Наук, член-корреспондент Академии проблем качества.
конт.тел: +7(916) 105-81-04, e-mail: kostin @labrate.ru
Источник: Библиотека LABRATE.RU [Электронный ресурс]. URL: http://www.labrate.ru/20121120/063804.doc
