Квалиметрия - способ количественной оценки различных интеллектуальных продуктов

Доклад на 18-й Методической конференции по созданию новых интеллектуальных и творческих продуктов (21-23 июня 2012, г. Москва)


Аннотация: Как количественно оценить качество (или уровень новизны) различных интеллектуальных продуктов? Как количественно измерить качество "контента" в сети интернет при поисковом запросе? На конкретном примере по оцениванию качества Доклада авторы знакомят читателей с научной дисциплиной "квалиметрия" и сферами возможного применения квалиметрического анализа (и как средства уточнения используемой информации, и как средства выбора лучшего варианта многокритериальных решений).


В 20 веке перед экспертами различных стран стояла острейшая проблема нахождения надежной методологии оценивания качества (результатов деятельности творческих коллективов и их работников, продукции, услуг и т.п.). В результате в 1968 году в мире появилась новая научная дисциплина квалиметрия, спрос на использование которой существенно вырос в последнее время в связи с бурным развитием интернета и в связи с расширением областей человеческой деятельности, для которых характерна квантификация методов, средств и способов исследований [1].

Как известно, всё, что производит человек (а также с чем он сталкивается в повседневной жизни) выражается совокупностью из четырёх элементов: продукция, услуги, информация и энергия. Каждый из этих элементов наиболее полно характеризуют три фундаментальные величины:

- количество (в принятых единицах измерения);

- затраты на производство, распределение и потребление (использование, эксплуатацию, применение) единицы этого количества;

- качество единицы количества.

Первая из этих величин - количество - уже много столетий является основой расчетов в комплексе технологических дисциплин. Вторую - затраты - тоже очень давно изучают и учитывают в комплексе экономических дисциплин. Что же касается третьей характеристики - качества - то, до недавнего времени, ее практически не учитывали ни в технологических, ни в экономических, ни в управленческих дисциплинах.

Но её численный учёт сегодня очень важен. Во-первых, потому что любому руководителю (исследователю) в процессе его работы приходится сталкиваться с проблемой количественного оценивания качества - например, результатов труда (продукции и услуг); проектирования; производственного или социального процесса; деятельности коллектива (персонала).

Во-вторых, качество нужно уметь количественно оценивать в тех, весьма часто встречающихся в деятельности руководителя ситуациях, в которых ему приходится выбирать лучшее по качеству решение из двух или большего числа вариантов. Например, нужно выбрать лучший по качеству: образец продукции; тип организационной структуры; кандидата на вакансию; проектное решение; комплект оборудования и т.д. Понятно, что для решения задач такого класса обязательно необходимо умение количественно оценивать качество.

И, наконец, в-третьих, количественное оценивание качества необходимо при решении таких социально-экономических задач, в которых, для повышения точности расчетов, нужно учитывать не только количественные, но и качественные факторы: социальные, экологические, эргономические, эстетические и др.

Указанные выше обстоятельства и предопределили возникновение в 20 веке квалиметрии - научной дисциплины, изучающей методологию и проблематику комплексного количественного оценивания качества различных объектов и отдельных их качественных характеристик (в настоящее время не выражаемых в обычных экономических единицах измерения [2]).

Если немного перефразировать Уинстона Черчиля, то квалиметрия - это наилучший способ давать неточные оценки качества в условиях, когда любые другие способы дают еще менее точные оценки.

Учитывая ограниченный объем публикации познакомимся только с краткими сведениями о квалиметрии. В качестве иллюстрации рассмотрим упрощенную модель качества такого объекта, как "доклад на конференции", и проведем количественную оценку качества докладов участников конференции на основе собранных данных (Табл. 1). Пусть эта модель состоит из 7 измеримых показателей, представленных в виде дерева свойств (Рис.1).

Предположим, что нам была поставлена задача количественно оценить качество докладов участников конференции (по шести согласованным критериям) и затем, трем авторам лучших (по качеству) докладов вручить премии: за первое место - 100 000 рублей, за второе - 50 000 рублей и за третье - 25 000 рублей.

Эту задачу можно решить разными способами, но поскольку цена ошибки велика и может обернуться для организатора подобной премии потерей репутации и привести к реальным убыткам, решено было привлечь квалиметрологов:

(1) для разработки методики оценивания качества доклада;
(2) для проведения расчетов (на основе разработанной методики);
(3) для выбора трех лучших по качеству докладов.

На примере мини-кейса по оцениванию качества доклада познакомим уважаемых участников конференции с научной дисциплиной "квалиметрия", которая уже более 40 лет используется в разных странах: к настоящему моменту изданы и ежегодно издаются десятки монографий по квалиметрии, проводятся семинары и конференции; национальные и международные премии по качеству во многих странах мира проводятся с использованием квалиметрических методик, хотя порой и организаторы не знают название дисциплины, которая является теоретической основой методологии проводимых конкурсов, рейтингов и премий.

Начнем с ключевых терминов, которые используются в квалиметрии:

Объект - любой предмет или процесс; применительно к тематике данной конференции:

- одушевленный или неодушевленный;
- продукт труда или продукт природы;
- материальный или идеальный;
- естественный или искусственный;
- продукция или услуга;
- предметы или процессы.


Комментарий к термину "Объект"    

В нашем случае объектом исследования и оценивания является результат творческой деятельности участников конференции (в виде подготовленного доклада в электронной или печатной форме) и процесс его доведения до аудитории (презентация доклада). Пусть для простоты на конференции было всего 5 (пять) докладчиков.


В данной задаче свойства уже определены при ее постановке (но, вообще говоря, определение свойств для оценивания качества объекта - это отдельная и не всегда простая задача [2, с.82]). Представим свойства объекта (доклада) в иерархическом виде (в виде дерева свойств).

 

Рис. 1. Упрощенная модель качества доклада в виде дерева свойств


Среди всех свойств данной (упрощенной) модели качества доклада свойство N7 "срок предоставления доклада" является "критическим свойством" [4, c.55] - т.е. таким, что если срок предоставления доклада превышает определенную дату - "дедлайн" (например, согласно устава и правил 18-ой Методической Конференции крайний срок приема докладов на конференцию - 10 мая 2012 года), то качество доклада автоматически становится равным нулю (KQ =0), какими бы высокими не были значения показателей других свойств1. Например, подобным критическим свойством для пищевых продуктов является "наличие вредных для здоровья химических веществ в концентрации, превышающей соответствующий ПДК"3. Это справедливо для любого "критического свойства" (если их более одного).

Обращаем внимание, что пример условный, в котором представлено всего семь свойств и три яруса. В практических методиках оценки качества [2, c.127] количество свойств и ярусов существенно больше и определяется необходимой точностью и гибкостью модели (модель и методика может учитывать множество свойств и факторов, но быть очень затратной и поэтому мало пригодной для использования4).

Базовыми терминами в квалиметрии являются: "свойство", "качество", "экономичность", "интегральное качество" и другие [2, c.57]:

Свойство - черта, характеристика, особенность объекта, проявляющаяся в процессе его потребления или использования в соответствии с его назначением.

Комментарий к термину "Свойство"    

В нашем примере таких свойств - шесть: актуальность доклада (1), новизна доклада (2), достоверность сведений, представленных в докладе (3), звуковое оформление доклада (4), визуальное оформление доклада (5), легкость восприятия доклада (6).


Качество - свойство, представляющее собой совокупность всех тех и только тех свойств, которые характеризуют получаемые при потреблении объекта результаты (как желательные, положительные, так и нежелательные, отрицательные), но которые не включают в себя затраты денежных средств на его создание и потребление.

Комментарий к термину "Качество"    

В нашем примере для объекта - "качество доклада" - используется всего 6 сложных свойств. Однако на практике для реальных объектов при построении модели качества используется существенно большее количество свойств (например, в нашем случае к ним можно отнести: и форму подачи материала, и степень соответствия доклада цели конференции (аудитории, содержанию); и качество шрифта; и наличие ссылок на источники (других авторов, примеров и т.п.).


Экономичность - совокупность тех свойств объекта, которые характеризуют в комплексе затраты денежных средств на его создание и потребление.

Интегральное качество - такое свойство объекта, которое характеризует совокупность его качества и экономичности.

Комментарий к терминам "Экономичность" и "Интегральное качество"    

В нашем примере не стоит задача определять интегральное качество доклада, поэтому мы не анализируем сведения о затратах на создание и демонстрацию доклада на конференции (в качестве примера, к таким затратам можно было бы отнести расходы на привлечение художника, копирайтера, дизайнера, переводчика, стилиста, имидж-мейкера и пр.)


Показатель свойства (качества, интегрального качества) - количественная характеристика свойства (качества, интегрального качества).

Комментарий к термину "Показатель свойства"
 

Пусть измерены (аналитическим и/или экспертным методом) показатели свойств всех докладов на конференции и результаты занесены в Таблицу 1.


Для каждого свойства экспертным и/или аналитическим методом могут быть определены эталонные и браковочные значения. Для простоты настоящего примера пусть все значения показателей свойств измерены в процентах (таким образом, что их значения могут находиться в диапазоне от 0% до 100%).

Значение показателя - конкретное числовое значение, которое может принять показатель.

Комментарий к термину "Значение показателя"

Например, для показателя свойства "новизна" измеренные значения показателей согласно Табл.1 находятся в диапазоне от 20 до 70. Отметим еще раз, что для упрощения примера и легкости его восприятия слушателями свойства приведены в укрупненном виде (т.н. "сложные свойства" [2, с.57]).


Таблица 1. Значения показателей свойств анализируемых докладов

Каждое свойство, кроме абсолютного показателя Qi , характеризуется также и относительным показателем Кi , выражающим уровень проявления свойства относительно некоторых эталонного Qrefi и браковочного Qreji показателей:



Важной особенностью квалиметрического анализа является тот факт, что все сравнения в квалиметрии проводятся по отношению к мировому уровню: МИРОВОЙ УРОВЕНЬ - это такая количественная характеристика объекта (предмета, процесса), которая в данный период времени, для объектов одного и того же назначения даёт информацию о среднем (для заранее заданного числа лучших в мире объектов) значении показателя их качества. Сравнение по отношению к мировому уровню предполагает выбор соответствующих эталонных и браковочных значений.

С учетом того, что эталонное и браковочное значение в нашем условном примере (для простоты демонстрации расчетов) для каждого свойства приняты равными Qrefii = 100% и Q reji = 0%, относительные показатели для каждого свойства рассчитаны по формуле (1) и представлены в Таблице 2.
 

Свойства докладов	Измеренное значение показателя свойства Qi(в процентах)
Докладчик 1	Докладчик 2	Докладчик 3	Докладчик 4	Докладчик 5
Актуальность	10	40	30	80	20
Новизна	70	20	50	40	30
Достоверность	60	30	70	30	40
Аудио-оформление	30	90	70	50	50
Видео/графика	80	20	60	10	50
Легкость восприятия	50	30	90	20	70

Таблица 2. Относительные значения показателей свойств

Каждое свойство объекта количественно характеризуется коэффициентом важности свойства Gi. Для определения значений этих коэффициентов применяются две группы методов - экспертные и аналитические (неэкспертные). В нашем случае коэффициенты важности определены экспертным методом и представлены в Таблице 3 (в виду ограничений по объему публикации сам расчет коэффициента важности не приводится. Познакомиться с методологией его расчета можно в [2, 3, 4] или в он-лайн библиотеке квалиметролога QUALIMETRY.RU).

Таблица 3. Коэффициент важности свойств "качество доклада"

 

Свойства	Коэффициент  важности свойства Gi
Актуальность	0,235
Новизна	0,435
Достоверность	0,115
Аудио-оформление	0,096
Видео/графика	0,032
Легкость восприятия	0,087
Итого	1,000

Для количественного выражения качества используется относительный показатель KQ, в данном упрощенном примере определяемый функцией KQ = f (Ki, Gi) = ?KiGi, i = 1,...,n, где n - количество свойств объекта (в нашем случае n=5). Вообще говоря, функция f может быть любой и может выражаться, например, полиномами и различными средними.

Расчет показал, что численное значение качества каждого доклада принимает значения, представленные в Таблице 4.

Таблица 4. Расчет показателей качества докладов и размера премии



 

Свойства	коэффициент важности свойства Gi	Докладчик 1	Докладчик 2	Докладчик 3	Докладчик 4	Докладчик 5
Актуальность	0,235	0,100	0,400	0,300	0,800	0,200
Новизна	0,435	0,700	0,200	0,500	0,400	0,300
Достоверность	0,115	0,600	0,300	0,700	0,300	0,400
Аудио-оформление	0,096	0,300	0,900	0,700	0,500	0,500
Видео/графика	0,032	0,800	0,200	0,600	0,100	0,500
Легкость восприятия	0,087	0,500	0,300	0,900	0,200	0,700
Комплексный показатель качества доклада (KQi)	0,49490	0,33440	0,53320	0,46510	0,34840
Место(ранг по KQi)	2	5	1	3	4
Размер премии, рублей	50 000		100 000	25000

В результате проведенного анализа лучшими докладами признаются те, которые получили три самых высоких значения комплексного показателя качества.

В нашем случае это : первое место у докладчика N3 (KQ3 = 0,53320), второе - у докладчика N1 (KQ1 = 0,49490) и третье - у докладчика N4 (KQ4 = 0,46510).


Выводы:

- Главное. С использованием квалиметрической методики мы смогли обоснованно выбрать три лучших по качеству доклада и справедливо вручить их докладчикам заслуженные премии;

- Полезное. Все измерения в квалиметрии производятся по отношению к мировому уровню, поэтому ее применение важно не только при организации и проведении премий, конкурсов и рейтингов, но и в процессе верификации инноваций (например, при создании новых интеллектуальных и творческих продуктов), в процедурах их отбора (оценивания). Сфера возможного применения квалиметрического анализа (оценивания качества) представлена в Таблицах 5 и 6.

- Со-кейс. При поддержке Подкомитета по рейтинговому мониторингу конкурентной среды в сфере услуг образования Комитета МТПП по вопросам образования5 совместно с российскими и зарубежными экспертами-квалиметрологами6 в ноябре 2012 года готовится к изданию учебное пособие по квалиметрии (в сфере образования). Интересные кейсы и примеры участников конференции по оцениванию качества в сфере образования могут быть включены в это издание. Приглашаем к сотрудничеству.

- Проблематика. Как и любая научная дисциплина квалиметрия имеет свою проблематику. Согласно [4, с.84] в рамках первоначально сформулированной одной из проблем квалиметрии - проблемы наиболее эффективной и надежной методологии получения экспертных оценок (используемых для целей оценки качества) в последующем были сформулированы 26 подпроблем, конкретизирующих эту проблему. В Таблицах 7 и 8 приведена классификация проблем квалиметрии, которые могут быть разделены на две группы: 1) проблемы, решение которых отвечают на вопрос "что измерять?"; 2) проблемы, решение которых отвечают на вопрос "как измерять?".


Приложение

Таблица 5. Сфера возможного применения квалиметрического анализа, как средства уточнения используемой информации



Таблица 6. Сфера возможного применения квалиметрического анализа, как средства выбора лучшего варианта многокритериальных решений



Таблица 7. Проблемы определения объекта измерения
 

Проблемы определения объекта измерения (Что измерять?)	1.      Унификация терминологии
2.      Систематизация свойств, характеризующих качество
3.      Взаимосвязь факторов, определяющих качество объекта

Проблемы определения объекта измерения (Что измерять?)
    

1. Унификация терминологии

2. Систематизация свойств, характеризующих качество

3. Взаимосвязь факторов, определяющих качество объекта


Таблица 8. Проблемы технологии измерения



Литература

Azgaldov, G.G. and Kostin, A.V. (2011) "Applied qualimetry: its origins, errors and misconceptions", Benchmarking: An International Journal, Vol. 18 Iss: 3, pp.428 - 444.

Квалиметрия: первоначальные сведения. Справочное пособие с примером для АНО "Агентство стратегических инициатив по продвижению новых проектов": Учеб. пособие/ Г.Г. Азгальдов, А.В. Костин, В.В. Садовов. - М.: Высш. шк., 2011. - 143 с.

Азгальдов Г.Г. Разработка теоретических основ квалиметрии: Дис. на соиск. учён. степени д.э.н. / Военно-инж. акад. им. В.В. Куйбышева. - М., 1981 - http://www.labrate.ru/azgaldov/azgaldov-qualimetry-referat-1981.doc

Азгальдов Г.Г. Теория и практика оценки качества товаров. Основы квалиметрии. - М.: Экономика, 1982. - 256с. - http://www.labrate.ru/azgaldov/azgaldov_theory_and_practice_of_quality-assessment.pdf

Азгальдов Г.Г. Квалиметрия в архитектурно-строительном проектировании - М.: Стройиздат, 1989. - 264с.

Азгальдов Г.Г. Требования к составлению и оформлению отчета об оценке // Лабрейт.ру (Сетевой ресурс), 02.04.2012. - http://www.labrate.ru/azgaldov/tab_14-1_quality_report.pdf



1 При проведении квалиметрического анализа сравнение производится по отношению к мировому уровню.

2 Суть понятия "критическое свойство" заключается в том, что не нужно оценивать качество (или интегральное качество) какого-либо объекта, если хотя бы для одного из его критических свойств значение показателя окажется хуже браковочното значения (или равно ему), для такого объекта оценка качества всегда равна 0.

3 ПДК - предельно допустимая концентрация

4 технология квалиметрического анализа в общем случае состоит из двух частей: разработки методики оценивания качества и ее использования. Во время работы на этапе "Определение ситуации оценивания" закладывается вся последующая стратегия и разработки, и использования методики (включая, определение точности и затратности методики).

5 http://edu-committee.ru

6 http://www.qualimetry.ru

7 КПЭ - ключевые показатели эффективности (Key Performance Indicators, KPI)

18-я Методическая конференция по созданию новых интеллектуальных и творческих продуктов
21-23 июня 2012, г. Москва


Костин Александр Валерьевич
Москва
к. э. н., руководитель департамента оценки
АКГ Фемида-Аудит/DFK-International,
ведущий научный сотрудник Центрального
экономико-математического института РАН (ЦЭМИ РАН)
http://www.labrate.ru/kostin
e-mail - kostin@labrate.ru

Азгальдов Гарри Гайкович
Москва
д. э. н., профессор, главный научный сотрудник
Центрального экономико-математического института
Российской Академии наук (ЦЭМИ РАН)
http://www.labrate.ru/azgaldov
e-mail - gazgaldov@mail.ru

Источник: http://www.treko.ru/show_article_2325