Мнения диссидентов. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов, т.е. инакомыслящих по сравнению с большинством. Жесткий способ борьбы с диссидентами состоит в игнорировании их мнений, т.е. фактически в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели.
Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.
В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое впоследствии приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает эти ответственность и труд на плечи ЛПР.
Догма одномерности. Среди менеджеров и инженеров распространен довольно примитивный подход так называемой "квалиметрии", согласно которому объект экспертизы всегда можно оценить одним числом. Странная идея! Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее "рыночной стоимости".
Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня и аналогичных им. Так, каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:
· расход бензина на 100 км пути (в среднем);
· надежность (средняя стоимость ремонта за год);
· экологическая безопасность, оцениваемая по содержанию вредных веществ в выхлопных газах;
· маневренность;
· быстрота набора скорости 100 км/час после начала движения; максимальная достигаемая скорость;
· длительность сохранения в салоне положительной температуры при низкой наружной температуре (-50 градусов по Цельсию) и выключенном двигателе;
· дизайн (привлекательность и "модность" внешнего вида и отделки салона);
· представительность;
· вес;
· срок службы;
· эксплуатационные расходы (за год);
· цена;
· приведенная к сопоставимым ценам стоимость 1 км пробега, и т.д.
Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины, особенно в большом городе с суровым ограничением на максимальную скорость. Для такого водителя важнее расход бензина, маневренность и надежность. Для машин различных служб государственного управления, видимо, надежность важнее, чем для частника, а расход бензина - наоборот. Представительность важна для высших менеджеров и чиновников, занимающих высокие посты. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет. И т.д.
Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - могут не дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д.
В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов). Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты непосредственно с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель.
Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...
Отметим, что есть экспертные процедуры, в которых веса отдельных факторов вычисляются в результате тщательного анализа иерархической системы показателей. Для таких процедур приведенные выше критические замечания по поводу экспертного определения весов факторов не имеют силы.
Второе основание классификации экспертных процедур - число туров. Экспертизы могут включать один тур, некоторое фиксированное число туров (два, три,…) или неопределенное число туров. Чем больше туров, тем более тщательным является анализ ситуации, поскольку эксперты при этом обычно много раз возвращаются к рассмотрению предмета экспертизы. Но одновременно увеличивается общее время на экспертизу и возрастает ее стоимость. Можно уменьшить расходы, вводя в экспертизу не всех экспертов сразу, а постепенно. Так, например, если цель состоит в сборе аргументов "за" и "против", то первоначальный перечень аргументов может быть составлен одним экспертом. Второй добавит к нему свои аргументы. Суммарный материал поступит к первому и третьему, которые внесут свои аргументы и контраргументы. И так далее - добавляется по одному эксперту на каждый новый тур.
Наибольшие сложности вызывают процедуры с заранее неопределенным числом туров, например, "снежный ком". Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить это максимальное число туров или удастся ограничиться меньшим числом.
Третье основание классификации экспертных процедур - организация общения экспертов. Рассмотрим достоинства и недостатки каждого из элементов следующей шкалы: отсутствие общения - заочное анонимное общение - заочное общение без анонимности - очное общение с ограничениями - очное общение без ограничений.
При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Хорошо - потому что он полностью независим, защищен от любого давления. Плохо - он не знает соображений других экспертов, а потому опирается лишь на собственную информационную базу. Обычно такая ситуация соответствует однотуровой экспертизе.
Заочное анонимное общение, например, как в методе Дельфи, означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное положение. Следовательно, в экспертизе должно быть предусмотрено хотя бы два тура, чтобы эксперт смог скорректировать свое мнение, познакомившись с мнениями других.
Заочное общение без анонимности соответствует, например, общению по Интернету. Экспертные опросы на основе информационных технологий - весьма перспективное направление развития в области организации экспертиз.
Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, следовательно, находить для этого удобное для всех экспертов время и место.
При очных экспертизах эксперты говорят, а не пишут, как при заочных, и потому успевают за то же время сказать существенно больше. Очная экспертиза с ограничениями весьма распространена. Это - собрание, идущее по фиксированному регламенту. Примером является военный совет в императорской русской армии, когда эксперты (офицеры и генералы) высказывались в порядке от младшего (по чину и должности) к старшему. Подробно такой совет описан в повести А.С. Пушкина "Капитанская дочка". Другой пример - "мозговой штурм", при котором запрещается критиковать чужие высказывания.
Наконец, очная экспертиза без ограничений - это свободная дискуссия. Все очные экспертизы имеют недостатки, связанные с возможностями отрицательного влияния на их проведение социально-психологических свойств и клановых (партийных) пристрастий участников, а также неравенства их профессионального, должностного, научного статусов. Представьте себе, что соберутся вместе 5 лейтенантов и 3 генерала. Независимо от того, какая информация имеется у того или иного участника встречи, ход ее предсказать нетрудно: генералы будут говорить, а лейтенанты - помалкивать. Хотя опыт генералов несравним с лейтенантским, но в процессе недавнего обучения лейтенанты познакомились с последними научными достижениями, которые почти наверняка прошли мимо внимания генералов. Разумеется, этот пример можно обсудить не для совещания военных, а для собрания управленцев (менеджеров), врачей или преподавателей.