Экспертные оценки в исследовании систем управления организации (стр. 2 из 5)
2. Обработку экспертных заключений необходимо осуществлять не только в количественном обобщении, но и посредством качественного анализа, выделяя главное, существенное, важное, актуальное, оригинальное, новое и пр. Заключение экспертов может быть предметом экспертизы второго этапа.
3. Эксперты должны быть независимыми, т.е. освобождены от каких-либо организационных или концептуальных, а также психологических ограничений. В этом случае лучшим образом реализуются их опыт, знания, интуиция.
4. Работа экспертной группы должна быть целенаправленной. Понимание, зачем и почему проводится экспертиза, является важным элементом ее проведения. Во многих случаях необходима специальная подготовка экспертов, которая играет роль мобилизации усилий и интеллекта.
5. Существуют различные формы организации работы экспертной группы: либо каждый эксперт делает экспертизу индивидуально, потом результаты суммируются и систематизируются, либо эксперты работают коллективно, взаимодействуя друг с другом.
6. Возможна параллельная и многоэтапная работа нескольких экспертных групп. Сопоставление экспертиз дает важную информацию.
Схема 1. Формирование группы экспертов |
| Независимость экспертов |
| Шкалирование экспертных оценок |
| Возможность количественной и качественной обработки экспертных оценок |
| Конкретность экспертных оценок |
| Методология и технология экспертизы |
| Вид вопроса | Тип вопроса | Пример |
| Вопрос, ответ на который содержит количественную оценку | Оценивающий:время наступления некоторого событиявероятность осуществления событияколичественное значение прогнозируемой характеристики объектавлияние факторов друг на друга по некоторой шкале | Какова вероятность того, что к 2012г. будет создан объект с заданными характеристиками?Оцените по десятибалльной шкале вклад каждой из рассматриваемых теорий в решении проблемы |
| Вопрос, требующий содержательного ответа в сжатой форме | Вариантный (выбирается альтернатива) | Какие из перечисленных ниже изменений в структуре объекта произойдут, если будет осуществлен принцип А, или В, или С, или …? |
| Вопрос, требующий содержательного ответа в развернутой форме | Требующий ответа в виде:перечня сведений об объектеперечня аргументов, которые подтверждают тезис, содержащийся в вопросе | Каковы ваши доводы в пользу целесообразности развития объекта? |
Анкетирование может быть очным и заочным. Недостаток очного анкетирования - возможность влияния анкетирующего руководителя на ответы эксперта. Недостаток заочного анкетирования - в возможности неправильного истолкования вопросов экспертом, затяжки в ответах и т.п. Достоинство заочного анкетирования - простота его организации, возможность привлекать без больших затрат экспертов, живущих в разных городах, и т.п.
Кроме анкет - вопросников, экспертам должна быть дана пояснительная записка, имеющая целью предопросную ориентировку экспертов и содержащая информацию о целях экспертизы, задачах опроса, объектах экспертизы, необходимые организационные сведения и инструкцию по заполнению анкет, в которой проводятся примеры порядка и способа заполнения.
3. Подбор экспертов
Достоверность и эффективность экспертизы определяется процедурой подбора экспертов:
1. составляется список экспертов;
2. составляются письма-приглашения (место, время, мотивация);
3. определяются качества, которыми должны обладать эксперты:
• креативность;
• компетентность;
• отношение к экспертизе;
• конформизм;
• аналитичность, широта мышления;
• конструктивность мышления
Сложной проблемой процедуры отбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения межу людьми, влияющие на экспертизу. Для описания экспертов с точки зрения оценки качества решения проблемы вводятся следующие характеристики: компетентность, креативность, конформизм, аналитичность широта мышления, самокритичность др. Перечисленные характеристики в основном оцениваются качественно.
Компетентность - это степень квалификации эксперта в определенной области знаний. Достаточно простой и полной является Методика ГКН, в которой компетентность экспертов оценивается коэффициентом компетенции k. Он вычисляется на основе суждения эксперта о степени своей информативности по решаемой проблеме и указания типовых источников аргументации своих мнений.
Коэффициент компетенции вычисляется по формуле
k = 1/2 (kа + kи),
где:
kа- коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице (табл.1);
kи- коэффициент информативности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1.
Табл.2. Эталонная таблица коэффициентов аргументации
| Источники аргументации | Степень влияния источника на мнение эксперта | ||
| В (высокая) | С (средняя) | Н (низкая) | |
| Проведенный теоретический анализ | 0,3 | 0,2 | 0,1 |
| Производственный опыт | 0,5 | 0,4 | 0,2 |
| Обобщение работ отечественных авторов | 0,05 | 0,05 | 0,05 |
| Обобщение работ зарубежных авторов | 0,05 | 0,05 | 0,05 |
| Личное знакомство с состоянием дел за рубежом | 0,05 | 0,05 | 0,05 |
| Интуиция эксперта | 0,05 | 0,05 | 0,05 |
Эксперту дается таблица без цифр. Он отмечает, какой источник он оценивает по градациям В, С, Н. После наложения таблицы эксперта на эталонную таблицу подсчитывается количество баллов по всем источникам аргументации. При этом, если kа = 1,0, то степень влияния всех источников высокая; если kа = 0,8, то - средняя и, если kа = 0,5, то учитывается низкая степень источников аргументации. Коэффициент компетентности 0
k 1.Существуют подходы к оценке компетентности, основанные на учете апостериорных данных, т.е. на учете результатов экспертного оценивания.
Креативность - это способность решать творческие задачи. Оценивается на основе суждений, основанных на изучении деятельности эксперта. Конформизм - это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения.
Аналитичность и широта мышления - это способность выходить за рамки сложившихся представлений.
Самокритичность эксперта проявляется при самооценке уровня своей компетенции, а также при принятии решения по рассматриваемой проблеме.
К характеристикам группы экспертов можно отнести: достоверность экспертизы и затраты на нее.
Достоверность экспертизы зависит от количества экспертов в группе и количества экспертов. На рис.1 представлен график экспериментальных данных, устанавливающих монотонное возрастание достоверности с увеличением количества экспертов в группе.