Эффективность работы отдела маркетинга (стр. 10 из 13)

3 – вопрос не входит в сферу, тесно связанную с его узкой специализацией направления (например, знакомство с проблемой по литературным источникам, по работе на другом предприятии и т. п.).

В целом показатель «относительная самооценка эксперта» направлен на то, чтобы эксперт сам оценил уровень своей компетентности по заданному вопросу.

Для того чтобы шкала баллов не оказывала влияния на самооценку, в графе «относительная самооценка эксперта» можно привести перечень характеристик компетентности экспертов без проставления баллов. В этом случае эксперт должен подчеркнуть те характеристики, которые, по его мнению определяют уровень его личной компетентности. Баллы проставляются рабочей группой при анализе собранных анкет. Анкета для определения компетентности приводиться в приложении 3

Произведение объективного и субъективного показателей, деленное на сто, будет характеризовать компетентность эксперта по данному вопросу, то есть

h_j = h_j^o h_j^c /100 (10)

Деление на 100 необходимо для приведения диапазона изменения h_j к виду 0<h_j<=1. Тогда показатель компетентности эксперта можно трактовать как вероятность задания им достоверной оценки. При неоднократном повторении опроса одним и тем же коллективом экспертов (либо устойчивым большинством) по сходным вопросам можно и необходимо на каждом новом опросе пользоваться уже накопленными результатами для уточнения характеристик компетентности экспертов.

Кроме того, компетентность экспертов может быть определена самими экспертами. Для этого каждый эксперт, входящий в группу, задает весовые коэффициенты всем остальным экспертам, кроме себя. Далее определяется среднеарифметическая оценка компетентности каждого эксперта.

Если экспертиза проводится неоднократно одной и той же группой (или устойчивым большинством) экспертов по сходным вопросам, следует при каждом новом опросе воспользоваться уже полученными результатами для уточнения характеристик компетентности экспертов.

Практика экспертных опросов показывает, что, хотя методы самооценки недостаточны для того, чтобы служить единственным критерием оценки компетентности экспертов, использование этих методов способствует более обоснованным выбору и оценке экспертов.[11]

Таким образом, получены данные, подтверждающие связь между средней групповой самооценкой (частное от деления суммы индивидуальных на число экспертов в группе) и точностью экспертизы. На рис 3 изображена кривая, показывающая зависимость между средней групповой самооценкой (у) и средней групповой ошибкой (х).

Рис. 3. Влияние средней групповой самооценки на точность экспертизы

Между этими величинами существует обратная связь, заключающаяся в том, что средняя групповая ошибка монотонно убывает с возрастанием средней самооценки. Из этого вытекает следующий вывод. Пусть, например, группа кандидатов в эксперты со средней оценкой С разделена на две подгруппы, из которых подгруппа А имеет более высокую самооценку, чем группа в целом, а подгруппа В — более низкую. Тогда подгруппа А будет в среднем более точной, чем вся группа, а подгруппа В — менее точной.

С другой стороны, различные подходы к оценке компетентности экспертов можно рассмотреть и с иных позиций. Экспертные оценки носят субъективный характер, оценка компетентности экспертов — также. Возникает вопрос: повышает ли точность результатов экспертизы наложение субъективных оценок компетентности экспертов? Может быть, проще определять окончательные оценки без формализованного учета компетентности экспертов? Только при этом следует на этапе отбора экспертов уделить больше внимания неформальной оценке уровня их квалификации, а затем, при подведении результатов экспертизы, считать их всех равнокомпетентными, и в качестве интегральной оценки рассматривать среднеарифметическое их отдельных оценок. Часто на практике поступают именно таким образом.

2.3.2.6. Работа с экспертами

В зависимости от характера исследуемого объекта, от степени его формализации и возможности привлечения необходимых экспертов порядок работы с ними может быть различным, но в основном он содержит следующие три этапа.

На первом этапе эксперты привлекаются в индивидуальном порядке с целью уточнить модель объекта, ее параметры и показатели, подлежащие экспертной оценке; уточнить формулировки вопросов и терминологию в анкетах; согласовать целесообразность представления таблиц экспертных оценок в той или иной форме; уточнить состав группы экспертов.

На втором этапе экспертам направляются анкеты с пояснительным письмом, в котором описывается цель работы, структура и порядок заполнения анкет с примерами.

Когда имеется возможность собрать экспертов вместе, особенно если удается их сгруппировать в соответствии с какими-либо признаками, существенно важными для данного опроса, например эксперты из одной организации, только сотрудники сбытовых служб, то цели и задачи анкетирования, а также все вопросы, связанные с анкетированием, могут быть доложены устно. Обязательное условие такой формы экспертного опроса — последующее самостоятельное заполнение анкет при соблюдении всех правил анкетирования.

Третий этап работы с экспертами осуществляется после получения результатов опроса и изучения исследуемого объекта другими методами в процессе обработки и анализа полученных результатов. На этом этапе от экспертов в форме консультаций обычно получают всю недостающую информацию, которая требуется для уточнения полученных данных и их окончательного анализа.

2.3.2.7. Анализ и обработка экспертных оценок

При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо определить согласованность действий экспертов и достоверность экспертных оценок.

Пусть для каждого события С_i на основании оценок a_ij, заданных группой из Р экспертов, образована матрица рангов важности — ||a_ij||, где i = 1, 2, ..., m — число событий, j = 1, 2, ..., р — число экспертов. Матрица ||a_ij|| получается из матрицы ||a_ij|| путем определения, исходя из коэффициентов относительной важности событий a_ij рангов важности этих событий, т.е. событиям присваиваются номера 1, 2, 3,,.., m натурального ряда чисел.

Таким образом, при ранжировании события располагаются в порядке возрастания или убывания какого-либо признака X, количественно неизмеримого. Ранг а_i указывает то место, которое занимает i-е событие среди других m событий, ранжированных в соответствии с признаком X.

Ранжирование применяется, когда события располагаются согласно неизмеримому и не подсчитываемому качеству или рассматриваются только относительно взаимного расположения во времени или пространстве. Ранжирование может являться менее точным выражением упорядоченной связи событий относительно какого-либо измеримого или подсчитываемого качества как замена переменной порядковым номером в прикидочных расчетах в целях экономии времени и уменьшения трудоемкости вычислений.

При использовании рангов важности для сравнения результатов (событий) нельзя установить, насколько один результат лучше другого, можно только определить ряд предпочтения рассматриваемых результатов. Иными словами, числа, характеризующие порядковую меру предпочтительности результатов, при сравнении, предположим, событий А и Б нельзя делить или вычитать, пытаясь узнать, насколько первый результат лучше второго.

Будем рассматривать упорядоченную последовательность суммарных рангов m событий, которую представим в виде

a < a₂<…a_i <…<a_m (11)

где a_i находится из матрицы ||a_ij||по формуле

a_i=

(12)

В таблице 2.1 приводится условный пример определения рангов важности событий исходя из их коэффициентов относительной важности. (Более важное событие имеет меньший ранг важности.)

Таблица 2.1

Определение рангов важности

События С
1	2	3
Эксперт j = 1	0,5	0,2	0,3
Оценки
Экспертов aij
Эксперт j = 2	0,3	0,6	0,1
Эксперт j = 1	1	3	2
Ранги
Важности aij
Эксперт j = 2	2	1	3
Суммарный		3	4	5
ранг важности ai

Среднее значение рангов рассматриваемого ряда

(13)

равно

a = 1/2p(m+1) (14)

Суммарное квадратическое отклонение 8 суммарных событий от среднего значения a есть

(15)

Величина S достигает максимального значения в случае, если все р экспертов дадут одинаковые оценки каждому С_i событию.

Тогда рассматриваемый ряд суммарных рангов будет иметь вид р, 2р,..., mр.