Метод експертних оцінок (стр. 2 из 5)
Розглянемо приклад, коли п'ять експертів визначають смакові якості хліба, що випікається на шести різних підприємствах:
Таблиця 1.3
 Номер об’єктаНомер експерта | 1 | 2 | 3 | 4 | 5 | 6 |
| 1 | 2 | 3 | 1 | 4 | 6 | 5 |
| 2 | 1 | 4 | 2 | 3 | 5 | 6 |
| 3 | 2 | 4 | 3 | 1 | 6 | 5 |
| 4 | 3 | 4 | 1 | 2 | 5 | 6 |
| 5 | 2 | 3 | 1 | 4 | 6 | 5 |
| Сума рангів | 10 | 18 | 8 | 14 | 28 | 27 |
| Підсумковий ранг | 2 | 4 | 1 | 3 | 6 | 5 |
Як видно з приведеної таблиці, третє підприємство може бути визнане найкращим, а п'яте - найгіршим в частині смакових характеристик хліба, що випускається ними.
Слід зазначити, що підсумковий ранг визначає лише місце, займане кожним об'єктом серед інших об'єктів. Для більшого числа досліджень цього досить, але іноді важливо визначити - як далеко відстають один від одного досліджувані об'єкти. У цих випадках метод ранжування застосовується в поєднанні з методом безпосередньої оцінки. Для цього розробляється шкала інтервалів - міра оцінки якісної ознаки. Кожній градації шкали інтервалів привласнюється певний бал. Потім на шкалі виділяються рівні інтервали. Задачею експертів є розміщення всіх досліджуваних об'єктів в певний оцінний інтервал. Внаслідок цього кожний з об'єктів одержує певний бал. По сумі балів об'єкти одержують місця в підсумковій ранжировці, а кількісною мірою випередження або відставання об'єктів по досліджуваній ознаці служитиме різниця у відповідних середніх балах.
Хай в розглянутому вище прикладі експертам належало б дати безпосередню оцінку смакових якостей хліба за 100-балльной шкалою. Результати експертних оцінок зведені в наступній таблиці:
Таблиця 1.4
| № підприємства | 1 | 2 | 3 | 4 | 5 | 6 |
| № эксперта | ||||||
| 1 | 80 | 75 | 95 | 60 | 40 | 50 |
| 2 | 100 | 60 | 80 | 70 | 55 | 50 |
| 3 | 75 | 65 | 70 | 80 | 50 | 60 |
| 4 | 90 | 70 | 100 | 80 | 60 | 50 |
| 5 | 70 | 60 | 80 | 55 | 40 | 50 |
| Середній бал | 83 | 66 | 85 | 69 | 49 | 52 |
| Підсумковий ранг | 2 | 4 | 1 | 3 | 6 | 5 |
За підсумками розрахунків видно, що хоча розподіл місць серед підприємств зберігся, розрив між підприємствами, що зайняли перше і друге місце, в сім разів менше, ніж розрив між підприємствами, яким експерти відвели друге і третє місця.
1.2 Конкордація
При обробці матеріалів колективної експертної оцінки використовуються методи теорії рангової кореляції. Для кількісної оцінки ступеня узгодженості думок експертів застосовується коефіцієнт конкордації W, який дозволяє оцінити, наскільки узгоджені між собою ряди переваги, побудовані кожним експертом. Його значення знаходиться в межах 0 < W < 1, де W = 0 означає повну протилежність, а W = 1 - повний збіг ранжировок. Практично достовірність вважається хорошою, якщо W = 0,7-0,8.
Невелике значення коефіцієнта конкордації, що свідчить про слабку узгодженість думок експертів, є наслідком того, що в даній сукупності експертів дійсно відсутня спільність думок або усередині даної сукупності експертів існують групи з високою узгодженістю думок, проте узагальнені думки таких груп протилежні.
Після того, як об'єкти відповідно до деякої ознаки розставлені по місцях важливе місце займає питання про надійність одержаних оцінок. Мірою надійності одержаних рангових оцінок є ступінь згоди експертів або, іншими словами, ступінь узгодженості оцінок, проставлених кожним з експертів. Такий ступінь узгодженості характеризується коефіцієнтом конкордації (згоди):
,де S(d2) - сума квадратів відхилень сумарних рангів, виставлених кожному об'єкту всіма експертами від середнього сумарного рангу :
,Або
,Де
, 
.Величина S(d2) характеризує максимально можливе значення S(d2). Очевидно, що чим вища згода між експертами, тим більший буде розкид виставлених сум кожному об'єкту рангів щодо їх середнього значення і тим вище значення S(d2). При повному збігу думок експертів, коли всі вони дадуть однакові оцінки по кожному об'єкту, значення S(d2) прийме значення Smax(d2), а коефіцієнт конкордації прийме значення, рівне одиниці. У свою чергу за відсутності якої б не було згоди між експертами всі сумарні ранги будуть симетрично розподілені навколо свого середнього значення, унаслідок чого величина S(d2) і коефіцієнт конкордації рівні нулю.
Для визначення значення Smax (d2) вважатимемо, що всі експерти привласнили однакові ранги всім об'єктам від значення 1 до значення п у вигляді чисел натурального ряду. Тоді значення S, - утворюють ряд:
m, 2m, 3m,…..nm,
у порядку, не обов'язково відповідному нумерації об'єктів. При цьому середнє значення S буде дорівнювати:
.Віднімаючи від кожного елементу приведеного ряду значення S одержимо наступний ряд значень
Далі неважко знайти суму квадратів цього ряду :
Відповідно до одержаного результату коефіцієнт конкордації можна записати в наступному вигляді :
Розрахуємо коефіцієнт конкордації для розглянутого вище прикладу по таблиці 1.3
Близьке до одиниці значення коефіцієнта конкордації свідчить про наявність згоди між експертами.
експертна оцінка ранжування конкордація
1.3 Ранжування з рангами, що співпали
Іноді при ранжуванні об'єктів окремі експерти не можуть розділити переваги серед двох або більшої кількості об'єктів. При цьому вони ставлять таким об'єктам однакові ранги. Такий вид ранжування називається ранжуванням з рангами, що співпали. Приклад ранжування з рангами, що співпали, приведений в таблиці 1.5.
Таблиця 1.5.
| № підприємства | 1 | 2 | 3 | 4 | 5 | 6 |
| № експерта | ||||||
| 1 | 2 | 2 | 1 | 3 | 3 | 3 |
| 2 | 1 | 4 | 2 | 3 | 5 | 6 |
| 3 | 2 | 3 | 3 | 1 | 4 | 4 |
| 4 | 2 | 1 | 1 | 2 | 3 | 3 |
| 5 | 2 | 4 | 1 | 4 | 3 | 4 |
Особливістю такого ранжування є змінний діапазон зміни рангів, що проставляються кожним експертом. Це в свою чергу веде до нерівноважності думок експертів. Так по приведеній таблиці видно, що думки першого експерта оцінюються рангами від одного до трьох, а думки другого - від одного до шести. Звичний аналіз привів би до того, що думка другого експерта виявилася б "важче" за думку першого експерта без підстав.
Щоб усунути таку нерівноважність думок при ранжуванні з рангами, що співпали, застосовують принцип нормування ранжировок. Ранжировка вважається нормованою, якщо сума рангів в ній однакова для кожного експерта і рівна сумі, яка була б одержана за відсутності повторення рангів, тобто
, деп - кількість ранжованих об'єктів.
Для того, щоб ранжировку привести до нормальної необхідно перевести її у вигляд, в якому об'єктам, що мають однакові ранги, приписується ранг, рівний середньому значенню місць, які ці об'єкти поділили між собою. Результат нормування приведених даних представлений в таблиці 1.6.
| Таблиця 1.6. | ||||||
| № підприємства | - 1 | 2 | 3 | 4 | 5 | 6 |
| № експерта | ||||||
| 1 | 2.5 | 2.5 | 1 | 5 | 5 | 5 |
| 2 | 1 | 4 | 2 | 3 | 5 | 6 |
| 3 | 2 | 3.5 | 3.5 | 1 | 5.5 | 5.5 |
| 4 | 3.5 | 1.5 | 1.5 | 3.5 | 5.5 | 5.5 |
| 5 | 2 | 5 | 1 | 5 | 3 | 5 |
| Сума рангів | 11 | 16.5 | 9 | 17.5 | 24 | 27 |
| Підсумковий ранг | 2 | 3 | 1 | 4 | 5 | 6 |
Процедура нормування здійснює вирівнювання ранжировок і наближення до об'єктивності в розміщенні об'єктів. Легко переконатися, що розміщення об'єктів до і після нормування (таб.1.5 і таб.1.6) відрізняються один від одного.