Після проведення процедур вимірювання та експертного оцінювання рекомендують проводити аналіз процедур, їх нормоконтроль, а також виокремлювати певні еталони процедур, дій, обставин, умов їх виконання [33].
Таким чином, у наукових працях всебічно розглянуто формування процедур та алгоритмів експертного оцінювання. Однак, управлінська практика в системі освіти і далі потребує прикладних досліджень в аспекті уніфікації, нормоконтролю, виділення і деталізації структурних елементів, поглиблення технологічних аспектів, обумовлення функцій суб’єктів у всіх процедурних алгоритмах експертного оцінювання.
На основі проаналізованих джерел, доходимо висновку про обумовлення трьох типів процедур освітньої експертизи: доекспертних, власне експертних і післяекспертних. У перші із зазначених процедур входять вибір та ідентифікація об’єкта, формування цілепокладання, вибір суб’єктів та обґрунтування їх функцій у кожному процедурному алгоритмі, обумовлення прав та обов’язків експертів, інструментарію, укладання процедурних алгоритмів та їх нормоконтроль, розроблення системи технологій, формування системи параметрів, показників, критеріїв оцінювання.
Власне експертні процедури включають вибір і групування об’єктів, їх опис, збір самооцінок, формування гіпотетичних оцінок, індивідуальні та групові експертні оцінки об’єктів за системами параметрів, показників та критеріїв оцінювання, узгодження групових оцінок, вибір та оцінка рекомендацій, побудову прогностичних моделей розвитку об’єктів.
Такі процедури, як прийняття рішень на основі експертних оцінок, що включають вибір способів розвитку об’єкта, формування освітньої політики та цілепокладання на основі експертних оцінок, консультування, відносять до післяекспертних процедур.
Вибір процедур може залежати від таких чинників:
- кваліфікації експертів (експертам можуть запропонувати схему проведення, а можуть довірити самим її розробити);
- рівня стартової (наявної) представленої інформації (заклад освіти надає повністю інформацію, частково, не надає зовсім);
- мети експертизи (підтвердити реальність наявної інформації, відхилити інформацію як нереальну, доповнити інформацію новими даними частково; збір, оброблення та експертні висновки здійснюються самими експертами);
- методів оцінювання.
Елементами технологізації процедур експертного оцінювання є таблиці, протоколи, діагностичні карти, кваліметричні моделі.
Алгоритм процедур експертного оцінювання локальних чи комплексних аспектів педагогічних об’єктів можна представити за такими етапами:
1. Ідентифікація об’єкта експертизи; окреслення меж параметрів цього об’єкта.
2. Виділення основних ознак об’єкта з позицій системного підходу та складання його описової моделі. Розпізнавання параметрів статичного чи динамічного станів об’єкта.
3. Чітка регламентація часових параметрів у експертному дослідженні, зокрема: оцінка динаміки розвитку об’єкта в заданих часових межах на основі моніторингових досліджень; оцінка результату педагогічного проекту чи системи у фіксований момент часу; оцінка ефективності навчально-виховної діяльності за певний проміжок часу тощо.
4. Обумовлення цілепокладання експертного оцінювання, побудова дерева цілей.
5. Відбір, оцінка, підготовка експертів та формування експертної групи.
6. Укладання, адаптування або вибір еталонної моделі системи показників і критеріїв оцінювання.
7. Вибір моделі оцінювання педагогічного об’єкта: кваліметричної, шкально-критеріальної, критеріально-емпіричної.
8. Обумовлення процедурних моментів кожного етапу експертного оцінювання та їх нормоконтроль.
9. Відбір та експертна оцінка інструментарію дослідження
10. Збір та аналіз індивідуальних експертних оцінок.
11. Застосування методик отримання узгоджених колективних експертних оцінок.
12. Розробленн пакету рекомендацій, вибір та оцінка пакету.
13. Прогнозування розвитку системи педагогічного об’єкта.
14. Прийняття управлінських рішень та формування цілепокладання способів розвитку педагогічного об’єкта.
Для кожної з названих процедур розробляється відповідний алгоритм дій.
Можна виділити декілька підходів до проектування процедурних етапів для отримання індивідуальної експертної оцінки:
- експертні висновки готуються лише на основі поданих статистичних та емпіричних даних на основі нормовідповідності;
- експерт сам діагностує об’єкт дослідження і за власною моделлю показників готує експертні висновки;
- експерт називає набір діагностичних ознак, які необхідні йому для експертного твердження і чекає їх отримання.
Розглядаючи експертне оцінювання не з системного, а з діяльнісного підходу, доцільно, на нашу думку, всі процедури розписати за компонентами.
Розглядаючи експертне оцінювання не з системного, а з діяльнісного підходу, доцільно, на нашу думку, всі процедури розписати за компонентами, зображеними у таблиці 4.1
Таблиця 4.1
Процедурна структура компонентів експертного оцінювання
| Компоненти | Структура компонентів |
| 1 | 2 |
| Змістовий | Розробка методології, концептуалізація ідей, формування науково-методичного супроводу; методики оцінювання; норм, стандартів, мір; змісту показників, параметрів; оформлення прогностичних результатів; обумовлення прав та обов’язків експертів |
| Структурний | Структурування експертного оцінювання; виділення його домінант та пріоритетів; вибір суб’єктів, об’єктів, предмета, характеру і підстав; обумовлення критеріїв відбору цілей, процедур, засобів, кінцевого продукту |
| Діагностичний | Відбір експертів, підготовка та організація діагностування об’єктів; встановлення вибірки об’єктів експертного оцінювання. |
| Інструментальний | Пошук, адаптування, розробка інструментарію оцінювання; експертиза інструментарію та його апробація; застосування для експертного оцінювання |
| Процедурний | Розроблення етапів процедур на основі вибраної моделі експертного оцінювання; планування та формування цілей кожного етапу; алгоритмізація окремих кроків; (наприклад, алгоритми оцінки базового комплексного показника, формування дерева цілей експертизи); аналіз та оцінка проведених процедур та нормоконтроль |
| Діяльнісний | Організація процесу експертного оцінювання на основі змістового, структурного, діагностичного, інструментального, процедурного компонентів моделі системи технологій експертного оцінювання |
| Результативний | Формування експертних висновків, узгодження експертних оцінок, підготовка прогностичної моделі об’єкта експертного оцінювання та рекомендацій щодо його розвитку |
Структурування процедур та побудова алгоритмів експертного оцінювання допомагає передбачити функції всіх суб’єктів експертного оцінювання, визначати підходи, пріоритети в оцінюванні, регламентувати поведінку експертів, уникати впливу суб’єктивних факторів, посилювати організаторські аспекти, оптимізувати експертну діяльність у часі.
Таким чином, можемо зробити висновок, що процедури та алгоритми є вагомими інструментами оцінювання, відмінність між якими є незначною. Тому можна говорити про алгоритмічні процедури, якщо вони мають ознаки алгоритмів. Разом із тим, варто використовувати і поняття "процедурний алгоритм", тобто частину процедури, яка містить певну сукупність послідовність дій. Процедури експертного оцінювання є загальновідомими, оскільки містяться у всіх видах експертиз. Алгоритми експертного оцінювання педагогічних об’єктів відображені в алгоритмах побудови критеріїв, систем показників, методів індивідуальної та групової експертних оцінок.
4.2 Результати експертного оцінювання методики використання комп’ютерних технологій при вивченні дисципліни “Бухгалтерський облік”
Дане експертне оцінювання здійснювалося методом експертних оцінок, сутність якого полягає у проведенні експертами інтуїтивно-логічного аналізу розобленої методики використання комп’ютерних технологій при вивченні дисципліни “Бухгалтерський облік” за якісними показниками та подальшим опрацюванням здобутих результатів. Такий вибір можна пояснити особливостями, притаманними даному методу, зокрема науковому обґрунтуванню усіх етапів; застосуванню кількісних методів у процесі організації, оцінюванню суджень експертів та обробці результатів експертизи. Так, за твердженням А.Киверялга [31, с. 119 ] , професійна педагогіка має великі перспективи для застосування методу експертних оцінок, особливо при складанні нових програм, оцінюванні навчальних матеріалів тощо, а це безпосередньо і становить предмет аналізу.
Раціональне використання інформації, отриманої від експертів, стає можливим за умов перетворення її у форму, зручну для подальшого аналізу і прийняття відповідних рішень. Саме тому важливе місце, на думку Б.Гершунського [10 с. 76], серед проблем експертного оцінювання займає кількісна обробка результатів опитування та їх подальша якісна, змістовна інтерпретація на підставі глибокого аналізу. Методи обробки думок експертів є достатньо різноманітними і вимагають, використання відповідного математико-статистичного апарату, який істотно залежить від специфіки досліджуваної проблеми.
Результат опрацювання матеріалів колективної експертної оцінки полягає у пошуку спільної думки та ступеня її узгодженості за кожним показником. Показниками узагальненої думки групи експертів можуть бути:
а) середньоарифметичне значення оцінки певного показника (у балах);