Педагогічна експертиза шкільних підручників (стр. 1 из 3)
Розробка науково обґрунтованої системи оцінки якості учбової книги є самостійною складною і актуальною проблемою, для вирішення якої буде потрібно об'єднати зусилля і педагогів, і психологів, і учених інших спеціальностей. На справжній конференції, ці питання обговорювалися в докладах Я.А. Мікка, А.А. Тильдсеппа, У.Л. Ляенеметса, А.Н. Землякова і інших дослідників. Ряд питань, пов'язаних з організацією педагогічної експертизи шкільних підручників (навчальних посібників, навчально-методичних комплексів і інших учбових книг), розглянутий в даній роботі. Під педагогічною експертизою учбової книги або шкільного підручника (надалі і то і інше скорочено позначатимемо – ШП) розумітимемо алгоритмізовану процедуру отримання колективної думки про ШП у формі експертної думки (або експертної оцінки), одержаної групою спеціально відібраних фахівців (учених, методистів, вчителів і т. п.).
Характерними особливостями експертного методу як наукового інструменту вивчення складних неформалізованих проблем є: 1) науково обґрунтована організація проведення всіх етапів експертизи; 2) вживання кількісних методик як при відборі експериментів, так і при обробці їх думок; 3) обґрунтовування необхідної і достатньої кількості експертів і оцінка достовірності колективної експертної думки. Ці три особливості і відрізняють експертний метод від звичної і давно відомої експертизи, широко вживаної в різних сферах людської діяльності [1]. Експертні методи слід розглядати в педагогіці не як спосіб виявлення громадської думки про її проблеми, а як один з можливих підходів до всебічного вивчення складних педагогічних проблем. В основі методу групових експертних оцінок (ГЕО), що є основним методом дослідження в кваліметрії [2], лежать наступні твердження. По-перше, експертна оцінка має характер вірогідності і ґрунтується на здатності експерта давати оцінку в умовах невизначеності, тобто тоді, коли повнота або достовірність інформації або специфіка об'єкту не дозволяють провести метрологічне вимірювання. По-друге, вважається, що узагальнена колективна думка групи експертів більш достовірна, ніж думка одного експерта, хай навіть самого компетентного зі всіх. По-третє, відбір експертів, процедура роботи з ними, розробка анкет-тестів, обробка експертних думок проводяться по певному алгоритму з метою зменшення «шуму експертів» як «датчиків інформації» і з оцінкою довірчої вірогідності (погрішності) експертного висновку.
Під алгоритмізацією методу ГЕО розуміється формалізація процедури експертизи в строгому проходженні рекомендаціям відповідних Гостів [3]. З урахуванням викладених вище специфічних особливостей експертного методу сформулюємо алгоритм проведення педагогічної експертизи ШУ і перерахуємо основні проблеми і задачі, що виникають при цьому (більш докладно алгоритм і окремі його процедури описані в [4] на с. 15–18, 22–24).
Алгоритм експертизи ШУ містить 4 або 5 етапів: підготовчий, етапи роботи робочої, експертної і технічної груп, завершальний (при невеликому об'ємі роботи робоча і технічна групи можуть бути з'єднані).
На підготовчому етапі директивною організацією (міністерством, відомством, видавництвом, НІІ, вузом і т.д., наприклад МНО РРФСР, КГНО СРСР, «Освіта», НІІ педагогіки союзної республіки, головним педвузом) ухвалюється рішення про проведення експертизи ШП (див., наприклад, наказ Мінпроса СРСР від 28.10.86 №216), яка призначає установу (НІІ АПН СРСР, вуз, кафедру, лабораторію і т. п.), відповідальну за організацію і проведення експертизи ШУ, формулює мету експертизи; створює робочу і технічну групи, складає план-графік її проведення.
На цьому етапі серед керівників відповідних наукових установ і відомств доцільно розповсюдити анкету типа V-1, щоб її дані використовувати при розробці алгоритму експертизи. Нижче приведений фрагмент одного з варіантів цієї анкети.
Якщо відповідаючий на анкету V-1 підкреслив варіант відповіді 1в, то його відповіді на питання №2–4 і т. п. слід використовувати при розробці алгоритму експериментальної перевірки якості ШП. В записці пояснення пропонується обвести кружком номера тих з приведених варіантів, які кожний вважає найдоцільнішими. Принципова незгода із запропонованим варіантом виражається його викреслюванням, сумнів – знаком «?», який проставляється поряд з номером відповіді.
| № п/п | Зміст проблеми, питання | Можливі варіанти рішення | |
| 1. | Які методи оцінки якостіШП Ви вважаєте головними? | 1а161в | ЕкспертизаРецензуванняЕксперимент в школах |
| 2. | Яка директивна організація повинна ухвалити рішення по експертизі даних ШП?(Вказується мета експертизи наприклад конкурс ШП; приводяться вихідні дані про ШП.) | 2а262в2г2д | ГКНО СРСРMHO СРСР (…РСР)АПН СРСР (…РСР)Видавництва: «Освіта»…Ваш варіант: |
| 3. | Які наукові колективи потрібно привернути до експертизи?(Якщо Ви за систему рецензування, то вкажіть, з яких груп установ їх потрібно назначити.) | За36Зв | Учені галузевого НДІ анСРСРНаукові співробітники наочноїлабораторії НДІ АПН СРСР(…РСР)Кафедри університетів, педінститутів, інших вузів |
| 4. | Хто повинен складати спискикандидатів в колективні і індивідуальні експертизи? | 4а464в | Директивна організаціяОрганізація, що проводить экспертизу (п. 3)Установа – організатор експертизи |
Інформація, що міститься в анкетах типу V-1, використовується для визначення стратегії експертизи. Анкета повинна бути розіслана не менше ніж в 10 інстанцій, що мають відношення до проблеми навчальної книги. Вибір остаточних варіантів рішень проводиться простою більшістю «за».
Етап роботи робочої групи, створеної в організації, відповідаючої за проведення експертизи, містить наступні операції: складання переліку питань, які необхідно вирішити при проведенні експертизи ШП, розробка проекту системи критеріїв для визначення якості ШП, вибір шкали вимірювання, визначення процедури відбору експертів і оцінка їх компетентності, формування експертної комісії, визначення групи ведучих експертів і організація доробки з їх участю допоміжних матеріалів, встановлення процедури опитування експертів.
Етап роботи експертної комісії включає: проведення турів опитування експертів, визначення узгодженості індивідуальних експертних оцінок і знаходження колективної експертної оцінки, організацію обговорення проміжних результатів експертизи ШП, визначення погрішності експертизи.
На технічну групу покладається ведення діловодства, розмноження допоміжних матеріалів, організація контактів з експертами, у тому числі і із застосуванням ЕОМ в режимі діалогу, математична обробка результатів експертизи.
На завершальному етапі групою ведучих експертів проводиться аналіз результатів експертизи ШП, представлення їх у формі, зручній для уявлення до директивного органу, і, нарешті, ухвалення цим органом рішення на основі експертного висновку. Ухвалення рішення повинне проводитися на основі інструкції про проведення експертизи, розробленою робочою групою і затвердженою директивною організацією.
Для кількісної оцінки компетентності експертів, що привертаються до експертизи ШУ, можуть бути використані методи взаємних рекомендацій, самооцінки, аргументації і анкетних даних [5]. Необхідна і достатня кількість експертів може бути обчислена по методиці Р.Г. Азгальдова [6]. Так, якщо невідома функція розподілу індивідуальних експертних оцінок qij (j-го експерта по і-му питанню), але відомий їх розмах d (різниця між максимальнимі мінімальним значенням qij – залежно від шкали), то
(l)Тут: Nmin – мінімальна чисельність експертної групи, що забезпечує отримання колективної експертної оцінки Q із заданим значенням довірчої вірогідності γ;
Q – абсолютна погрішність Q. Для оцінки погрішності експертного висновку Q, окрім загальновідомих з математичної статистики формул, можна використовувати формулу: 
де 
(2)Тут: N – кількість експертних висновків (експертів);
Q – задане значення Q; φ – коефіцієнт, залежний від величини γ. (Наприклад, для 0,8< γ <0,96–0,09< φ <0,04.)Якщо, наприклад, використовуючи інструкцію Мінпроса СРСР про проведення експертизи конкурсних ШП (див. наказ МП СРСР від 28.20.86 №216), покласти, що оцінці «задовольняє повною мірою» відповідає 3 бали, оцінці «задовольняє не повною мірою» – 2 бали, а оцінці не «задовольняє вимогам, що пред'являються до ШП» – 1 бал, то розмах оцінок d= 2. Якщо покласти, що «ідеальний» підручник повинен мати оцінку 3 бали, а група експертних організацій дає йому Q = 2,5 бали, то
Q = 0,5 бали (або цю величину Q = 0,5 можна задати). Тоді, використовуючи формулу (1) для γ = 0,9, одержуємо, що Nmin = 14. При тих же d і Q для Nmin = 5 одержимо γ = 0,6, а при Nmin = 10 γ = 0,85. Для досягнення γ = 0,99 Nmin = 64. Розрахунки показують, що використовування 3–4 актiв експертизи з інститутів АН СРСР і університетів, 4 актів з НІІ педагогіки союзних республік і педвузів і 10 рецензій з ІУУ і від окремих вчителів, методистів або учених, тобто 17–18 актів експертизи і рецензій на один рукопис ШП (як це і було обумовлено в інструкції МП СРСР), достатньо для ухвалення рішення на рівні γ = 0,8. (Для отримання γ = 0,9 кількість експертів повинне бути подвоєно.)