Педагога может не удовлетворить только сравнительный анализ, и тогда потребуется определение статистического критерия для заключения об усвоении или неусвоении данного учебного вопроса, темы, раздела, т. е. об уровне знаний. Выработка такого критерия представляет самостоятельную научно-методическую задачу, тем более что для тестов разной трудности этот критерий может оказаться разным. При самом общем подходе к решению данной проблемы можно воспользоваться рекомендациями В. П. Беспалько [1995], который предлагает 70%-й критерий, означающий, что учебный вопрос, тему, раздел, уровень знаний можно считать освоенными, если с соответствующими заданиями справилось 70 % учащихся. Для такого заключения к самим заданиям теста должны быть предъявлены самые высокие требования с точки зрения содержательного и функционального качества. Можно согласиться с мнением В. С. Аванесова [2002], что каждое задание в тесте должно являться индикатором соответствующего знания, а добиться этого возможно только за счет тщательной экспертизы теста специалистами-предметниками.
Для примера анализа результатов тестирования в соответствии с предметно-ориентированным подходом мы воспользовались результатами централизованного абитуриентского тестирования учащихся Российской Федерации и Свердловской области по биологии за 2002 г. Статистическая информация о результатах была предоставлена Центром тестирования МО РФ в виде базы данных StatInfo 8.2. Выявление структуры результата тестирования по биологии возможно на основе структуры самого теста, описанного в спецификации. В описании содержания теста наиболее крупными категориями являются разделы. В тестах по биологии 2002 г. было выделено четыре раздела (табл. 1).
Полученная статистика по РФ (25 299 прошедших тестирование по предмету) позволяет делать надежные выводы о структуре знаний учащихся по биологии. Наибольший процент верных ответов по разделу «Надорганизменные системы: экосистемы» свидетельствует о том, что знания учащихся 11-го класса по этому разделу лучше, чем по остальным. Соответственно наименьший процент верных ответов по разделу «Организм как биологическая система» свидетельствует о том, что знания учащихся 11-го класса по данному разделу хуже, чем по остальным (см. табл. 1). Разберем этот результат с позиций структуры теста. Число заданий по указанным разделам было неодинаковым: по разделу «Организм как биологическая система» – 38, а по разделу «Надорганизменные системы: экосистемы» – 4. Следовательно, уровень знаний, который может показывать средний процент верных ответов на задания теста, был более точно определен по первому указанному разделу, чем по второму.
Для более подробного анализа результата можно воспользоваться различными формальными подходами, например, формой заданий. Соотношение типов заданий по форме (тип А – с выбором ответа; тип В – на дополнение) по названным разделам почти не отличается. В разделе «Надорганизменные системы: экосистемы» задание типа В – одно из четырех, т. е. ровно четверть, а в разделе «Организм как биологическая система» заданий типа В – восемь из тридцати восьми, т. е. тридцать процентов общего числа. Процент верных ответов на задания типа А выше, чем процент верных ответов на задание типа В как по разделам, так и по тесту в целом (см. табл. 1). Эта закономерность неоднократно подтверждалась практикой педагогического тестирования [Беспалько, 1995]. При выборе правильного ответа в заданиях закрытой формы учащиеся руководствуются узнаванием, а при выполнении заданий открытой формы вспоминают материал, поэтому относительно одного содержания первые задания легче, чем вторые. Незначительное преобладание заданий открытой формы (тип В) в разделе «Организм как биологическая система», в сравнении с разделом «Надорганизменные системы: экосистемы», отчасти объясняет различие в уровне знаний по ним. Сравнение результатов по однотипным заданиям показало, что задания закрытой формы (тип А) в разделе «Организм как биологическая система» имели существенно более низкий процент верных ответов, чем соответствующие задания в разделе «Надорганизменные системы: экосистемы», а по заданиям открытой формы – наблюдалась обратная закономерность. Поскольку по обоим разделам преобладающим типом заданий являются задания закрытой формы, то результаты по ним и определили общий результат.
Таблица 1
| Структура результата по разделам теста по биологии (абитуриентское тестирование) за 2002 год | ||||
| Показатель | Клетка как биологическая система | Организм как биологическая система | Надорганизменные системы: популяция и вид | Надорганизмен-ные системы: экосистемы |
| Процент верных ответов | 48, 4 | 44, 7 | 52, 3 | 56, 2 |
| Число заданий | 9 | 38 | 4 | 4 |
| Тип заданий А+В | 9+0 (48, 4+0) | 30+8 (46, 2+42, 2) | 3+1 (56, 3+39, 9) | 3+1 (64, 3+31, 6) |
| Уровни знаний 1+2+3 | 8+1+0 (49, 9+36, 2+0) | 24+8+6 (47, 8+41, 0+42, 3) | 1+1+2 (51, 4+39, 9+58, 8) | 0+2+2 (0+47, 8+64, 5) |
| Виды проверяемых знаний: | ||||
| Фактуальные | 8 (49, 9) | 22 (47, 8) | 2 (45, 6) | 1 (31, 6) |
| Умение классифицировать и систематизировать | – | 8 (43, 0) | – | – |
| Умение применять биологические знания, используя алгоритмы | – | 1 (38, 2) | – | 1 (64, 0) |
| Установление причинно-следственных связей | 1 (36, 2) | 1 (40, 6) | 1 (50, 9) | – |
| ·Распознавать, определять, сравнивать, сопоставлять | – | 5 (42, 0) | – | 2 (64, 5) |
| Системные, интегративные знания, умения | – | 1 (38, 6) | 1 (66, 8) | – |
Другой формализованный подход к анализу, который возможно применить, связан с функциональной валидностью заданий. Задания в тесте были разделены на три уровня: 1) репродуктивный, 2) продуктивный (решение по образцу), 3) творческий ( применение знаний в нестандартной ситуации). В разделе «Организм как биологическая система» задания 1-го уровня составляют 63 %, 2-го уровня – 21 %, 3-го уровня – 16 %. Раздел «Надорганизменные системы: экосистемы» не включал заданий 1-го уровня, а задания 2-го и 3-го уровней были включены в тест в равном количестве, т. е. по 50 %. Исходя из этого, задания раздела «Надорганизменные системы: экосистемы» должны быть труднее, а средний показатель – процент верных ответов, соответственно ниже, чем по разделу «Организм как биологическая система», но это не так. Следовательно, несмотря на высокий уровень ориентации заданий раздела «Надорганизменные системы: экосистемы», результаты по ним оказались относительно высокими, что свидетельствует о высоком уровне знаний по этому разделу.
Обращает на себя внимание результат, полученный в заданиях разного уровня. В разделе «Организм как биологическая система» на задания 1-го уровня средний процент ответов выше, чем на задания 2-го и 3-го уровней; а в разделе «Надорганизменные системы: экосистемы» средний процент ответов выше в заданиях 3-го уровня, чем 2-го. Такое противоречие объясняется содержанием заданий, так как задания разного уровня имели разное содержание, которое во многом и определило реальную трудность заданий. На различия в проценте верных ответов на задания разного уровня могла повлиять форма заданий. Так, из восьми заданий 2-го уровня в разделе «Организм как биологическая система» семь были открытой формы, а в заданиях 3-го уровня этого же раздела все шесть были закрытой формы, которая, как отмечалось, в целом легче открытой.
Еще одним признаком формализации результата в соответствии со спецификацией могут быть виды проверяемых знаний. Авторы теста предложили шесть видов проверяемых знаний (см. табл. 1). В заданиях на фактуальные знания процент верных ответов был выше в разделе «Организм как биологическая система», а в заданиях на умение распознавать, определять, сравнивать, сопоставлять – в разделе «Надорганизменные системы: экосистемы». Для более точного сравнения результатов в рассматриваемых разделах по видам проверяемых знаний необходима эквивалентность числа заданий, но тест построен таким образом, что раздел «Организм как биологическая система» преобладает над остальными по числу заданий, поэтому сравнение по различным категориям качества самих заданий возможно лишь приблизительно.
В тестах централизованного тестирования, предназначенных для отбора абитуриентов, на наш взгляд, нельзя применять рекомендованный 70%-й критерий для установления освоения учебного элемента [см.: Беспалько, 1995]. В этом случае целесообразен 50%-й критерий.
В соответствии с этим критерием по результатам 2002 г. с точки зрения содержательной валидности можно говорить об освоении учащимися двух разделов – «Надорганизменные системы: популяция и вид» и «Надорганизменные системы: экосистемы» и неосвоении также двух разделов – «Клетка как биологическая система» и «Организм как биологическая система». С точки зрения функциональной валидности в соответствии с указанным критерием можно предполагать овладение репродуктивного уровня и уровня творческого в рамках раздела «Надорганизменные системы: популяция и вид» и творческого в рамках раздела «Надорганизменные системы: экосистемы». Последнее заключение кажется противоречивым, поскольку показывает овладение более высоким уровнем и неовладение более низким. Но при этом, нужно отметить, что в рамках одного раздела разные уровни знаний проверялись заданиями различного содержания, поэтому каждое из таких в заданий в отдельности не может быть индикатором знаний всего раздела. В отношении разделов «Клетка как биологическая система» и «Организм как биологическая система» ни по одному из трех уровней, в том числе по самому низкому – первому, нельзя сделать заключение об овладении знаниями в соответствии с определенным критерием.