А. В. Мальцев
Существуют различные подходы к классификации педагогических тестов по форме, содержанию, уровню контроля, форме предъявления [см., например: Майоров, 2000; Аванесов, 2002; Челышкова, 2002]. Как правило, эти формализованные подходы не вызывают затруднений с пониманием и интерпретацией. В отличие от них, деление тестов по целям вызывает неоднозначное толкование и интерпретацию, поскольку оно включает в себя менее формализованные критерии. В мировой практике применения тестов для оценки уровня достижений учащихся сложилось два разных подхода, определяющих деление педагогических тестов по целям на нормативно-ориентированные и критериально-ориентированные [см.: Вилфорд, 1999]. Основным критерием различий между ними является главная задача, стоящая перед тестированием. В случае нормативно-ориентированного тестирования такой задачей является дифференциация тестируемых по уровню знаний, а при критериально-ориентированном – в установлении соответствия уровня знаний определенному критерию, который представляет собой некий количественный показатель уровня знаний. Кроме того, нормативно- и критериально-ориентированные педагогические тестирования различаются характером распределения результатов, соответствующей их обработкой математическими методами, шкалами, используемыми для оценивания и интерпретации результатов.
Многие тестологи, констатируя различия между двумя указанными типами тестов, отмечают относительность этих различий, так как на практике эти цели тестирования могут совпадать [см. об этом: Челышкова, 2002].Так, в случае применения тестов централизованного абитуриентского тестирования явно выраженная цель дифференциации абитуриентов по уровню знаний сочетается с целью определения критерия, который бы установил границу для отбора прошедших и не прошедших конкурс. Единственным формальным признаком, позволяющим разграничить эти виды тестирования, является характер распределения результата. В случае, если результаты тестирования имеют распределение, подчиняющееся закону нормального распределния, можно утверждать о состоявшемся нормативно-ориентированном тестировании. Во всех случаях, когда кривая распределения «сырых» баллов существенно отклоняется от нормального распределения (кривая Гауса), справедливо возникает вопрос о критериально-ориентированной интерпретации результатов. Последняя ситуация крайне неудобна для тестологов, поскольку заставляет их отказаться от применения большинства математических методов анализа результатов, так как они предназначены только для переменных, имеющих нормальный характер распределения. Выходом из этой ситуации является увеличение числа тестируемых, поскольку при этом характер распределения результатов стремится к нормальному распределению.
По мнению В. Ю. Переверзева [2003], в рамках критериально-ориентированных тестов из мировой практики можно выделить два основных вида, которые в отечественной литературе не получили своего названия: это domain-referenced tests и mastery tests. Первые предназначены для выявления полноты знаний, выражаемой долей знаний к общему объему учебного материала, который соответственно должен быть отражен в тесте. Вторые предназначены для оценивания квалификационных способностей, следовательно, для разделения испытуемых на две группы – подтвердивших и не подтвердивших квалификацию.
С точки зрения тестологии деление тестов на критериально- и нормативно-ориентированные является самым главным принципом классификации, так как за ним стоит совершенно разная идеология измерительной процедуры при оценивании уровня знаний. Во-первых, следует подчеркнуть, что назначение педагогических тестов как особой формы контроля знаний как раз и состоит в том, чтобы измерить уровень знаний, а не оценить, как это принято в традиционных формах (устный и письменный экзамены). Во-вторых, идеология этого измерения может быть разной. При критериально-ориентированном тестировании измеренный результат тестирования сравнивается с максимально возможным в случае domain-referenced tests или с предложенным критерием в случае mastery tests. При нормативно-ориентированном тестировании результаты измерения сравниваются между собой. В первом, а особенно во втором случае для возможности измерения необходима большая статистика. Так, при нормативно-ориентированном тестировании чем больше испытуемых приняло участие в тестировании, тем точнее, т. е. с меньшей ошибкой, можно определить уровень их знаний. Трудность заданий также определяется статистически: чем меньше испытуемых правильно ответило на задание, тем выше его трудность. Значение экспертной оценки трудности важно только на начальном этапе разработки педагогического теста с нормативно-ориентированной целью. Измерительный характер процедуры тестирования предполагает соответствующий способ интерпретации результатов тестирования. При нормативно-ориентированном тестировании разрабатываются специальные шкалы измерений: Z-шкала и шкала логитов. В данном случае шкала «сырых» баллов только в первом приближении может выполнить измерительную функцию. При критериально-ориентированном тестировании чаще всего используется шкала процентов, которая является прямым отражением шкалы «сырых» баллов. Таким образом, в указанных подходах при интерпретации результатов тестирования превалирует явно выраженный количественный результат. Не случайно современная тестология рассматривается многими специалистами как наука об измерении знаний, построенная на математических моделях, имеющих статистический характер [см.: Челышкова, 2002].
В специальной отечественной литературе при рассмотрении вопроса о классификации тестов можно встретить упоминание еще об одном типе педагогических тестов – предметно-ориентированных [см.: Аванесов, 2002]. Этому типу тестирования в соответствии с целью отводится диагностическая функция выявления усвоенных и не усвоенных тестируемыми элементов содержания учебной дисциплины. Как справедливо отмечает В. С. Аванесов [2002], для содержательно-ориентированной интерпретации результатов необходимо большое число заданий в тесте и точность их формулировок. Каждое задание теста должно проверять тот или иной элемент учебной дисциплины, и значение экспертных оценок заданий в этом типе тестов в сравнении с другими значительно возрастает. В. С. Аванесов [2002] относит предметно-ориентированные, или содержательно-ориентированные, тесты к категории domain-referenced tests и не отождествляет их, как В. Ю. Переверзев [2003], с критериально-ориентированными тестами. С нашей точки зрения, предметно-ориентированное педагогическое тестирование, в отличие от вышеуказанных критериально- и нормативно-ориентированных типов, тем и выделяется, что прежде всего решает не количественную, а качественную задачу, стоящую перед контролем знаний. Эту задачу можно сформулировать как определение структуры знаний. При решении этой задачи приходится опираться прежде всего на описание соответствующего элемента знаний, т. е. на качественную его характеристику. В данном случае под качеством знаний, вслед за В. Б. Беспалько [1995], мы понимаем его содержательную и функциональную валидность.
В соответствии с содержательной валидностью, для каждого задания в тесте определяется его соответствие учебному элементу того или иного типологического ранга: учебный вопрос, тема, раздел, образовательная линия, предмет или группа предметов. В соответствии с функциональной валидностью, задания соотносятся с тем или иным уровнем знаний. Применение указанного подхода на практике сопряжено с рядом определенных научных и методических проблем. Описание заданий по содержательной валидности в основном сталкивается с трудностями формального характера – выбором соответствующих образовательных программ и особенностями их структуры. Описание заданий по функциональной валидности главным образом затруднено из-за отсутствия четких критериев разграничения категорий уровня знаний и их научно-педагогического обоснования, несмотря на значительное разнообразие соответствующих классификаций [см., например: Кларин, 1989; Беспалько, 1995; Родионов, Татур, 1995]. Преодолению обозначенных трудностей должны способствовать вводимые в образование стандарты, поэтому сами образовательные стандарты и педагогические тесты как инструмент контроля за их выполнением представляются как взаимосвязанные вещи.
Современный педагогический тест всегда сопровождается спецификацией, которая как раз и призвана дать описание его содержания в соответствии с содержательной и функциональной валидностью. Большую роль при этом должны сыграть выбранные для описания образовательные программы или другие нормативные документы и классификация знаний. В рамках массовых аттестационных процедур, использующих тестовую технологию – централизованное тестирование (ЦТ) и единый государственный экзамен (ЕГЭ), – в составляемых спецификациях по разным предметам не всегда выдерживается единый подход, который как раз и связан с отсутствием образовательных стандартов. Вместе с тем это не является препятствием для осуществления предметно-ориентированного подхода к интерпретации результатов. В процедуре централизованного тестирования, несмотря на значительную историю этого мероприятия (первое всероссийское тестирование было проведено в 1988 г.), только в 2003 г. на основе данных всей Российской Федерации был впервые осуществлен (хотя и не в полной мере) предметно-ориентированный подход в интерпретации результатов [см.: Вопросы тестирования в образовании, 2003]. Уральский государственный университет им. А. М. Горького с начала проведения централизованного тестирования особое внимание уделял значимости анализа результатов тестирования в предметно-содержательной области [см.: Мониторинг качества образования…, 2000; Итоги абитуриентского централизованного тестирования, 2003]. Такой подход является вполне оправданным с педагогической точки зрения и расширяет понимание значимости массовых аттестационных процедур по технологии тестирования. Ведь каждому преподавателю важно знать не только количественный результат тестирования, но и получить ответ на вопросы, какие темы и разделы и на каком функциональном уровне знаний лучше или хуже усвоены учащимися. Относительно отдельного испытуемого ответы на эти вопросы будут означать, с какими заданиями учащийся справился, а с какими – не справился, но относительно группы учащихся ответы будут связаны со статистикой результата. Поскольку ЦТ и ЕГЭ – массовые аттестационные процедуры, то по статистике результата можно определить с точки зрения содержательного анализа, какие учебные вопросы, темы и разделы усвоены лучше, а какие хуже. С точки зрения функционального анализа соответственно можно проверить, какие навыки и умения освоены учащимися лучше, а какие хуже.