Особенности статистической оценки качества теста диагностики индивидуального прогресса учащихся общеобразовательной школы (стр. 5 из 11)

Дифференцирующая способность (ДС) - способность тестового задания дифференцировать (различать) сильных (способных) от слабых [14]. Рассмотрим несколько методов вычисления дифференцирующей способности.

Метод 1 - вычисление коэффициента дискриминации.

А. В этом методе вычисляется коэффициент дискриминации по формуле [14]:

,

где x– среднее арифметическое значение всех индивидуальных оценок по тесту,

- среднее арифметическое значение оценок по тесту у тех испытуемых, которые правильно решили задачу, - среднеквадратическое отклонение индивидуальных оценок по тесту для выборки, n– число испытуемых, правильно решивших задачу, - общее число испытуемых.

В. Коэффициент дискриминации задачи может принимать значение от -1 до +1. Высокий и значимый положительный коэффициент является показателем того, что задача хорошо разделяет испытуемых с высокими и низкими оценками по тесту. Высокий, значимый отрицательный коэффициент свидетельствует о непригодности задачи для теста. Если значение коэффициента близко к 0, то задачи должны рассматриваться как некорректно сформулированные [14].

2-й метод – вычисление дискриминативности с применением метода крайних групп.

А. В этом методе вычисляется дифференцирующая способность (дискриминативности) с применением метода крайних групп, то есть при расчете учитываются результаты учащихся, наиболее и наименее успешно справившихся со всем тестом. Как правило, берут от 10 до 30% лучших и худших по результатам выполнения всего теста. Индекс дискриминации задания вычисляется как разность долей испытуемых из высокопродуктивной и низкопродуктивной групп, правильно решивших ее [14].

,

где

- количество учащихся в группе лучших, верно выполнивших данное задание, - количество учащихся в группе худших, верно выполнивших данное задание, - общее количество испытуемых в группе лучших, - общее количество испытуемых в группе худших.

В. В этом методе, также как и в предыдущем, индекс дискриминации может изменяться в пределах от +1 (когда с заданием справились все учащиеся лучшей группы и ни один ученик из худшей группы) до -1 (когда складывается обратная ситуация – в лучшей группе никто не справился, а в худшей справились все). Задания с отрицательным значением индекса дискриминации или со значением, близким к нулю, не могут быть признаны удовлетворительными, и в них следует искать существенные ошибки. Показатель индекса дискриминации, больший 0,3, следует признать удовлетворительным [14].

3-й метод – сравнение средних достижений испытуемых, показавших наиболее высокие и наиболее низкие результаты.

А. Дифференцирующая способность вычисляется по формуле:

,

где

и - средние достижения групп с наиболее высокими и наиболее низкими результатами соответственно (группа испытуемых делится на две равные части) [21].

4-й метод – проведение тестирования дважды в одной и той же группе в течение некоторого периода времени.

А. В этом методе дифференцирующая способность вычисляется по формуле:

,

где

и - число правильных ответов по тесту, данных во время первого и второго тестирования соответственно, N – число испытуемых [21].

5-й метод – сравнение результатов выполнения одного и того же теста в разных группах.

А. И в последнем методе дифференцирующая способность вычисляется по формуле [21]:

,

где

и - число правильных ответов по тесту, данных в первой и второй группах, и - число испытуемых в каждой из групп.

В. Интерпретация результатов в последних трех методах следующая: дифференцирующая способность теста считается удовлетворительной, если показатель

[21].

Вывод: можно заметить, что формулы нахождения дискриминативности 2-м и 3-м методами практически не отличаются. Разница заключается лишь в том, что в первом случае мы используем метод крайних групп. В 4-м и 5-м методах особенностью является ситуация тестирования (проведение тестирования дважды в одной группе и сравнение результатов в разных группах).

ГЛАВА 3. СТАТИСТИЧЕСКИЕ МЕТОДЫ ОБРАБОТКИ ТЕСТА ДИАГНОСТИКИ ИНДИВИДУАЛЬНОГО ПРОГРЕССА (ИП)

В предыдущем параграфе мы проанализировали 2 метода нахождения валидности, 4 метода нахождения надежности и 5 методов нахождения дискриминативности. В этой главе мы попробуем применить эти методы для оценки качества теста диагностики индивидуального прогресса.

§3.1 ОБЩАЯ ХАРАКТЕРИСТИКА И СПЕЦИФИКА ТЕСТА ДИАГНОСТИКИ ИНДИВИДУАЛЬНОГО ПРОГРЕССА

Тест диагностики индивидуального прогресса школьников отличается от стандартных (классических) педагогических тестов своей структурой и целью его использования. Он предназначен для отслеживания и оценки интеллектуального продвижения учащихся школы, связанного с прохождением учебной программы. Данный диагностический инструмент содержит серию тестов разных предметных дисциплин: математика, физика, биология, русский язык. При систематическом использовании теста открывается возможность следить за прогрессом (сдвигом) в овладении средствами действий. Тест диагностики ИП измеряет уровневый прогресс, который означает переход школьника с одной ступени владения предметным содержанием на другую, более высокую.

Тест содержит закрытые задания с достаточно большим количеством вариантов ответов, а также открытые задания, в которых учащиеся должны привести решение. Как уже говорилось выше, данный диагностический инструмент состоит из тестов разных учебных дисциплин. Все тесты, кроме теста по математике, состоят из тестовых заданий с выбором ответа. А тест по математике содержит большинство заданий открытой формы. В данной работе мы остановимся подробно на тесте по математике.

В тесте диагностики ИП присутствует трехуровневая система тестовых заданий:

· Первый уровень (освоение общего смысла и формы способа действия) - выполнение тестового задания по известному шаблону. Выполнение заданий первого уровня свидетельствует о том, что ребенок освоил учебный материал, в котором требуется действие по заданному образцу, либо по изученным формулам; он может осуществлять замещение, т.е. выделять математическое отношение, заданное в «готовом» виде в тексте задачи, например, а затем переводить его из одной знаковой формы (текста задачи) в другую (в графическую, на чертеж). Если при этом ученик ничего не выполняет в заданиях второго уровня, то можно говорить, что он осваивает навыковый материал, может работать с представленным в конкретном виде материалом, но не продвигается в освоении средств мышления и понимания, т.е. не осваивает средства анализа задания.

· Второй уровень (освоение существенного основания способа действия) – выполнение задания, предполагающего выделение существенного отношения предметной ситуации. Выполнение заданий второго уровня говорит о том, что учащийся способен провести анализ задания, выделить математическое отношение, представленное не в прямом виде, а завуалировано, с провокацией (с лишними данными, с недостающими условиями, в буквенном или символическом виде). Этот ученик может выделить способ работы и применить его в новых условиях, он может осуществить перенос выделенного им математического отношения, например, с графического плана, на другой – буквенный, текстовый, т.е. ребенок способен адекватно сконструировать речевое выражение (текст задачи). Такой ученик преодолевает «натуральное» отношение к математическим знакам и выделяет существенное отношение, составляющее основу решения.

· Третий уровень (функциализация способа действия) – выполнение задания, предполагающего произвольное соотнесение двух планов – схемы решения задачи и ее текста. Ученик, выполняющий задания третьего уровня, может проводить анализ задания, выделять существенные отношения, представлять изменения отношений в условном плане, изобретать модели, преобразовывать исходные модели, конструировать задания, проводить исследования. Можно говорить, что изученные знаковые средства (чертежи, схемы и пр.) становятся для этого ребенка ресурсом для анализа и выполнения, новых для него заданий [22].

Диагностика действия на основе предложенной уровневой схемы позволяет помимо сравнительных данных получить ответ на вопрос, на каком этапе становления данного ученика (или группы учащихся) некая компетенция находится, то есть увидеть ее в развитии, оценивая пройденный путь и ближайшую перспективу [15].