Недостатки предтестовых заданий с выбором ответов. К числу недостатков заданий с выбором следует отнести эффект угадывания, характерный для слабоподготовленных учеников при ответах на наиболее трудные задания теста. Хотя возможность угадывания действительно существует, тестологи с помощью различных методов научились избегать подобных ситуаций. Для этого вводятся специальные инструкции, ориентирующие испытуемых на пропуск незнакомого задания вместо ответа путем догадки. При подсчете баллов слабых учеников, полученных по наиболее трудным заданиям теста, добавляются специальные весовые коэффициенты, близкие к нулю, или увеличивается число заданий теста. Иногда применяется специальная формула для коррекции индивидуальных баллов с поправкой на догадку.
Сложности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний учащимися в незнакомой ситуации, творческими аспектами подготовки, а также в случаях, когда требуется преобразование условий поставленной перед учащимся задачи. В таких ситуациях задания с выбором готовых ответов использовать чаще всего невозможно. В условиях же массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов учеников и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому эта форма нередко доминирует при разработке итоговых тестов.
Примеры предтестовых заданий с двумя и тремя ответами. В заданиях с двумя ответами проще всего подбирать дистракторы посредством отрицания того, что является верным. Не рекомендуется использовать вместо дистракторов слова «да», «нет», поскольку в противном случае будет довольно трудно сформулировать утверждения, на которые можно дать однозначный ответ.
Задания с тремя ответами обычно используют в экспресс-диагностике в тех случаях, когда в силу специфики содержания недостаточно двух ответов. Иногда они появляются вследствие удаления «неработающих» дистракторов. В целом такие задания неудачны, поскольку они недостаточно кратки и в них высока вероятность угадывания правильного ответа. Например:
Задание 1
Импульс, поступающий по блуждающему нерву
1)учащает работу сердца
2)замедляет работу сердца
3)не влияет на деятельность сердца.
Предтестовые задания с четырьмя и пятью ответами. В большинстве тестов встречаются задания с четырьмя — пятью ответами, из которых один верный. При умелой разработке они могут быть достаточно краткими, и в них невысока вероятность угадывания правильного ответа (0,25 при четырех ответах и 0,20 при пяти). Например:
3адание 2
Кадеты считали главным методом решения основных проблем России
1)революционное восстание масс
2)политический террор
3)тактику давления на правительство через представительные органы, парламент
4)всеобщую политическую стачку.
Наиболее удачными можно считать задания, выполнение которых помимо традиционного длинного пути предполагает возможность довольно быстрого (3 — 4 с) ответа. Разумеется, быстрое решение по силам только учащемуся с четкой структурой знаний и твердыми навыками по проверяемому разделу. Слабо подготовленные ученики пойдут по традиционному пути и истратят на задание не 3 — 4 с, а положенные 1 — 2 мин.
Фасетные задания в тесте. Даже в условиях хорошо организованного процесса тестирования при наличии единственного варианта теста велика вероятность списывания, подсказок и других нежелательных моментов. Поэтому обычно разрабатывают 5 —8 параллельных вариантов теста, для которых можно использовать фасетные задания. Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста [4].
Каждый испытуемый получает из фасета только один вариант задания. При этом все испытуемые группы выполняют однотипные задания, но с разными элементами фасета и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов тестов, предлагаемых различным ученикам. В приведенном далее примере содержатся два задания, одно из которых предназначено для выбора архитектурных комплексов окрестностей Москвы, а другое — Санкт-Петербурга:
Задание 3
К дворцовым комплексам окрестностям Москвы,Санкт-Петербурга
относятся
1)Павловск, Ораниенбаум
2)Архангельское, Царицыно
3)Петергоф, Гатчина
4)Царское село, Стрельня.
Предтестовые задания с выбором нескольких правильных ответов. Задания с несколькими правильными ответами обычно стараются не включать в итоговые тесты, результаты которых используются для административно-управленческих решений в образовании. Появление частично правильных ответов учащихся, возникающих при выборе не всех запланированных верных ответов, приводит к снижению объективности и сопоставимости оценок, получаемых учениками по тесту.
В текущем контроле такие задания, наоборот, желательны, поскольку ученик должен не только найти правильные ответы, но и сам определить их число, что значительно разнообразит и усложняет задачу.
Предтестовые задания на выбор неправильного ответа. Ориентация учащихся на выбор неправильного ответа часто вызывает негативную реакцию у многих педагогов. Особенно неуместны задания на выбор неправильного ответа в тестах по русскому языку или по истории. Недопустимо, например, когда задание нацеливает ученика на неправильное написание слов либо на неверную оценку исторических событий. Однако если нужно проверить знание учеником определенных правил по технике безопасности, например во время проведения химических опытов, то выбор неправильного ответа становится просто находкой.
В случае когда большая часть заданий в тесте ориентирована на выбор правильного ответа, заданий с противоположной инструкцией в тесте должно быть не более двух-трех.
Оценка результатов выполнения заданий, первичный, или сырой, балл. При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает «1», а за неправильный ответ или пропуск — «О». Суммирование всех единиц позволяет вычислить индивидуальный (первичный, или сырой) балл испытуемого, который в случае дихотомической оценки равен количеству правильно выполненных заданий в тесте.
Если правильный ответ не один, то чаще всего используется полигамическая оценка, которая пропорциональна числу правильно выбранных ответов.
Коррекция на догадку первичных тестовых баллов. Из-за эффекта угадывания ответов в заданиях с выбором сырые баллы стараются скорректировать путем ввода поправки на догадку. Формула коррекции баллов, полученных в результате выполнения заданий с k-ответами, из которых только один верный, имеет следующий вид:
Где i— номер любого испытуемого группы;
X — скорректированный балл i-го испытуемого;
Х{ — тестовый балл до коррекции;
W — число невыполненных (неправильно выполненных, пропущенных, недостигнутых) заданий теста, а Х1 + W = N, где N — число заданий в тесте.
Если в заданиях только один дистрактор и один верный ответ то k - 1 = 1, поэтому коррекция баллов осуществляется довольно просто. Для каждого испытуемого вычисляется разность между числом правильно выполненных и невыполненных им заданий теста. Например, если в тесте из 60 заданий испытуемый выполнил правильно 50, а неправильно - 10, то скорректированный балл будет равен 50 - 10 = 40. Для более слабого ученика, выполнившего правильно всего 30 заданий из 60, балл после коррекции станет равен 30 - 30 = 0. Таким образом, балл сильного ученика уменьшился в результате коррекции весьма незначительно, всего на 10 единиц. Иначе обстоит дело с баллом учащегося, который выполнил правильно всего половину заданий теста. После коррекции он получит 0 баллов, так как в половине заданий с двумя ответами он вполне мог угадать правильный ответ.
Формула коррекции имеет определенные недостатки, снижающие точность тестовых измерений. Это связано с тем, что в основу ее построения положен ряд искусственных предположений, нередко не согласующихся с реальной процедурой выполнения теста. В частности далеко не в полной мере выполняется предположение о том, что все неправильные ответы являются следствием случайного угадывания. Столь же условно другое предположение об одинаковой вероятности выбора каждого ответа задания теста.
3.2. Предтестовые задания с конструируемым ответом
Общая характеристика. В заданиях с конструируемым ответом (заданиях на дополнение, открытых заданиях) готовые ответы не даются, их должен придумать или получить сам ученик. Задания с конструируемым ответом бывают двух видов. Первый предполагает получение учащимся строго регламентированных по содержанию и форме представления правильных ответов. Второй — задания со свободно конструируемыми ответами, в которых учащиеся составляют развернутые ответы, произвольные по длине и форме представления и содержащие полное решения задачи с пояснениями, микросочинения (эссе) и т.д. [4].
Предтестовые задания с конструируемым регламентированным ответом. В заданиях первого вида заранее определяется то, что однозначно считается правильным ответом, и задается степень полноты его представления. Обычно ответ бывает достаточно кратким — в виде слова, числа, формулы, символа и т.д. Регламентированная краткость ответов накладывает определенные ограничения на сферу применения, поэтому задания первого вида в основном используются для оценки довольно узкого круга учебных умений. Обычно с их помощью проверяются умения воспроизводить и применять знания в знакомой ситуации, а также выявляются уровень понимания изученного фактологического материала, знание понятийного аппарата и т.д.