• адекватность инструкции форме и содержанию задания;
• логическая форма высказывания в задании;
• наличие в ответах на задания наряду с правильными ответами неверных ответов;
• наличие в задании места для ответов;
• единые правила оценки ответов.
Не рекомендуется включать в тестовые задания:
• дискуссионные вопросы и ответы;
• задания, имеющие громоздкие формулировки;
• задачи, требующие сложных расчетов.
Правила формулирования вопросов
Преподавателю необходимо учитывать следующие правила формулирования.
1. Каждый вопрос должен быть логически завершенным.
2. Необходимо избегать слов с двойным значением.
3. Необходимо предлагать студенту такие варианты ответов, каждый из которых приемлем в одинаковой степени.
4. Простые вопросы должны предшествовать сложным вопросам.
Основное требование к тестовым вопросам, направленных на выявление знаний, умений и навыков, заключается в том, что не только вопрос, но и правильный ответ должны быть однозначными, краткими, четкими, не обладать слишком большим объемом.
Оптимальным количеством альтернатив ответов на вопрос считается 3 – 4, минимальным – 3, максимальное количество альтернатив зависит от объема предлагаемых альтернатив.
В заданиях множественного выбора количество правильных ответов объективными причинами не ограничивается. В том случае, если вариантов правильных ответов несколько, следует видоизменить инструкцию, указав на то, что необходимо отметить буквы, соответствующие правильным ответам, или указать на то, что правильных ответов несколько.
При составлении вопросов следует особенно осторожно использовать слова: «иногда», «часто», «всегда», «все», «никогда».
Место правильного ответа должно быть определено таким образом, чтобы оно не повторялось от вопроса к вопросу, давалось в случайном порядке. Лучше использовать не длинный вопрос и короткий ответ для того, чтобы студент не потерял смысл задаваемого вопроса, важна и экономия времени работы с тестом.
Рекомендации по составлению тестов для применения их на компьютере
Для эффективной разработки компьютерной программы тестового материала при составлении тестов разработчикам важно учитывать, что матрица может иметь следующий вид.
Вопрос 1.
Варианты ответов
1. …
2. …
3. …
Полученные данные могут иметь такую форму, как:
- по каждому респонденту:
0 – Х баллов – характеристика соответствующего уровня студента;
Х1 – Х2 баллов – характеристика соответствующего уровня студента в группе;
– по всей группе:
0% – Х% – характеристика уровня группы;
Х1% – Х2 % – характеристика уровня группы на курсе;
- по каждой кафедре:
0% – Х% – характеристика уровня кафедры;
Х1 – Х2% – характеристика уровня кафедры по академии;
Полученные данные по каждому обучаемому, группе в целом, по дисциплине, изучаемой на нескольких специальностях, и т.д. в ходе мониторинга позволят создать целостную картину качества образовательного процесса в академии. На основании этого через преобразования появляется возможность не только эффективно управлять, но и повысить качество данного процесса.
V. Рекомендации по назначению нормы трудности
тестовых заданий
Норма трудности определяется разработчиком тестовых заданий и указывает субъективную величину того, насколько тяжело будет решить данный тест.
1. Норма трудности может оцениваться с учетом количества используемых концептов (формула, правило, аксиома и т.д.), необходимых для поиска правильного решения. Чем больше шагов нужно выполнить для получения правильного ответа, тем выше норма трудности, тем сложнее считается тест.
2. Если тестовое задание направлено на «опознание» какого-то объекта или на проверку изученного понятия, материала, то его следует считать простым.
3. Если тестовое задание направлено на выбор одного варианта ответа из многих с помощью знания всего одного концепта, то такое задание следует считать простым.
4. Если тестовое задание открытого типа направлено на выявление знания определения односложного базового термина, то такое задание следует считать простым.
5. Если тестовое задание направлено на применение усвоенных ранее знаний или на проверку «знаний воспроизведения копии», то такое задание следует считать среднего уровня сложности.
6. Если тестовое задание направлено на применение усвоенных знаний и умений в нестандартных условиях (т.е. в условиях, ранее не знакомых испытуемому) или на проверку «знаний умения и применения», то такое задание следует считать сложным.
Назначение нормы трудности можно осуществлять исходя из принадлежности задания основному и дополнительному материалам (уровень значимости). Если тестовое задание раскрывает базовое понятие, то такое задание можно считать простым, если же тестовое задание принадлежит к дополнительному материалу, то его можно считать сложным.
Назначение нормы трудности можно осуществлять исходя из принадлежности тестового задания уровню «глубины» спецификации теста. Если оно раскрывает самый нижний уровень иерархии спецификации теста (например, некоторое понятие), то такое задание будет легким. Принадлежность тестового задания средним уровням иерархии спецификации теста (например, некоторой теме или подтеме) повышает норму трудности – средний уровень сложности. Наконец, тестовое задание, относящееся к верхнему уровню, корню дерева иерархии (например, к разделу, главе), можно считать сложным.
VI. Экспертиза качества тестов
Экспертиза тестовых заданий, вопросов является обязательным условием для создания тестов вне зависимости от уровня их применения.
Рекомендуется соблюдать следующие параметры тестов:
1. Соответствие содержания тестовых заданий государственному образовательному стандарту по учебной дисциплине (базовая часть тестовых заданий – 70% – 85%), а также включение дополнительных тестовых заданий (вариативная часть тестовых заданий – 15% – 30%).
2. Подбор заданий, комплексно отображающих основные темы учебной дисциплины.
3. Тестовые задания по конкретной учебной дисциплине должны наиболее полно отображать ее содержание и ключевые понятия, чтобы иметь качественную объективную оценку знаний студентов. Включение в тест второстепенных элементов содержания может привести к неоправданным выводам о знании или незнании учебной дисциплины.
Необходимо соблюдать пропорции в количестве тестовых заданий по темам учебной дисциплины.
Необходимо проверять соответствие содержания тестовых заданий знаниям, навыкам и умениям, оцениваемым у студентов.
В каждом тестовом задании необходима определенность, логичность, отсутствие некорректных формулировок, выделение одного предмета измерения (ключевого понятия, термина, правила, определения и т.д.).
Внутренняя экспертиза качества теста
Каждому эксперту выдаются следующие материалы:
· Спецификация и план теста.
· Инструкция по экспертизе.
· Формы для заключения об экспертизе и записи решений.
В процессе экспертизы проводится следующая работа:
· Выполняется каждое задание теста (указывается правильный ответ, приводится решение задания, где необходимо).
· Анализируются формулировки задания (проверяется предметная корректность формулировок).
· Анализируется содержание заданий на их тематическую принадлежность и уровень сложности (базовый, повышенный или высокий).
· В конструктивной форме формулируются замечания к каждому из заданий с предложениями, что и как необходимо изменить.
· Формулируется заключение о пригодности теста для использования.
Спецификация теста включает
· Цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер его применения.
· Перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста.
· Количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте.
· Вес каждого задания, рекомендуемый автором теста.
· Рекомендуемое время выполнения теста, среднее время выполнения одного задания с учетом специфики формы.
· Требования государственных образовательных стандартов по дисциплине.
Требования к экспертной комиссии и процедуре экспертизы качества теста
a.
· Оценка качества содержания теста проводится независимыми экспертами, не участвовавшими в разработке теста. Рекомендованное число экспертов – 3 человека (наиболее опытные преподаватели с большим стажем работы).
· В комплект материалов для экспертизы должен входить перечень требований к уровню подготовки испытуемых.
· Эксперту при работе потребуются часы для фиксации времени работы над каждым заданием и бланк для экспертного заключения.
· Если задание теста проверяет степень достижения требований на минимальном уровне, это базовое задание, на уровне «хорошей» оценки – задание повышенного уровня, «отличной» оценки – сложное задание.
· Эксперт должен оценить значимость содержания теста по следующей шкале: 0 – неоправданное включение задания в тест, 1 – незначимое задание, 2 – значимое, 3 – наиболее важный опорный элемент.
VII. Критерии выставления оценки
Оценка «удовлетворительно» ставится, если студент ответил верно на 55 – 70% вопросов. Оценка «хорошо» ставится, если студент дал правильный ответ на 71 – 85%. Оценка «отлично» ставится, если студент ответил правильно на 86% и более.
Словарь терминов
Дистрактор – неправильный вариант ответа на тестовое задание.