Таким образом, при составлении варианта теста для апробации, можно ориентироваться на время около часа. В процессе апробации реальные сроки должны быть уточнены. Для апробации следует брать некоторый запас тестовых заданий и соответственно времени. Запас заданий должен обеспечить необходимое количество заданий взамен тех, что будут отбракованы, а запас времени позволит оценить верхнюю границу приемлемого времени выполнения.
В качестве практического совета можно привести вполне современную рекомендацию С. Отиса [2]: время теста должно быть таким, чтобы только 5 процентов испытуемых могли справиться со всеми заданиями.
Каждый БТЗ должен сопровождаться спецификацией со следующей информацией: содержательная часть, качественные показатели и характеристики тестовых заданий. К содержательной части БТЗ относятся: цели применения теста, предметная область, авторский коллектив, структура и спецификации теста; дата сертификации и утверждения БТЗ. К качественным показателям относятся: валидность, количество заданий в различной форме. К физическим, характеристика теста следует отнести: физическое расположение теста, объем памяти носителя теста, наименование и размер файла (файлов), необходимых для проведения тестирования.
Тематическое содержание БТЗ определяется Государственным образовательным стандартом (ГОС).
БТЗ должен быть структурирован по разделам, темам и понятиям.
Каждое тестовое задание может иметь маркировку только одного элемента каждого уровня структуры.
Спецификации БТЗ должны строго соответствовать своему назначению и отвечать заданной величине содержательной валидности.
Тестовые задания в БТЗ должны быть представлены в различных формах и ранжированы по трем категориям трудности.
БТЗ должен пройти экспериментальную проверку, на основании которой будут определены показатели валидности и верности оценки, зафиксированные в сопроводительной к тесту документации.
Количество заданий в БТЗ должно превышать длину формируемого на его основе теста не менее чем в 10 раз.
Композиции тестов формируются из банка тестовых заданий. Рекомендуется использовать в тесте задания, представленные в различных тестовых формах. Тест должен содержать не менее 60 тестовых заданий для математических и естественнонаучных дисциплин, не менее 100 для гуманитарных дисциплин.
На БТЗ должны быть представлены документы об авторских правах его разработчиков
3.1. Спецификация БТЗ
После выполнения планирования содержания теста разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутом виде. Спецификация теста в развернутом виде включает:
1. Название теста.
2. Общая цель разработки.
3. Общие задачи, решаемые при применении теста.
4. Содержание теста: части теста, части и разделы учебной дисциплины, охватываемые частями теста).
5. План теста.
6. Характеристика содержания каждого задания: что оно измеряет (конкретное название проверяемых знаний, умений, навыков или представлений), возможность фасета, число допустимых вариантов фасета.
Среднее время выполнения задания и ориентировочная мера выполнимости (% ожидаемых правильных ответов) в выборочной совокупности испытуемых.
7. Характеристика ответов к каждому заданию: мера привлекательности каждого ответа в заданиях с выбором. Фасеты ответов.
8. Количество форм заданий и инструкций. Примеры заданий и инструкций к ним.
9. Оценки за выполнение заданий.
10. Краткие рекомендации по апробации заданий. Объем и основные характеристики выборки испытуемых.
11. Определяемые характеристики качества заданий. Методы исследования.
12. Ожидаемая интерпретация тестовых результатов (варианты критериально-ориентированной, нормативно-ориентированной интерпретации или др.).
Создание краткой спецификации основано на сопряжении знаний и умений с процентным соотношением заданий по различным разделам (содержательным линиям дисциплины). Пример реализации подобного сопряжения показан в табл.2. Перечень знаний и умений условно включены:
– А – знание понятий, определений, терминов;
– Б – знание законов и формул;
– В – умение применять законы и формулы для решения задач;
– Г – умение интерпретировать результаты на графиках и схемах;
– Д – умение проводить оценочные суждения.
Содержательные разделы дисциплины условно имеют следующие пропорции: I – 20%; II – 10%; III – 30%; IV – 40%.
Табл. 2 – Гипотетическая спецификация теста
| № | Планируемые к проверке знания и умения | Содержательные линии (разделы) дисциплины | Сумма заданий по каждому пункту | |||
| 20% | II 10% | III 30% | IV 40% | |||
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 1 | А – 10% | 1 | 1 | 2 | 2 | 6 |
| 2 | Б – 20% | 2 | 1 | 4 | 5 | 12 |
| 3 | В – 30% | 4 | 2 | 5 | 7 | 18 |
| 4 | Г – 30% | 4 | 2 | 5 | 7 | 18 |
| 5 | Д – 10% | 1 | - | 2 | 3 | 6 |
| Итого (строка и рассчитывается и заполняется первой | 12 | 6 | 18 | 24 | 60 | |
При заполнении ячеек таблицы в распределении заданий числа ставятся приближенно, и в процессе "обкатки" теста первоначальная раскладка может существенно измениться.
Спецификация должна охватить весь материал, изложенный в ГОСе по соответствующей учебной дисциплине или в рабочей программе
С точки зрения разработчика минимальные требования к составу тестового задания состоят в наличии трех частей:
1. Инструкции.
2. Текста задания (вопроса).
3. Правильного ответа.
Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание. Это может быть фраза "Выбрать правильный ответ", "наиболее правильный ответ", "все правильные ответы", "хотя бы один правильный ответ" и др. Инструкция должна быть составлена так, чтобы задание и способ его выполнения были абсолютно ясны любому из испытуемых и не приводили к ошибкам.
Испытуемому важно понять, что от него требуется, как он должен выполнять задание. Мало понять то, что необходимо установить правильную последовательность, то есть выполнить интеллектуальную операцию, но и то, как собственно ее устанавливать. Кроме этого, для многих заданий важно и то, в каком порядке эту правильную последовательность восстанавливать: от раннего (большего) к более позднему (меньшему) или наоборот. Например, задание на установление правильной последовательности, в которой в качестве элементов для упорядочивания предложены фамилии авторов физических законов становится непонятным, если не указать в каком именно порядке следует их располагать: в алфавитном, в хронологическом, по продолжительности жизни, по тому, кто сколько законов открыл, по географии проживания (с востока на запад) и др.
Для разработчиков тестовых заданий подготовка инструкции для испытуемых в каждом задании является необходимой, поскольку это позволяет взглянуть на задание с точки зрения испытуемого.
Текст задания или вопроса представляет собой содержательное наполнение задания.
2. Содержание задания должно быть выражено краткой, предельно простой синтаксической конструкцией. В тексте задания исключаются повторы и двойное отрицание.
3. Используйте задания с однозначными ответами. В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора.
4. В тексте тестового задания не должно быть сленга (исключая случая составления теста специально для целей, связанных со знанием этих слов).
5. Следует избегать обобщающих слов, таких как: "всегда", "иногда", "никогда".
6. Формулировка тестового задания не должна начинаться с предлога, частицы, союза.
7. Избегайте использования очевидных, тривиальных формулировок при составлении тестовых заданий. Проверяйте, чтобы каждое тз имело отношение к конкретному факту, принципу, умению, знанию, т.е. Обладало достаточной важностью для включения в тест. Все ТЗ должны быть связаны с целями обучения
8. Избегайте потери времени. Этого можно достичь следующими способами:
– Используйте в тесте только столько тз, сколько необходимо для достижения всех целей тестирования. Т.е. При тестировании вашей целью должно являться не количество тестовых заданий, а отражение всех целей тестирования.
– Не пытайтесь “обхитрить” испытуемого любым путём. Исключайте тз и ответы (в закрытой форме, например), если их можно оценить, как "обманные".