Вo-вторых, первичная шкала необъективна. Говоря о критериях объективности, мы потребовали, в частности, чтобы объективно построенная оценочная шкала давала результаты, не зависящие от уровня сложности заданий. Это свойство называют инвариантностью к степени трудности контрольных измерительных материалов. Если все же ограничиться первичным баллом, считая его пределом мечтаний, то пришлось бы смириться и с инверсией в рейтинговых списках — изменением рейтинга (порядка следования учащихся в списке) в зависимости от случайного выбора номера варианта. Какая уж тут объективность!
В-третьих, первичная шкала ненадежна. В величине первичного балла сидит пока слишком много «субъективизма». При правильной оценке теста необходимо, в частности, принимать во внимание не только характеристики тех заданий, которые выполнены учащимся верно, но и характеристики тех заданий, которые ему выполнить не удалось. Другими словами, методика обработки теста должна быть устроена так, чтобы повышалась оценка за выполнение «трудных» заданий и снижалась за невыполнение «легких». Объективно оценить меру сложности каждого задания контрольного измерительного материала и справедливо соразмерить то, что сделано верно, с тем, что сделано неверно, можно путем специальной математической обработки всего массива статистической информации.
Таким образом, первичные баллы не могут сами по себе служить мерой подготовленности испытуемых. Их можно и нужно рассматривать как исходный материал для дальнейшей специальной математической обработки и пересчета в тестовые баллы.
Тестовые баллы — вот окончательный продукт и законченный результат единого экзамена. Тестовый балл может рассматриваться как количественная оценка степени усвоения государственного образовательного стандарта.
Разработка технологической матрицы контрольно-измерительных материалов
Разработка технологической матрицы контрольно-измерительных материалов является первым шагом к созданию КИМ. Технологическую матрицу разрабатывают члены ВТК (временного творческого коллектива) коллегиально. С ее помощью без особого труда можно определить, какие знания, умения и навыки требовалось проявить при выполнении тех или иных заданий, а значит, и правильно организовать дальнейшую деятельность по подготовке к итоговой аттестации.
Подбор заданий, соответствующих технологической матрице, производится из соответствующих изданий. Для того, чтобы создать качественное задание, необходимо соблюсти несколько обязательных этапов и процедур. При подборе задания определенную трудность составляет подбор нескольких его вариантов, поэтому нужно сразу продумывать возможность создания к подобранному заданию равноценного ему по содержанию и уровню сложности. Количество заданий для КИМов должно быть избыточным. Члены ВТК сами устанавливают степень долевого участия в создании банка заданий для КИМ. Заключительным этапом является совместная работа по окончательному отбору и утверждению банка заданий к репетиционному экзамену.
Создание трех основных вариантов КИМ осуществляется также совместно членами ВТК. Основными требованиями к вариантам являются их соответствие технологической матрице и равноценность по уровню сложности. При оформлении КИМов нужно ориентироваться на демонстрационную версию, которую также можно найти на официальном портале ЕГЭ. Очень важный момент - это инструкции по оформлению ответов в бланках. Ни в коем случае их нельзя игнорировать на репетиционном экзамене. Кроме того, при проверке работ учащихся следует тщательно фиксировать все нарушения в оформлении бланков, чтобы затем обратить на них внимание учащихся.
Создание различных вариантов КИМ путем распределения заданий основных вариантов осуществляется для создания наиболее приближенной к реальной ситуации экзамена. Учащиеся на ЕГЭ, пожалуй, впервые встречаются с ситуацией, когда у каждого сидящего в аудитории выпускника индивидуальный вариант экзаменационных заданий. На пробном экзамене, проводящемся централизованно, присутствуют не более трех вариантов, и это вселяет некоторую долю оптимизма в учащихся в плане возможности получения помощи друг от друга на настоящем экзамене. Задача школьного репетиционного экзамена - рассеять эти заблуждения. Ребята должны быть готовы к тому, что над предложенными заданиями на экзамене придется работать самостоятельно. Для того, чтобы из трех основных вариантов создать еще двенадцать (по количеству учащихся в аудитории), нужно пересортировать все задания, но при этом сохранить наличие всех тем, согласно технологической матрице. Этот этап работы самый трудоемкий. Кроме того, опыт показывает, что и учителю, и ученику сложно затем анализировать результаты работы, так как в разных вариантах номера заданий соответствуют различным темам из технологической матрицы. То есть для каждого варианта свой порядок тем, а значит, к работе привлекается еще одна таблица по определению темы, соответствующей тому или иному заданию, для конкретного варианта.
Кроме того, несколько затруднителен общий анализ результатов. Избежать этого можно путем увеличения банка заданий.
Подготовка таблицы верных ответов, а также образцов оформления решений заданий типа С, с критериями оценки ответов, является достаточно важным этапом в подготовке экзамена. Бланки ответов № 1, в которых отмечаются ответы 1 и 2 частей КИМ, проверяются по готовым ключам, поэтому все варианты ответов должны быть выверены последовательно несколькими членами ВТК. При подготовке образцов решений заданий типа С и критериев их оценки следует учитывать рекомендации, приведенные в сборниках учебно-тренировочных материалов к ЕГЭ.
Проверка работ, как правило, не занимает много времени, бланки ответов № 1 проверяют одновременно несколько человек. Один из них диктует по таблице ответов верные варианты, а остальные отмечают в бланках правильные ответы учащихся, обводя их кружком. Бланки ответов № 2 проверяются вручную. После того, как все работы проверены, результаты оформляются в виде таблиц.
После того, как оформлены итоговые таблицы с результатами, можно начинать целенаправленную и плодотворную работу по коррекции знаний и умений учащихся.
Литература
1. Болотов В.А. ЕГЭ на пути к созданию системы независимой оценки качества образования //Высшее образование сегодня. – 2004. – № 11. – С. 23-27.
2. Бородина А. ЕГЭ со всех сторон //Лицейское и гимназическое образование. – 2005. - № 3. – С 9-13.
3. ЕГЭ в вопросах и ответах //ОВД. – 2005. - № 18. – С. 97-108.
4. Ефремова Н.Ф. ЕГЭ и мониторинг качества образования //Высшее образование сегодня. – 2002. - № 12. – С. 28-33.
5. Как нам реорганизовать ЕГЭ? //ОВД. Межведомственный информационный бюллетень. - 2006. - № 14.
6. Как школе подготовиться к единому государственному экзамену //Народное образование. – 2004. - № 1. - С. 67-75.
7. Парламентские слушания: единый государственный экзамен //Народное образование. – 2003. - № 2. – С. 9-22.
8. Реформа образования: разрушительный потенциал «Егэзации» //Российский экономический журнал. – 2004. - № 8. – С. 67-68.
9. Рулевская Л.В. Репетиционный экзамен в форме ЕГЭ в школе //Методист. – 2006. – С. 40-43.
10. Севрук А., Юнина Е. Тестовая компания ЕГЭ: несоответствие замысла исполнению //Народное образование. – 2003. - № 6. – С. 71-75.
11. Смушкевич Л.Е. Единый госэкзамен и модернизация общего среднего образования //Высшее образование сегодня. – 2004. - № 9. С. 25-28.
12. Фирсов В.В. Подводные камни ЕГЭ //Вопросы образования. – 2004. - № 2. – С. 187-198.
13. Хлебников В.А. Как нам реорганизовать ЕГЭ? //Народное образование. – 2003. - № 7. – С. 29-31.
14. Хлебников В.А. Проблемы, симптомы и пути реорганизации ЕГЭ в систему добровольной сертификации //Образование и наука. – 2006. - № 3. – С. 5-17.
15. Шамова Т., Подчалимова Г., Худин А., Ильина И. Как школе подготовиться к единому государственному экзамену //Народное образование. – 2004. - № 2. С. 53-64.
16. Шудегов В.Е. О едином государственном экзамене //Высшее образование сегодня. – 2006. - № 3. – С. 24-27.
Планы семинарских занятий
Семинар 1
Виды, формы и организация контроля качества обучения.
Оценка, её функции
План
1.Виды и функции контроля. Педагогическая диагностика.
2.Требования к осуществлению контроля качества обучения.
3.Требования к операциям контрольных действий учителя. Система аттестации учащихся.
4.Процесс оценивания деятельности учащихся.
5.Оценка и отметка в сложившейся практике обучения.
6.Оценочный компонент обучения на разных этапах развития школы.
Ключевые понятия: контроль качества обучения, виды контроля, педагогическая диагностика, операции контрольных действий учителя, процесс оценивания, функции оценивания, понятия «оценка», «отметка».
Практические задания:
1.Что такое диагностирование обученности? Из перечисленных альтернатив выберите правильную.
а) Диагностирование обученности – это контроль и оценка знаний и умений обучаемых.
б) Диагностирование обученности включает в себя контроль, проверку, оценивание, накопление статистических данных, их анализ, выявление динамики, тенденции, прогнозирование результатов.