·высокая степень формализации и унификации процедуры тестирования,
·возможность одновременного проведения тестирования на нескольких компьютерах,
·возможность организации дистанционного тестирования посредством локальной вычислительной сети либо через глобальную информационную сеть Интернет.
Определенный интерес представляет выявление роли и значимости тестирования на различных этапах контроля и оценивания знаний, а также его применимость при изучении различных дисциплин. Не вызывает сомнений целесообразность применения традиционных автоматизированных систем контроля знаний при изучении дисциплин, ориентированных на усвоение обучаемыми конечного множества фактов либо однозначно трактуемых правил. Примером подобной ситуации можно считать экзамен на знание правил дорожного движения. Практически безальтернативным представляется применение таких приемов компьютеризации контроля уровня знаний и умений при проведении массового одновременного государственного тестирования знаний учащихся, хотя руководители центров тестирования отмечают наличие претензий, связанных с оцениванием знаний по дисциплинам языкового цикла, для которых характерна неоднозначность некоторых “истинных” ответов даже с точки зрения наиболее опытных преподавателей-предметников.
Компьютерные системы выявления уровня знаний широко применяются для уменьшения трудоемкости текущего контроля по естественно-научным и техническим дисциплинам, цель которого состоит в оперативной и массовой одновременной проверке остаточных знаний большого количества обучаемых.
Таким образом, для многих дисциплин, знания в которых носят принципиально нечеткий характер и не могут быть сведены к однозначным формулировкам многие процедуры компьютерного тестирования, к сожалению, оказываются неприменимыми. Более того, можно утверждать, что процедуры “классического” компьютерного тестирования, основанные на парадигме “один абсолютно правильный ответ - N абсолютно неправильных ответов” и выводе итоговой оценки из соотношения количества правильных ответов и заданных вопросов, неадекватны представлениям большинства преподавателей об их абсолютной применимости в процессе оценивания знаний.
Можно сделать вполне естественный вывод, что компьютерное программное средство контроля знаний будет признаваться конкретным преподавателем как эффективный инструмент промежуточного или итогового контроля знаний только в том случае, если оно будет адекватно набору требований.
Глава 2. Информационная система оценки знаний по информатике учащихся средней школы
Построение компьютерной системы оценки знаний по информатике требует применения специализированных подходов к представлению и обработке знаний. Сформулируем основные принципы построения компьютерной системы контроля знаний, основанные на методах и моделях, развиваемых в рамках теории интеллектуальных вычислений и инженерии знаний. Эти принципы определяют концепцию интеллектуального тестирования, более адекватную представлениям преподавателя о требуемой организации процесса контроля и оценивания знаний и позволяющую реализовать неформализованные ранее педагогические приемы и методики.
Множество требований, предъявляемых к компьютерному программному средству контроля знаний
В числе провозглашаемых принципов:
1. Переход от задания истинности предлагаемых вариантов ответов в категориях дихотомических шкал (“правильно - неправильно”) к более общей и универсальной схеме оценивания ответов функциями предпочтения, определяемыми в категориях нечеткой логики. Заметим, что такой переход не противоречит традиционному подход, поскольку в соответствии с современными представлениями двоичная логика может считаться частным случаем нечеткой логики;
2. Переход от индивидуальной организации теста к коллегиальной экспертной подготовке всех его этапов, что увеличит доверие конечных пользователей к компьютерной системе контроля знаний и повысит валидность результатов тестирования;
3. Количественное определение сложности и важности каждого тестового задания по пропорциональной цифровой шкале, что даст возможность повысить объективность оценивания демонстрируемых знаний.
4. Разбиение множества тестовых заданий на тематические подмножества, элементы которых семантически коррелируют друг с другом, с обязательным ранжированием как тестовых заданий внутри каждого подмножества, так и выделенных подмножеств между собой. Реализация этого принципа создаст объективную основу для формализации ряда применяемых в настоящее время “ручных” методик контроля знаний, таких, например, как оценивание широты или глубины знаний и т.п.;
5. Переход от характерного для современных компьютерных средств использования программно реализованных алгоритмов прямого тестирования, при котором выбор очередного задания практически не зависит от ответов тестируемого на предыдущие вопросы, к модульному конструированию при подготовке теста;
6. Переход к построению алгоритмов адаптивного тестирования, обусловливающих выбор очередного i-го задания ответами обучаемого на предыдущих (i - 1)-м, (i - 2)-м,..., и т.д. шагах теста. Реализация этого принципа позволит формализовать широко применяемые в педагогической практике методики дополнительных, наводящих и уточняющих вопросов;
7. Построение, унифицированное описание и однотипная реализация в рамках одной и той же компьютерной системы контроля знаний набора алгоритмов тестирования, реализующих различные методики контроля и предоставление организатору тестирования возможности выбирать в конкретной ситуации те из них, применение которых либо предписывается нормативными документами, либо определяется его собственными предпочтениями;
8. Создание инструментария для построения, настройки и модификации различных шкал итогового оценивания знаний, включая как возможность изменения количества и ширины оценочных интервалов, так и определение и варьирование зон неопределенности оценок. Это даст возможность организовать параметрический анализ валидности текущих и заключительных результатов тестирования;
9. Автоматизация на основе возможностей компьютерной техники наиболее трудоемкого этапа подготовительной стадии тестирования, связанного с формированием множества тестовых заданий и вариантов ответов на них. Базис этой процедуры могут составить, в частности, формализованная модель знаний по изучаемой дисциплине, представленная в виде структурированной семантической сети и известные из инженерии знаний фрейм-технологии.
10. Использование при разработке тестовых материалов, технических средств контроля знаний и при их практическом применении самых современных и наиболее эффективных аппаратных и программных компьютерных средств. Построение гетерогенных компьютерных средств, доступных к использованию в большинстве учебных заведений и центров тестирования;
11. Предусмотрение во всех вновь разрабатываемых программных средствах компьютеризированного тестирования возможности использования современных информационных средств компьютерных телекоммуникаций;
12. Включение в компьютерные системы контроля уровня подготовленности учащихся модулей, предотвращающих или минимизирующих фальсификацию результатов педагогического контроля.
Средства автоматизации тестового контроля можно рассматривать как составляющие компоненты технологии педагогической диагностики, активно разрабатываемой с 80-х годов Е.А. Михайличевым, В.Е. Сайко и др. Одним из направлений разработки методов педагогической диагностики является развитие связей с математическими методами и новыми информационными технологиями.
Несмотря на достигнутые в этой области результаты, создание системы диагностирования по конкретному предмету является актуальной задачей. Развитие принципиально новой системы коммуникаций, основанной на компьютерных технологиях и телекоммуникациях, позволяет принципиально изменить существо подхода к синтезу системы тестирования по любому предмету обучения.
В числе программных средств, позволяющих автоматизировать контроль знаний учащихся находятся и компьютерные обучающие среды, основная цель которых – программная поддержка учебного процесса. Современные инструментальные среды для создания автоматизированных учебных курсов позволяют строить тесты с выборочными, числовыми, конструируемыми ответами. На практике в таких программных средствах чаще всего применяется выбор правильного ответа из списка (тесты с выборочными ответами).
Разработано несколько компьютерных систем тестирования, охватывающих все периоды освоения темы «Основы информатики и вычислительной техники». В их основу обычно кладутся идеи синтеза тестов на основе принципа безальтернативного выбора требуемого ответа из множества заданных. Последующее развитие этой идеи позволяет расширить возможности данной системы на основе использования альтернативных формулировок ответа при однозначной постановке вопроса. Указанный этап тестирования предполагает более глубокую по сравнению с первым степень овладения материалом.
Результаты компьютеризированного тестирования по информатике позволяют отразить не только уровень освоения требуемого материала, но и помогают получить информацию о формировании речевой культуры и уровне владения понятийным аппаратом данной дисциплины.
Исходя из описанных выше принципов и руководствуясь необходимыми критериями оценки знаний учащихся по информатике, проектируемая информационная система реализует следующие функции
· Учет текущих оценок.
· Обработка результатов тестов.
· Подсчет и выставление четвертной и годвой оценок.