Технология адаптивного компьютерного тестирования в профессиональной подготовке инженеров (стр. 4 из 6)
Созданный автором Универсальный тестовый комплекс (УТК) может быть использован в учебном процессе, как в вузе, так и в школе, отдельные его модули могут предоставляться обучающимся для домашнего использования (тренировочное тестирование). При этом не требуется знаний основ программирования от преподавателей, формирующих содержательную часть тестовой базы. Комплекс позволяет проводить тестирование: сетевое в локальных сетях и сети Internet с удаленным доступом, а также локальное. УТК выполняет следующие функции:
создание, хранение и редактирование гомогенных баз тестовых заданий по дисциплинам;
формирование из гомогенных гетерогенных баз тестовых заданий с возможностью редактирования и дополнения;
компоновка гомогенных и гетерогенных вариантов тестирования;
апробация тестовых заданий с выявлением уровня сложности для адаптивного тестирования;
задание алгоритмов адаптивности тестирования;
изменение алгоритма адаптивности в процессе тестирования;
обработка результатов тестирования, формирование ведомостей и сертификатов;
сбор и анализ статистической информации.
УТК служит оболочкой для создания и ведения баз тестовых заданий различных типов. Создание и хранение тестовых заданий подразумевает обработку исходного авторского материала и выполнение автоматизированной компоновки тестов. Ввод исходных данных (заданий) производится с помощью тестового редактора Microsoft Word, основные навыки работы с которым имеют многие пользователи. Кроме того существует возможность использования уже готовых электронных материалов в качестве заданий. Эта возможность избавляет пользователя от большого объема рутинной работы.
Тестовые базы хранятся в собственном формате программы, но их набор и первоначальное редактирование осуществляется стандартным редактором MSWord, знакомым большинству преподавателей.
Отличительной особенностью данной системы является то, что в ней предусмотрены различные виды тестовых вопросов. Это позволяет создавать комплексные тесты любого уровня сложности. Комплекс состоит из создателя баз тестовых заданий, генератора вариантов тестирования, программы мониторинга и управления тестированием, программы обработки бланочного тестирования и программы сетевого или локального тестирования. Создатель баз служит для экспортирования баз тестовых заданий из редактора MSWord в собственный формат программы, упорядочивания тестов по их спецификации. Генератор вариантов тестирования служит для генерации тестовых материалов (вариантов) по заранее созданным правилам. Тестовые варианты могут быть использованы при проведении бланочного и компьютерного тестирования. В системе предусмотрена формальная обработка ответа (сравнение ответа с образцом) и сохранение результатов тестирования.
В третьей главе диссертации «Качественная и количественная оценка эффективности использования технологии адаптивного компьютерного тестирования» раскрывается экспериментальное обоснование исследуемой проблемы в ходе констатирующего, организационно-педагогического и формирующего этапов эксперимента. Показаны организация и представлены результаты опытно-экспериментальной проверки технологии адаптивного компьютерного тестирования как средства эффективного управления качеством обучения
Основная задача констатирующего эксперимента состояла в изучении состояния проблемы реализации технологии адаптивного компьюерного тестирования в практике руководства Технологическим университетом. Заключительный этап эксперимента проходил в период с 2004г по 2006г. Экспериментальным исследованием было охвачено более 7000 студентов и 200 сотрудников КубГТУ.
В Центре тестирования КубГТУ действует следующая схема контроля качества знаний студентов (Рис.2).
Рис.2 Схема контроля качества знаний
Содержание блоков структурной схемы контроля качества знаний студентов КубГТУ приведено в таблице 1
Достоинством данной системы тестирования является возможность отследить изменение статистических данных результатов во времени. Это позволяет проанализировать успеваемость в различных "срезах" (по числу тестируемых, по предметам, семестрам, курсам и т.д.) В системе предполагается сбор и анализ статистической информации для обеспечения "обратной связи", без которой невозможно грамотное тестирование и проведение мониторинга. Для проведения исследований применяется аппарат современной математической статистики. Также предусматривается просмотр результатов в различных "срезах", необходимых для детального анализа и мониторинга.
Статистическая обработка, принятая центром тестирования МО РФ подразумевает построение отчетов:
Гистограммы распределения результатов педагогических измерений (рис. 3).
Карты коэффициентов решаемости заданий (рис.4) . показывает, процент верных ответов на каждый вопрос внутри группы.
Карты коэффициентов освоения дидактических единиц (ДЕ) (рис.5). ДЕ считается освоенной студентом, если процент верных ответов внутри её не менее 50. Группа успешно справилась с тестированием, если более 50 процентов студентов освоило все ДЕ
Графика освоения дисциплины на основе выполнения совокупности ДЕ (рис.6) в сравнении с модельной кривой, использующей результаты других вузов.
| Таблица 1 | ||||
| Блок № | Содержание блока | Вид | Ответственный | Примечание |
| 1 | 2 | 3 | 4 | 5 |
| 1. Содержание образования | Лекционный материал | Бумажные и электронные носители | Методисты образовательных кафедр | Согласно учебному плану специальности |
| Содержание практических и лабораторных занятий | Бумажные и электронные носители | Методисты образовательных кафедр | Согласно учебному плану специальности | |
| Методическая документация | Бумажные и электронные носители | Методисты образовательных кафедр | Согласно учебному плану специальности | |
| Спецификация тестовых заданий | Спецификация, инструкция по созданию | Методист центра тестирования КубГТУ | Утверждается Зав каф, директором ЦТ КубГТУ | |
| 2. Технология создания баз тестовых заданий | Средство создания БЗ | Программный модуль | Методисты образовательных кафедр | Разработка автора |
| База тестовых заданий по контролю, оценке и мониторингу качества обучения | База данных ЦТ КубГТУ | Администратор ЦТ КубГТУ, методист ЦТ КубГТУ, Методисты образовательных кафедр | Разработка автора | |
| Средство редактирования БЗ | Программный модуль | Администратор ЦТ КубГТУ, методист ЦТ КубГТУ | Разработка автора | |
| 3. База нормативных документов | Нормативные документы | Бумажные и электронные носители | Директор ЦТ КубГТУ | - |
| Учебные планы | Бумажные и электронные носители | Методисты образовательных кафедр | - | |
| База студентов и преподавателей | База КубГТУ | Администратор КубГТУ, администратор ЦТ КубГТУ | Разработка автора | |
| 4. Технология оценки знаний | Средство создания тестовых вариантов | Программный модуль, работающий с базой данных ЦТ КубГТУ, базой КубГТУ, с учетом спецификации и учебных планов | Администратор ЦТ КубГТУ | Разработка автора |
| Экспертная оценка тестовых материалов | Независимая экспертиза и апробация тестовых баз | Методист-тестолог | ||
| Средство проведения компьютерного тестирования | Программа сетевого тестирования. | Администратор ЦТ КубГТУ | Разработка автора | |
| Средство управления процессом компьютерного тестирования | Программа мониторинга процесса тестирования, обработки результатов и формирования ведомостей и сертификатов тестирования | Директор ЦТ КубГТУ, администратор ЦТ КубГТУ | Разработка автора | |
| Средство формирования вариантов бланочного тестирования | Программный модуль, работающий с базой данных, базой КубГТУ, с учетом спецификации и учебных планов | Администратор ЦТ КубГТУ | Разработка автора | |
| Средство обработки результатов бланочного тестирования | Средство перевода ответов тестирования в электронный вариант, обработки результатов и формирования ведомостей и сертификатов тестирования | Администратор ЦТ КубГТУ | Использование программного комплекса ABBYY Test Reader (технология ЕГЭ) | |
| 5. Архив результатов обучения учащихся групп и специальностей | База ЦТ КубГТУ | Директор ЦТ КубГТУ, администратор ЦТ КубГТУ | Разработка автора | |
| 6. Технология оценки качества результатов тестирования | Система выборок и запросов из базы ЦТ КубГТУ | Директор ЦТ КубГТУ, администратор ЦТ КубГТУ | Разработка автора | |
Приведем данные статистической обработки по одной из дисциплин специальности инженерного вуза:
Рис. 3. Гистограмма распределения результатов педагогических измерений. Дисциплина: Физика. Специальность-030500.19 «Профессиональное обучение (по отраслям)»
Рис. 4. Карта коэффициентов решаемости заданий Дисциплина: Физика. Специальность- 030500.19 «Профессиональное обучение (по отраслям)»
Рис. 5. Карта коэффициентов освоения ДЕ Дисциплина: Физика. Специальность-030500.19 «Профессиональное обучение (по отраслям)»