Таким образом, появляется возможность для данного испытуемого выбирать соответствующий его уровню набор тестовых заданий и испытуемые могут быть протестированы тестами составленными индивидуально для них. Для группы тестируемых создаются адаптивные тесты, имеющие разную длину и время выполнения для сильных, слабых и средних учащихся данной группы. Такой процесс требует компьютерной технологии создания, хранения тестов, проведения тестирования и обработки результатов тестирования. Для обработки результатов тестирования исходного и адаптивного тестов создана программа, позволяющая определить такие параметры как: надежность, погрешность измерения,, корреляция, определение значений информационной функции и др.
По сути, эта технология дает начало новой организации как тестового контроля знаний, так и учебного процесса в целом, на более высоком научном уровне. В классно-урочной форме обучения этот принцип не мог быть реализован в каких-нибудь заметных масштабах из-за отсутствия требуемых для этого программно - педагогических и программно - инструментальных средств. В условиях массового образования адаптивное обучение дает возможность эффективной практической реализации принципа индивидуализации обучения.
В качестве доказательств ценности полученных результатов исследования, подтверждающих выдвинутую гипотезу, состоящую в том, что применение адаптированных тестовых измерителей позволит повысить объективность в оценке индивидуального уровня обученности учащихся за счет снижения погрешности измерения в выборке учащихся, адаптивной предлагаемым трудностям тестовых заданий; можно привести следующие факты:
1) разработанный комплект тестовых заданий и рекомендованный кафедрой естественнонаучных дисциплин ИУУ УР для оценки усвоения знаний учащихся общеобразовательной школы по предмету “информатика”, применялся для текущего и итогового контроля знаний учащихся общеобразовательных учреждений;
2) применение адаптивных тестов для контроля знаний учащихся приводит к более точной оценки уровня знаний испытуемых с использованием меньшего количества тестовых заданий по сравнению с обычным тестированием за счет снижения погрешности измерения в выборке учащихся, адаптивной предлагаемым трудностям тестовых заданий;
3) эффективные тестовые измерители позволяют определить уровень обученности каждого испытуемого после изучения модуля курса и определить индивидуальную динамику развития учащегося по окончанию изучения всего курса;
4) в лицее, где с 1996 г. применяется адаптивное обучение, а позднее с 1998г. внедряется адаптивный тестовый контроль знаний учащихся, полученные результаты обученности учащихся характеризуются такими уровнями в когнитивной области как анализ, синтез, что обеспечивает прекрасный потенциал для их дальнейшего успешного развития в творческой эвристической оценочной деятельности (участие в олимпиадах, турнирах, научно-исследовательских конференциях и др.).
Под мониторингом в системе “учитель-ученик” мы понимаем совокупность контролирующих и диагностирующих мероприятий, обусловленных целеполаганием процесса обучения и предусматривающих в динамике уровни усвоения учащимися материала и его корректировку. Иначе говоря, мониторинг - это непрерывные контролирующие действия в системе “учитель-ученик”, позволяющие наблюдать (и корректировать по мере необходимости) продвижение ученика от незнания к знанию. Мониторинг - это регулярное отслеживание качества усвоения знаний и умений в учебном процессе.
Мониторинг отличается от обычной оценки знаний тем, что обеспечивает учителя оперативной обратной связью об уровне усвоения учащимися обязательного учебного материала. Система мониторинга включает в себя создание непосредственно инструментов контроля знаний и умений и корректирующую методику, ориентированную непосредственно на личность школьника с учетом его индивидуальных достижений в учебном процессе [18].
Основными компонентами процесса оценки качества образования являются[ сбор исходных данных и получение результирующей информации о состоянии системы образования. Ежегодный аналитический доклад «Качество образования в выявим учебном заведении» предполагает получение данных по более чем десяти направлениям. Для выполнения аналитических отчетов и мер по повышению качества образования необходимо проведение результирующих «интеллектуальных» обработок исходных данных Задача определения качественного уровня вуза (его рейтинга) является одним из основных направлений таких обработок.
В информационной системе мониторинга качества образования (ИСМО), создаваемой в Брянском государственном техническом университете, разрабатывается информационная технология рейтинговых исследований качества образования на основе применения нейронных сетей. Программный комплекс нейрокомпьютерной обработки применяется в качестве одного из модулей финишной обработки информации. Выходная информация работа! такого модуля - вычисленные «рейтинги качества» для каждого вуза.
Исследования проводятся по следующим основным направлениям:
классификация - определение принадлежности каждого вуза к конкретной группе качества.
На первом этапе выявляются основные тенденции в образовании, такие, как уровень разрыва в качестве образования, плотность распределения объектов мониторинга по группам качества. При этом возможны следующие варианты реализации первого этапа:
· глобальная кластеризация — предполагает наличие в исходной выборке данных по отечественным и зарубежным вузам;
· федеральная кластеризация - наличие в выборке данных по вузам из подчинения Министерства образования Российской Федерации;
· отраслевая кластеризация - выборка состоит из данных по однотипным вузам (техническим, педагогическим, медицинским, и т. д.);
· региональная кластеризация - выборка по вузам определенного региона.
Для адекватности кластерных исследований периодичность их проведения должна быть достаточно большой.
На этапе классификации исходные данные но каждому вузу подаются на входы обученной нейронной сети, после чего определяется «рейтинг качества» данного вуза. Многие параметры, по которым происходит опенка качества образования, подвержены динамическим изменениям. Поэтому определение рейтинга качества образования в информационной системе будет выполняться ежеквартально.
Ряд последовательных операций на каждом этапе определяет облик соответствующей информационной технологии. Информационная технология этапа кластерных исследований определяется следующими операциями:
· получение исходных данных для проведения исследований с сервера информационной системы (отдельно для каждого этапа реализация);
· проведение кластерных исследований посредством самоорганизующейся карты Кохонена;
· идентификация «групп качества образования», на которые было разбито исходное множество учебных заведений;
· присвоение «рейтингов качества» каждой «группе качества».
Завершающая операция на данном этапе может дать заключение о глобальных тенденциях в качестве образования и являться основанием для проведения мероприятий организационно-управленческого плана. Такой тенденцией может быть, например, резкое увеличение количества объектов в группах с низким рейтингом качества
В ИСМО в основу технологии классификации положено использование многослойной нейронной сети, обучаемой по методу обратного распространения ошибки. В данном случае технологический облик этапа определяется особенностями процесса обучения нейронной сети и состоит из следующих операций:
· формирование исходной выборки для обучения нейронной сети, в которой на входы нейронной сети подаются параметры качества образования, а на выходы-рейтинги качества;
· подача на входы сети нового примера, соответствующего вузу, рейтинг которого определяется;
· выполнение предыдущей процедуры для всех вузов, включенных в систему мониторинга.
Выполнение первого этапа, на котором генерируются примеры для обучения нейронной сети, может основываться на методе экспертных оценок. Функционирование информационной системы происходит в полуавтоматическом режиме. На персонал информационной системы возлагается обязанность пополнения базы данных параметров оценки качества образования.
Текущая обработка по этапу классификации может изменять рейтинг качества конкретного вуза, но не меняет картину качества в целом. Этим определяется небольшой период проведения итоговых обработок по этому этапу. Итоговые обработки; проводимые в рамках кластерных исследований, способны изменить общую картину качества [25].
В результате трехлетней работы были разработаны некоторые методы автоматизированного контроля совместно с преподавателями кафедры «СУ и ВТ» Калининградского Технического Университета, созданы реализации теоретических выкладок, о которых хотелось бы рассказать в этой работе.
Автоматизированная система контроля знаний, созданная как результат выпускной квалификационной работы и дипломного проектирования в подсистеме «Создание теста» предлагает преподавателю использовать цепочную систему вопросов, когда несколько вопросов объединяются в фиксированную последовательность (цепочку) по некоторому смысловому признаку, определяемому преподавателем, а каждому вопросу в цепочке присваивается некоторый коэффициент важности данного вопроса в данной цепочке. Этот коэффициент изменяется от 0 и сумма коэффициентов вопросов в цепочке принимается равной 1. Смысл коэффициента раскрывается при обработке результатов тестирования: оценка за ответы на вопросы, объединенные в цепочку, выставляется в зависимости от важности вопросов, на которые были даны правильные ответы . Цепочка может содержать неограниченное число вопросов, объединенных по семантическому признаку внутри выбранной темы тестирования. Вырожденным случаем цепочной структуры является наличие в цепочке всего лишь одного вопроса. В этом случае коэффициент его важности, очевидно, устанавливается равным единице.