Модели и методы адаптивного контроля знаний (стр. 2 из 4)
Контроль на основе ответов студента. В этом методе контроль осуществляется по заранее составленному сценарию или, другими словами, по разветвленной контролирующей программе. Пример такого сценария приведен на рис. 3, где вершины графа Вi соответствуют вопросам, предлагаемым студенту, а дуги указывают следующий выдаваемый вопрос в зависимости от правильности ответа: Пр – правильный ответ, Нт – неточный, Нп – неправильный ответ. Предварительная подготовка сценария КЗ дает возможность включить в программу вопросы разной степени трудности и значимости, расположив наиболее значимые и трудные задания в основной ветви программы (на рис. 3 это вопросы В1 и В6), а более простые – в разветвлениях. Таким образом, студенты получают разное число вопросов, а, следовательно, и время, затрачиваемое ими на контроль, различно, что является достоинством данного метода. Другое преимущество метода – простота обеспечения обратной связи (выдачи соответствующего комментария). Такой подход, как один из методов проведения КЗ, был использован в АОС “КОНТАКТ” [Зайцева, 1982], в настоящее время встречается значительно реже, т.к. имеет существенный недостаток: всем студентам предлагаются одни и те же задания, однажды включенные в контролирующую программу. Устранить этот недостаток довольно просто – достаточно отделить сценарий КЗ от набора контрольных заданий. Для этого необходимо подготовить комплект однотипных вопросов для каждого Вi, включенного в сценарий контроля, т.е. Вi = {вi1, вi2, …, вiк}, а в процессе контроля случайным образом генерировать студенту вопрос из комплекта Вi.
Ответы студента, как параметр проведения КЗ, используются и в другом методе, который основан на байесовском подходе к принятию решений в условиях неопределенности. Метод предусматривает вычисление вероятностей для оценки знаний студента. Если рассчитанные вероятности не позволяют однозначно оценить проверяемые знания, то студенту предлагается еще один вопрос. В противном случае контроль продолжается, причем минимальное число вопросов n задается заранее. Данный метод был использован в АОС ВУЗ [Волков, 1984], применяется и в современных системах [Galeev, 2002].
Рис. 3. Пример сценария контроля.
Контроль на основе модели учебного материала (УМ). В данном методе формирование набора заданий для КЗ происходит на основе модели учебного материала (курса, темы, раздела темы), которая представляет собой ориентированный граф: множество вершин графа соответствует объектам изучения, а множество ребер – связям между ними. Изучение УМ, равно как и организация контроля, осуществляется в соответствии с оптимальной последовательностью изложения учебного материала, которая обычно есть ничто иное, как линейная последовательность объектов изучения. Таким образом, сначала генерируется задание для проверки знаний первого учебного объекта, затем – второго и т.д., т.е. последовательность выдачи заданий аналогична последовательности изучения учебного материала по модели УМ. При этом, если планируется проверить и знания, и умения, то одному учебному объекту могут соответствовать несколько вопросов. Такой подход используется в системе ”Эксперт-ТС” [Андреев, 2002], в которой модель УМ представлена в виде семантической сети. Возможна модификация данного метода, предусматривающая генерацию контрольных заданий с учетом уровня подготовленности студента [Pesin, 2003].
Модульно-рейтинговый метод. Этот метод во многом аналогичен предыдущему. Учебный материал разделяется на отдельные составляющие – модули, для каждого из которых заранее подготавливается комплект контрольных заданий. В процессе КЗ студенту сначала предлагается вопрос из первого модуля. При этом после каждого ответа студента вычисляется его рейтинг. Переход к вопросам следующего модуля осуществляется при достижении определенного, заранее установленного рейтинга, причем студент с целью повышения своего рейтинга, а, следовательно, и оценки, может продолжить выполнение заданий текущего модуля и лишь затем перейти к следующему. Данный метод ранее использовался в АСО ЭКСТЕРН [Пасхин, 1985], применяется и в настоящее время [Касимов, 1994; Гладковский, 1997; Артемов, 1999].
Методы данной группы, так или иначе, связаны со структурой учебного материала, а также учитывают уровень подготовленности студентов, т.е. налицо признаки адаптации.
Адаптивные методы максимально используют информацию из моделей студента и/или учебного материала. К ним относятся:
Контроль по модели студента. В этом методе учитываются многие параметры модели студента, а именно:
lуровень подготовленности влияет на трудность предлагаемых заданий;
вид репрезентативной системы обусловливает форму представления заданий (текст, визуальное изображение, использование звука);
направленность личности влияет на формулировку текста выдаваемого задания;
уровень беспокойства-тревоги определяет как наличие обратной связи, так и форму, и детальность комментариев;
особенности памяти являются условием для определения времени выполнения задания и контрольной работы в целом;
ответ студента, точнее, правильность ответа влияет на выбор следующего контрольного задания.
Сценарий контроля обычно формируется динамически в процессе КЗ, хотя набор сценариев для различных групп студентов может быть создан и заранее аналогично методу “Контроль по ответам студента”.
Контроль по моделям студента и учебного материала. Данный метод является развитием предыдущего, т.е. при формировании контрольных заданий используются приведенные ранее параметры модели студента, но процесс КЗ строится на базе модели учебного материала, учитывая взаимосвязи между проверяемыми понятиями.
Таким образом, существует большое количество методов организации компьютерного контроля знаний, часть из которых в той или иной мере можно считать адаптивными. В таблице 1 приведены основные характеристики методов проведения контроля.
Таблица 1. Методы проведения контроля и используемые модели.
| Метод проведения контроля | Тип метода | Время формирования заданий | Используемые модели и параметры | |
| 1 | Строгая последовательность | Неадаптивный | До контроля | нет |
| 2 | Случайная выборка | Неадаптивный | Непосредственно перед контролем | нет |
| 3 | Комбинированный метод | Неадаптивный | Непосредственно перед контролем | нет |
| 4 | Случайная выборка с учетом отдельных параметров модели студента | Частично адаптивный | Непосредственно перед контролем | Модель студента: уровень подготовленности |
| 5 | Контроль на основе ответов студента | Частично адаптивный | До контроля (и в процессе контроля) | Модель студента: текущие ответы |
| 6 | Контроль на основе модели учебного материала | Частично адаптивный | В процессе контроля | Модели УМ, МС: уровень подготовленности |
| 7 | Модульно-рейтинговый метод | Частично адаптивный | В процессе контроля | Модель студента: рейтинг студента |
| 8 | Контроль по модели студента | Адаптивный | В процессе контроля | Модель студента |
| 9 | Контроль по моделям студента и учебного материала | Адаптивный | В процессе контроля | Модель студента, модель УМ |
Модели и методы оценки знаний
Определение и оценка знаний представляет собой задачу распознавания, основанную на обучении. Решение проблемы оценивания состоит из трех этапов (рис. 4):
определение параметров контроля (обучение), выполняемое до начала КЗ;
сбор, анализ и/или преобразование данных, получаемых в процессе контроля (распознавание);
выставление оценки за контрольную работу по завершении контроля (распознавание).
Рис. 4. Модель оценивания знаний при контроле.
На первом этапе по результатам контрольного эксперимента определяются метаданные заданий (трудность, значимость и т.д.) и устанавливаются параметры КЗ (число вопросов, время на ответ и др.). Метаданные и параметры помещаются в репозиторий системы и используются на последующих этапах. На втором этапе при выполнении студентом контрольных заданий осуществляется сбор, анализ и, возможно, предварительная обработка полученных данных. На последнем этапе выставляется общая оценка за работу. В большинстве методов оценивания предусматривается вычисление некоторой величины, которая затем сравнивается с предварительно заданными граничными значениями. То есть оценка определяется по формуле:
(1)
где I – оценка за контрольную работу; {c1, c2, …, cм} – вектор граничных значений; M – максимальная возможная оценка (например, при пятибалльной шкале M = 5).
Методы оценивания в основном используются на втором и третьем этапе, хотя существует ряд методов, которые применяются для выставления оценки только на последнем этапе.