Модели и методы адаптивного контроля знаний (стр. 3 из 4)
Методы оценки знаний можно разделить на два основных класса (рис. 5):
математические методы;
классификационные методы.
К математическим моделям оценки знаний относятся:
Простейшая модель. Данная модель является самой простой и самой распространенной. Ответ студента на каждое задание оценивается по двухбалльной (правильно или неправильно) или многобалльной (например, пятибалльной) шкале. Оценка выставляется путем вычисления значенияR:
где Ri - правильный ответ обучаемого на i -е задание; k – количество правильных ответов из n предложенных (k
n), которое затем обычно округляется по правилам математики. К достоинствам данной модели следует отнести простоту ее реализации. Недостатком модели является ее зависимость от единственного параметра (количества правильных ответов), т.е. она не учитывает не полностью точные ответы и характеристики заданий. Простейшая модель имеет самую низкую надежность, т.к. не позволяет объективно оценить знания студента. 
Рис. 5. Модели и методы оценки знаний.
Модели, учитывающие параметры заданий. В этих моделях при выставлении оценки используются характеристики контрольных вопросов. Существуют различные модификации данного типа моделей.
Модель, учитывающая время выполнения задания и/или общее время контрольной работы. Для правильных ответов рассчитывается значение Ri по формуле:
,где t – время выполнения задания; tmax – время, отведенное для выполнения задания.
Далее итоговая оценка вычисляется аналогично “Простейшей модели”.
Модель на основе уровней усвоения. В этой модели характеристикой задания является уровень усвоения, для проверки которого оно предназначено. Таким образом, задания разделяются на пять групп, соответствующих уровням усвоения: понимание, опознание, воспроизведение, применение, творческая деятельность [Соловов, 1995]. Для каждого задания определяется набор существенных операций. Под существенными понимают те операции, которые выполняются на проверяемом уровне. Операции, принадлежащие к более низким уровням, в число существенных не входят. Для выставления оценки используется коэффициент Кa:
где Р1 - количество правильно выполненных существенных операций в процессе контроля;
Р2 - общее количество существенных операций в контрольной работе;
a = 0, 1, 2, 3, 4 – соответствуют уровням усвоения.
Оценка выставляется на основе заданных граничных значений по соотношениям:
| Кa< 0.7 | – неудовлетворительно; |
| 0.7 Кa < 0.8 | – удовлетворительно; |
| 0.8 Кa < 0.9 | – хорошо; |
Кa  0.9 | – отлично. |
Данная модель используется в системе КАДИС [Соловов, 2002].
Метод линейно - кусочной аппроксимации [Зайцева, 1989; Зайцева, 1991]. Алгоритм оценивания основан на классификации заданий (вопросов) по их дидактическим характеристикам (значимость (z), трудность (d), спецификация (s)). Число баллов, полученных студентом за выполнение n заданий, определяется по формуле:
,где xi – оценка за выполнение i–го задания;
n – число заданий;
W = {w1,w2,…,w36} – вектор весовых коэффициентов заданий, зависящий от их дидактических характеристик.
По завершению контроля определяется средний балл А, полученный студентом за выполнение n заданий (A = y / kn, где kn – количество попыток выполнения n заданий, kn
n ) и уточненный средний балл A': 
где r – ранг обучаемого (1, 2, или 3);
kn – количество попыток выполнения n заданий;
kc – количество обращений к справочной информации;
kb – количество заданий, выполненных с превышением отведенного времени (kb
n);a1, a2, a3, a4 - коэффициенты.
Далее оценка выставляется по формуле (1). Аналогичным образом определяется и уровень усвоения (ранг) студента. Преимущество данной модели: использование как четырех дидактических характеристик заданий, так и уровня подготовленности (ранга) из модели студента, что позволяет повысить надежность результатов контроля. Модель в качестве основной использовалась в семействе АОС, разработанных в РТУ.
Модели на основе вероятностных критериев. Главным в данных математических моделях контроля знаний являются утверждения о зависимости вероятности правильного ответа студента от уровня его подготовленности и от параметров задания [Rasch, 1977; Lord, 1980; Аванесов, 1998]. Суть этих моделей состоит в том, что на основе известных априорных вероятностей рассчитываются апостериорные вероятности Р (Hi) гипотезыHi, что студент заслуживает оценку i. При вычислении вероятности Р(Hi) учитываются: сложность и время выполнения заданий; число предложенных обучаемому заданий; число неправильно выполненных заданий и др. Рассчитанные вероятности анализируются и/или сравниваются с граничными значениями, учитывая риски недооценки и переоценки выставления оценки i. Если полученные результаты однозначно позволяют выставить оценку, то контроль, как правило, завершается. В противном случае студенту выдается очередное задание. Модель данного типа использовалась в АОС ВУЗ [Волков, 1984], различные модификации модели успешно применяются и в настоящее время [Попов, 2000; Моисеев, 2001].
Основная идея классификационных моделей заключается в отнесении студента к одному из устойчивых классов с учетом совокупности признаков, определяющих данного студента. При этом используется специальная процедура вычисления степени похожести (оценки) распознаваемой строки (совокупности признаков обучаемого) на строки, принадлежность которых к классам заранее известна.
Алгоритм, основанный на вычислении оценок (АВО) был впервые предложен Ю.И. Журавлевым [Журавлев, 1978] и позднее использовался для классификации обучаемых по уровням полготовленности [Зайцева, 1989] и для оценки знаний в качестве дополнительного метода в обучающих системах РТУ [Зайцева, 1989а[. Данная модель предусматривает построение таблицы обучения Тоnm, в которой каждая строка представляет собой набор признаков обучаемого характеризующих работу студента в процессе КЗ: количество предложенных заданий (n), средний балл (A), количество попыток выполнения заданий (kn), количество обращений к справочной информации (kc), ранг (r). При выставлении оценки вычисляется степень похожести совокупности признаков конкретного студента I(S) = {
1, 2, …, m} на строки, входящие в таблицу обучения Тоnm, на основании чего осуществляется отнесение его к определенному классу Kj. Для этого вычисляется число строк каждого класса Kj, близких по выбранному критерию классифицируемому объекту S. Строка таблицы обучения Тоnm I(Sji) = {a ji1, …, ajim} и распознаваемая строка I (S) = { 1, 2, …, m} считаются похожими, если выполняются неравенства |ajik – k| 
, где (k =1, …, m) - точность сравнения. Студент относится к классу Kj, имеющему максимальную оценку max Гj (S, Kj), j = 1, …, m. Данная модель в настоящее время применяется в системе [КИОС, 1992] с единственным отличием: вместо одной таблицы обучения, содержащей данные для различных классов, в КИОС используются четыре таблицы обучения для классов “отлично”, “хорошо”, “удовлетворительно” и “неудовлетворительно”, названные эталонными таблицами оценивания.Таким образом, для оценивания знаний студентов применяются разные модели и алгоритмы, начиная с самых простых, учитывающих лишь процент правильно выполненых заданий при двухбалльной системе оценки отдельного вопроса, и заканчивая сложными составными, в которых используются всевозможные параметры контроля и многобалльная система оценки как отдельных заданий, так и работы в целом [Прокофьева, 2001; Прокофьева, 2002]. В таблице 2 приведены рассмотренные выше модели и методы оценки знаний и используемые параметры. Все методы оценивания предусматривают в процессе КЗ сбор данных о ходе контроля (в таблице 2 эти параметры подчеркнуты, остальные определяются на этапе обучения и могут быть изменены преподавателем перед началом КЗ). Метод линейно - кусочной аппроксимации и модели на основе вероятностных критериев предполагают также вычисление некоторых функций, которые обычно используются для определения дальнейшего хода контроля.