Оценка характеристик AutoTutor
Для того, чтобы оценить характеристики AutoTutorа как эффективного преподавателя и собеседника, мы провели три цикла оценок. Целью этих циклов было идентифицировать и исправить недочеты шагов диалога прежде, чем AutoTutor предстанет перед обучаемыми. Для подражания людям-студентам различного уровня способностей и многословности было создано несколько виртуальных студентов. Использование виртуальных (или синтетических) студентов для тестирования обучающих систем встречается довольно часто и поддерживается другими исследователями(Ur & Vanleh, 1995; VanLehn, Ohlsson & Nason, 1994). Эксперты по языку и педагогике оценивали педагогическую эффективность и разговорное соответствие шагов диалога AutoTutor во время занятий с виртуальными студентами. После каждого цикла оценок учебный план, нечеткие продукционные правила и пороговые параметры ЛСА пересматривались, чтобы улучшить характеристики AutoTutor.
Виртуальные студенты
Для оценки эффективности AutoTutor во время фазы разработки мы создали различные типы виртуальных студентов. Каждый из виртуальных студентов отличался по уровню способностей и/или стилю речи. Для создания виртуальных студентов 100 обычным студентам, записавшимся на курс компьютерной грамотности, было задано 36 вопросов по темам учебного плана. Затем эксперты оценили качество ответов студентов на каждый из 36 вопросов. Для каждой из 36 тем учебного плана были созданы следующие студенты:
Хороший многословный студент. Первые 5 реплик этого виртуального студента содержали 2 или 3 Утверждения, которые эксперты оценили как хорошие Утверждения из человеческих примеров. Студент рассматривался как многословный, поскольку студент имел 2 или 3 утверждения в течение одной реплики, что больше, чем среднее количество Утверждений на 1 реплику в человеческом преподавании.
Хороший краткий студент. Первые 5 реплик этого виртуального студента содержали 1 Утверждение, которое эксперты оценили как хорошее Утверждение.
Средний студент. Первые 5 реплик этого виртуального студента содержали Утверждение, которое эксперты оценили как среднее (ни хорошее, ни плохое).
Ошибающийся студент. Первые 5 реплик этого виртуального студент содержали утверждения, содержащее недопонимание или ошибки, согласно заключениям людей-экспертов.
Молчаливый студент. Первые 5 реплик этого виртуального студента имели семантические бедное содержание, такое, как «хорошо», «понятно» и «о».
Хороший разборчивый студент. Первые 5 реплик этого виртуального студента содержали одно утверждение, которое оценивалось как хорошее. Тем не менее, в отличие от двух других хороших виртуальных студентов, все Утверждения в первых 5 репликах по данной теме были представлены одним человеком-студентом.
Студент Монте-Карло. Первые 5 реплик этого виртуального студента были генерированы в стиле Монте-Карло для имитирования изменчивости качества студенческих Утверждений, которая обычно возникает во время занятия с обычными преподавателями. Т.е. были представлены все виды Утверждений (например, хорошее и среднее).
Для того, чтобы AutoTutor был эффективным преподавателем, он должен быть способен: (1) различать уровень способностей обучаемого и качество утверждения и (2) отвечать одним или комбинацией подходящих шагов диалога. Graesseratal. (в печати) сообщали, что параметры ЛСА чувствительны к уровню способностей обучаемого и качеству Утверждения. Целью трех циклов оценок было увидеть, сможет ли AutoTutor генерировать педагогически эффективные шаги диалога, учитывающие эти различия.
Эксперты и измерения качества
Для оценки качества диалогов AutoTutor по двум целостным параметрам: педагогическая эффективность (ПЭ) и разговорное соответствие (РС) было выбрано четыре эксперта, по двое на каждый параметр. Эксперты, оценивавшие ПЭ, были хорошо осведомлены о педагогических стратегиях, которые часто употреблялись обычными преподавателями. Для каждого шага диалога эксперты, оценивавшие ПЭ, рассматривали: (1) был ли диалог педагогически эффективным и (2) был ли диалог приемлемым для обычных преподавателей. Эксперты, оценивавшие РС, хорошо разбирались в разговорной речи. Они рассматривали различные факторы уместности разговора в их целостных оценках каждого диалога AutoTutor. Эти факторы включали нормы вежливости и Gricean maxims качества, количества, уместности и стиля (Brown & Levinson, 1987; Grice,1975,1978). Оба фактора оценивались по 6-бальной системе, где 1 балл соответствовал очень низкой, а 6-очень высокой оценке. Для каждой пары экспертов была сосчитана достоверность измерений, которая оказалась высокой в обоих случаях (Gronbach’альфа = 0,94 для ПЭ и 0,89 для РС)
Три цикла оценок
Цикл 1
Для пяти виртуальных студентов, описанных выше, хорошего многословного, хорошего краткого, среднего, молчаливого и ошибающегося было создано пять копий преподавателя. Студенты хороший разборчивый и Монте-Карло были созданы во втором цикле оценок. Учитывая, что это было первое взаимодействие AutoTutor с обучаемыми, мы не рассматривали Цикл 1 как полностью самостоятельную оценку преподавательского и разговорного мастерства AutoTutor. Каждая копия была довольно длинной (почти 25 стр.) и мы не были уверены, что наши знания обычных преподавателей были точно отражены в нечетких продукционных правилах. Таким образом, эксперты, оценивавшие ПЭ и РС, не были обязаны оценивать каждый диалог AutoTutor.
Две пары экспертов оценивали ПЭ и РС для третьей фразы AutoTutor в каждой из 36 тем учебного плана. Средние оценки педагогической эффективности для каждого виртуального студента приведены в таблице 1, а разговорного соответствия - в таблице 2. Результаты Цикла 1 указывают на 2 вещи. Во-первых, оценки характеристик AutoTutor были обратно пропорциональны независимости Утверждений виртуальных студентов. Т.е. AutoTutor лучше работал со студентами, которые мало говорили, а именно со Средним и Молчаливым. Во-вторых, общие характеристики AutoTutor могут сопротивляться значительным улучшениям.
После просмотра данных Цикла 1 в продукционных правилах шагов диалога и пороговых значениях параметров ЛСА было сделано несколько незначительных изменений. Тем не менее, мы не решились вводить существенные изменения в правила и параметры ЛСА, т.к. оценивался только один диалог в каждой теме. Кроме того, некоторые шаги диалога повторялись очень редко, а некоторые не встречались совсем (напр. отрицательная обратная связь). Мы решили не вводить серьезные изменения в AutoTutor, пока не соберем более показательные данные
Цикл 2
Для второго цикла оценок были созданы два новых виртуальных студента, Хороший Разборчивый и Монте-Карло. Эти студенты были созданы так, чтобы давать более типичные студенческие реплики, которые чаще встречались на занятиях обычных преподавателей. Хороший Разборчивый студент был создан для подражания хорошему студенту, который обеспечивает достаточно высокое качество реплик, которое сохраняется при смене темы разговора.
Разборчивый студент отличается от остальных хороших студентов (напр. хороший многословный и хороший краткий) тем, что его первые 5 Утверждений по данной теме обеспечиваются репликами нескольких студентов. Студент Монте-Карло был создан для отражения изменчивости качества студенческих Утверждений, которая часто имеет место на занятиях с обычными преподавателями. Для Студента Монте-Карло были генерированы все классы утверждений (напр. Хороший, плохой и нейтральный).
Второй цикл оценок отличался от Цикла 1 тем, что эксперты оценивали ПЭ и РС для каждого шага диалога AutoTutor (всего 605) с копиями студентов Хороший Разборчивый и Монте-Карло. Результаты цикла представлены в таблицах 1 и 2. Средние значения ПЭ (4,25) и РС (4,97) показывают, что характеристики AutoTutor значительно улучшилось, по сравнению с Циклом 1. Тем не менее, неясно, произошло ли это благодаря небольшим изменениям в продукционных правилах и параметрах ЛСА или это можно отнести за счет более показательных моделей шагов диалога.
После второго цикла оценок AutoTutor подвергся нескольким существенным изменениям. Во-первых, было исправлено содержание учебного плана. Вводные разделы для 36 тем были переписаны так, что реплики AutoTutor стали более короткими и разговорными. Кроме того, все шаги диалога AutoTutor были обозначены маркерами речи и переписаны так, чтобы звучать более разговорно. Во-вторых, были сделаны изменения в продукционных правилах. Было добавлено продукционное правило положительного стимулирования и отрегулированы значения ЛСА в других правилах. Например, при проверке средних оценок и частоты появления каждой категории шагов диалога, мы обратили внимание, что AutoTutor генерирует слишком много стимулирования и мало-отрицательную, нейтрально-отрицательную, нейтрально-положительную связь или коррекцию (даже когда это было педагогически выгодно). Мы установили значения ЛСА в конкретных продукционных правилах, надеясь, что мы сможем проследить изменения в следующем цикле оценок.
Цикл 3
В третьем цикле оценок были использованы все 7 виртуальных студентов. Две пары экспертов оценивали ПЭ и РС для каждого шага диалога AutoTutor (всего 2283) для 7 копий преподавателя. Результаты представлены в таблицах 1 и 2. Средние значения были не очень обнадеживающими, т.к. значения РС уменьшились, а значения ПС остались приблизительно равными. Тем не менее, результаты оказались много обещающими, когда были сосчитаны средние значения для разных виртуальных студентов. Например, AutoTutor показал существенное улучшение своих характеристик в цикле 3 по сравнению с циклом 1 при работе с хорошим многословным и хорошим кратким студентами. В большинстве остальных случаев улучшение было незначительным.