Анализ тестовых заданий при использовании системы Moodle (стр. 1 из 3)

Анализ тестовых заданий при использовании системы Moodle

Широкое использование электронных систем управления обучением не в последнюю очередь обусловлено наличием в них средств, позволяющих сделать более технологичной важнейшую составляющую процесса обучения, связанную с оценкой уровня освоения учащимися изучаемого учебного материала. Речь идет об использовании автоматизированных тестовых систем в качестве средства измерения уровня подготовки учащихся.

Для этих целей в системе Moodle, как и в других современных системах аналогичного назначения, имеется подсистема, позволяющая формировать банки тестовых заданий всех основных форм – «в закрытой форме», «вычисляемые», «короткий ответ», «числовые», «на соответствие», «вложенные ответы», и строить из них тесты, предназначенные для самоконтроля и тренинга, тематические тесты, тесты для текущей и итоговой оценок уровня обучаемых и др.

Для преподавателя, использующего такого рода средства при преподавании своих учебных курсов, большая доля его труда состоит в создании банка тестовых заданий, обеспечивающего решение задачи оценки успешности освоения обучаемыми представляемого им учебного материала. При этом неизбежно возникает вопрос о качестве разработанных и используемых тестовых заданий с точки зрения их способности адекватно решать задачу измерения уровня подготовки испытуемых, правильно дифференцировать их в соответствии с действительным уровнем их подготовки. Дело в том, что тестовые задания, удовлетворяющие формальным требованиям, например, правильность формы, логическая точность и непротиворечивость высказываний и др., на практике могут не обладать качествами, позволяющими рассматривать их как полноценное средство измерения уровня подготовки испытуемых.

Вообще говоря, вопрос о способности конкретных контрольно-измерительных материалов в действительности служить средством измерения уровня подготовки обучаемых имеет место при использовании любой системы оценивания, в том числе и при использовании традиционных экзаменационных испытаний в устной или письменной форме. Но именно при использовании автоматизированных тестовых систем возникает возможность реального применения для оценки качества используемых контрольно-измерительных материалов формализованных подходов, основанных на методологии теории педагогических измерений. Становятся возможными накопление и статистическая обработка результатов испытаний и получение количественных характеристик, позволяющих оценивать качество тестовых контрольно-измерительных материалов.

Один из известных подходов для такого анализа базируется на известной в теории педагогических измерений однопараметрической модели Раша. Практическое использование предлагаемых этой теорией подходов облегчается тем, что в системе управления обучением Moodle имеются развитые встроенные средства для автоматизации вычисления по результатам выполнения тестовых заданий статистических показателей, позволяющих осуществлять объективную оценку качества тестовых заданий с точки зрения их способности служить средством измерения уровня подготовки испытуемых.

Для осуществления Moodle такой обработки результатов тестирования необходимо на вкладке просмотра результатов тестирования (рис. 1) перейти к пункту Анализ вопросов.

Обработка результатов испытаний, необходимая для получения характеристик качества тестовых заданий, состоит в следующем.

В соответствии с педагогической теорией измерений полученные испытуемыми результаты испытаний представляются в виде матрицы следующего вида (рис. 2).

Рис. 1. Скриншот системы Moodle со списком испытуемых, прошедших тестирование, и полученных ими результатов

Рис. 2. Матрица результатов тестовых заданий

В столбцах этой матрицы находятся результаты, полученные конкретными испытуемыми по каждому тестовому заданию, а по строкам размещаются результаты каждого испытуемого по соответствующему тестовому заданию. В нижней строке представлены суммарные значения баллов, набранных каждым испытуемым за тест в целом (S_i = ∑x_i j). Эти значения используются для формирования оценки уровня подготовки испытуемых по проверяемому данным тестом учебному материалу. В правом столбце приведены суммы баллов, полученных всеми испытуемыми для каждого тестового задания (для j-го задания – P_j = ∑x_{i j}). По величине значений P_j уже можно судить о степени реальной легкости (трудности) конкретных тестовых заданий для испытуемых в данной группе – чем больше испытуемых правильно ответило на конкретное задание, тем это задание в среднем легче для выполнения. Для практического использования, однако, в качестве меры легкости (трудности) заданий более пригодны относительные значения такого рода показателей. Это индекс легкости задания (ИЛ) и индекс трудности задания (ИТ):

где x_ср – среднее значение баллов, набранных всеми испытуемыми за выполнение j-го задания; x_макс j  – максимально возможное количество баллов за выполнение j-го задания.

Эта характеристики (ИЛ и ИТ) тестовых заданий являются мерой легкости (трудности) заданий для конкретной группы испытуемых. Значения этих параметров зависят от уровня подготовки испытуемых и не зависят от их числа. Одно из положений педагогической теории измерений состоит в том, что в тесте не должно быть заданий неизвестной трудности. Важность получения количественных характеристик легкости (трудности) предлагаемых испытуемым заданий состоит в том, что для того, чтобы эти задания обладали способностью дифференцировать испытуемых по уровню их подготовки, то есть служить средством измерения этого уровня, их сложность должна соответствовать среднему уровню подготовки испытуемых в группе. Тест в целом должен включать в себя комплекс заданий различной сложности – от достаточно простых до трудных, однако очевидно, что слишком простые задания, на которые правильно отвечают все до одного испытуемых, и слишком сложные задания, на которые не может ответить никто из испытуемых, не обладают способностью дифференцировать их по уровню подготовки и в этом смысле они не являются настоящими тестовыми заданиями. Такие задания должны «отбраковываться» и исключаться из теста.

Располагая упорядоченные значения индекса легкости (трудности) заданий теста, как это представлено на рисунке 3, можно оценить степень соответствия составляющих тест заданий среднему уровню подготовки испытываемой группы.

Рис. 3. Значения индекса легкости заданий для тестируемой группы

Представленные данные свидетельствуют о том, что используемая в примере база тестовых заданий достаточно равномерно представляет вопросы различного уровня сложности, при этом очень легких – «очевидных для всех» и очень сложных – «никем не решаемых» (то есть нетестовых заданий) практически нет, что говорит о соответствии комплекса заданий этого теста среднему уровню подготовки испытуемой группы.

Другой характеристикой, которую позволяют вычислять встроенные в систему Moodle средства анализа результатов тестовых заданий, является дисперсия

этих результатов (или их среднеквадратичное отклонение ). Дисперсия результатов выполнения тестовых заданий вычисляется по формуле:

обучение электронный тестовый задание

Дисперсия результатов

(или среднеквадратичное отклонение ) характеризует разброс баллов, полученных всеми N испытуемыми при ответе на конкретное (j-е) задание теста. Если все испытуемые отвечают на задание одинаково, то характеризуемый этим параметром разброс полученных испытуемыми баллов будет равен нулю. Нулевое или низкое значение разброса получаемых при выполнении конкретных тестовых заданий результатов в группе испытуемых свидетельствует о низкой дифференцирующей способности этих заданий, то есть их слабой способности разделять испытуемых в группе по степени их подготовки. Такие задания подлежат исключению из теста. Чем выше дифференцирующая способность тестовых заданий (больше величина разброса результатов), входящих в тест, тем выше качество теста.

На рисунке 4 приведен пример графика упорядоченных значений среднеквадратичного отклонения

результатов тестирования, нормированное на максимально возможное количество баллов x_макс j, то есть _j/x_{макс j}, которое можно получить за выполнение j-го задания.

Рис. 4. Среднеквадратичное отклонение результатов выполнения заданий

Как видно из рисунка 4, для большинства использованных в примере тестовых заданий среднеквадратичное отклонение имеет значение больше 0,3, что в соответствии с требованиями педагогической теории измерений является хорошим показателем дифференцирующей способности тестовых заданий. Задания же, для которых это значение меньше 0,3, такой способностью не обладают, и поэтому они должны исключаться из теста.