Модели анализа тестирования в образовательном процессе (стр. 1 из 2)

О. М. Полещук, К. К. Рыбников

Последние пять лет Центр тестирования проводит тестирование выпускников с целью совершенствования приема в вузы и создания равных условий при оценке качества знаний для всех испытуемых [1]. Эти мероприятия являются частью российской образовательной реформы и направлены на получение объективной и независимой информации об уровне знаний абитуриентов. В связи с особой ролью проводимых мероприятий и ростом год от года охваченной этими мероприятиями аудитории, особенно актуальна задача перевода набранных тестируемыми баллов в привычные оценки "2", "3", "4", "5" или "неудовлетворительно", "удовлетворительно", "хорошо", "отлично". В настоящей работе не будут рассматриваться недостатки использования вышеперечисленных баллов или соответствующих им уровней для оценки знаний обучающихся. Отметим только, что многие учебные заведения для внутреннего контроля давно используют свои, более чувствительные шкалы.

Методы, применяемые для перевода набранных тестируемыми баллов в привычные оценки, как правило [2-5], опираются на аппарат теории вероятностей и математической статистики, хотя природа неопределенности, возникающей при оценке знаний, является лингвистической [6], а не случайной (в смысле физической случайности). Вероятностная мера, применяемая для измерения неопределенности типа физической случайности, является аддитивной нечеткой мерой [7], в то время как [8-10] реальное поведение человека противоречит предположению об аддитивности мер, которые он использует при оценке каких-либо событий. В психологии до сих пор используются стохастические модели обучаемости, хотя ряд авторов экспериментально показал [8,9], что способность обучаться в вероятностной обстановке не свойственна человеку. В то же время [7] одной из замечательных способностей человека является его способность обучаться в нечеткой обстановке. В соответствии с этим методы, применяемые для анализа моделей тестирования, должны опираться на теорию нечетких множеств, которая занимается изучением и измерением неопределенности лингвистической природы. Отказ от методов, опирающихся на аддитивную вероятностную меру, актуален не только для моделирования образовательного процесса. Он также актуален для моделирования областей, в которых приходится учитывать действия лица, принимающего решения, или следствия его суждения.

Постановка задачи. На основе аппарата теории нечетких множеств построить модель, позволяющую переводить результаты тестирования, выраженные в баллах, в привычные оценки "2", "3", "4", "5" или "неудовлетворительно", "удовлетворительно", "хорошо", "отлично".

Решение. Необходимым этапом решения этой задачи является этап отбора квалифицированных преподавателей, предъявляющих статистически похожие (в смысле нечёткой кластеризации) требования к оценке знаний по материалу, в рамках которого был составлен тест. Новым в решении поставленной задачи является не сам этап (например, в [2] этот отбор осуществляется по

- критерию), а метод решения. Мы предлагаем подойти к решению этого вопроса с позиции теории нечетких множеств. Фазифицируем оценки, которые были выставлены каждым преподавателем в процессе приема экзаменов по программному материалу теста (в предыдущем тестированию периоде). Процедура фазификации изложена в работе [11], функции принадлежности нечетких на [0,1] множеств имеют трапецеидальный или треугольный вид.

Пусть

- функция принадлежности нечеткого множества "неудовлетворительно" -го преподавателя,

- функция принадлежности нечеткого множества "удовлетворительно" -го преподавателя,

- функция принадлежности нечеткого множества "хорошо" -го преподавателя,

- функция принадлежности нечеткого множества "отлично" -го преподавателя.

Определим расстояние между критериями оценок

-го и -го преподавателей:

, , - число преподавателей.

Составим матрицу

, , ,

которая является симметричной с нулями на главной диагонали. По матрице

составим матрицу отношения сходства [6] между критериями разных преподавателей

, , .

Пусть

- отношение подобия (сходства). Тогда [6]

,

где

- отношение эквивалентности в смысле обычной теории множеств. Таким образом, декомпозируя на отношения эквивалентности , мы получаем систему вложенных классов, соответствующих отношению подобия .

Выделив группу преподавателей, критерии которых статистически похожи, формируем из них экзаменационную комиссию по приему экзамена у тестируемых в пределах программного материала, отраженного в тесте. Опираясь на совокупную выборку оценок, выставленных преподавателями в процессе экзамена, фазифицируем оценки "2", "3", "4", "5" [11]. Обозначим соответственно за

, , , их функции принадлежности.

Пусть тест состоит из

заданий и за правильно выбранный ответ каждого задания ставится один балл, а за неправильно выбранный ответ ноль баллов. Следует отметить, что процедура накопления баллов путем их сложения не является корректной, так же, как некорректны все арифметические операции в порядковой шкале. Но поскольку именно эта процедура применяется чаще всего, то на эту некорректность можно закрыть глаза только при условии, что предложенные в тесте задания составлены таким образом, что проверяют знания по независимым разделам соответствующего предмета. По полученной после тестирования совокупной выборке результатов тех же респондентов, которые сдавали экзамен по программе теста, фазифицируем [11] все баллы . Обозначим за , их функции принадлежности. Определим расстояние между функциями принадлежности оценок и функциями принадлежности баллов:

, .

Критерий перевода баллов в оценку предлагается следующий: за

-е количество баллов ставится оценка , если , .

Если

, , то ставится оценка . Предложенный критерий позволяет любое количество баллов однозначно перевести в общепринятую оценку.

Описанная процедура перевода результатов тестирования, выраженных в баллах, в привычные оценки "2", "3", "4", "5" может применяться к тестам по любому предмету. Очевидно, что диапазоны баллов, соответствующих одной и той же оценке для разных тестов, будут разными, а сама процедура требует сопровождения и обновления.