Современные технологии выявления теоретических знаний студентов по дизартрии (стр. 2 из 3)

Таким образом, компьютерный тестовый комплекс для выявления теоретического базиса по дисциплине «Дизартрия» был разработан и предложен студентам дефектологического факультета НОЧУ ВПО МСГИ. В тестировании приняли участие студенты II курса в количестве 80 человек. Каждому из них была представлена компьютерная выборка из 60 случайно выпавших вопросов, предлагаемых в произвольном порядке. Для создания эталонного объекта были также протестированы студенты старших курсов и учителя- логопеды с большим практическим стажем. Результаты тестирования обеих групп исследуемого контингента были занесены в таблицы и подвергнуты математической статистической обработке.

В работах разных авторов указывается на положительные стороны использования тестирования в процессе контроля знаний студентов. Так, О.В. Матвеева отмечает факт психологической устойчивости метода, успешности его использования для контингента с повышенным уровнем тревожности, подвижностью нервных процессов с преобладанием возбудимости или заторможенности при построении ответа непосредственно экзаменатору. «Для большинства студентов контрольное мероприятие является в той или иной степени стрессовой ситуацией. Психологическое напряжение зачастую не позволяет студенту в полной мере мобилизовать свои способности и адекватно продемонстрировать уровень знаний, полученных в результате обучения. В рамках учебного процесса используются различные формы проверки знаний студентов: традиционные и новые. Классические формы контрольных мероприятий имеют как достоинства, так и ряд недостатков, из которых наиболее серьезной является низкая степень надежности, связанная с возможной необъективностью и эффектами внешнего и внутреннего психологического воздействия. Формально более объективный тестовый метод контроля уровня знаний имеет более высокую степень устойчивости к внешнему воздействию. Тестирование (компьютерный или письменный вариант на бумажном носителе) моделирует взаимоотношения экзаменатора и студента во время контрольного испытания, однако неизбежная формализация модели взаимодействия вносит свои ограничения и системные ошибки в оценке уровня знаний студентов. Здесь важно разграничить понятия «контроль» и «тестирование». Под «контролем» следует понимать процедуру управления обучением, а под «тестированием» — процедуру констатации факта «знает - не знает». Безусловно, обе процедуры имеют значение для подготовки специалиста, но они же имеют разные целевые функции» [5: с. 11].

По мнению В.В. Борисовой, Т.А. Метельской, О.Г. Налбандяна, Е.В. Оганесяна, популярность тестирования обусловлена технологичностью, стационарностью условий процесса тестирования, высокой дифференциацией и оперативностью получения результатов. Авторы отмечают, что эти преимущества реализуются при наличии надежных, валидных комплексов тестовых заданий. Поэтому комплексы тестовых заданий должны быть верифицированы, то есть, определены все значимые параметры комплекса и установлена его пригодность для достижения поставленной цели [3: с. 42-44]. Для установления применимости описанного КТК использовалась методика объективной верификации и отбора тестовых заданий, основанная на корреляционном анализе результатов тестирования репрезентативной группы студентов. Такой группой, как мы уже говорили стали студенты II курса разных филиалов дефектологического факультета НОЧУ ВПО МСГИ, изучившие теоретический курс предмета «Дизартрия» и посещавшие лабораторно-практические занятия в соответствии с учебным планом. Каждым студентом выполнялось задание произвольной компьютерной выборки путем выбора ответа из предложенных вариантов.

Особенностью системы верификации является анализ каждого задания комплекса. В процессе верификации для каждого задания определялись параметры его трудности, адекватности и устойчивости.

Важным параметром, характеризующим задания тестового комплекса, является параметр трудности вопросов, определяемый по доле студентов, не сумевших ответить правильно. На графике распределения вопросов комплекса по трудности (рис. 1) мы видим, что смещение кривой преобладает в сторону легких вопросов. По результатам анализа средняя трудность вопросов оказалась невысокой (0,28), приблизительно 1/3 вопросов (около 80-ти вопросов из 250) занижена по степени трудности для исследуемого контингента студентов. Соответственно исследуемый комплекс не обладает достаточно широким и равномерным распределением заданий по параметру трудности.

Распределение вопросов по трудности

Рис. 1. Распределение вопросов тестового комплекса по трудности

Анализ результатов тестирования репрезентативной группы позволяет определить параметр адекватности заданий по всему комплексу. Параметр адекватности задания определяется как коэффициент корреляции между результатами группы студентов по одному заданию и результатами той же группы студентов по всему комплексу. Фактически, параметр адекватности задания показывает, насколько эффективно данное задание участвует в формировании распределения студентов по уровню знаний. На графике распределения вопросов тестового комплекса по адекватности (рис. 2) выделяется незначительная группа вопросов и легких, и неадекватных.

Выявленных легких неадекватных вопросов оказалось 18 из разных разделов тестового комплекса. Причем из 12-ти разделов такие вопросы выявились только в семи. Количество легких вопросов с плохой адекватностью по разным разделам учения о дизартрии получилось неодинаковым: по одному вопросу из разделов «анатомо-физиологические основы дизартрии» и «формы дизартрии»; по два вопроса из разделов «научно-теоретические аспекты учения о дизартрии» и «классификация дизартрий»; три вопроса из раздела «диагностика дизартрии»; четыре вопроса из раздела «специфика логопедической работы при дизартрии» и пять вопросов из раздела «дизартрия при ДЦП».

Анализ содержания вопросов и возможных причин их заниженной трудности относительно исследуемого контингента определил некоторые явные тенденции в разделении этих вопросов на три группы.

К первой группе вопросов относятся такие, в которых легкость ответа обусловлена содержательной недоработкой тестового задания, то есть выбор слишком очевиден из формулировок возможных вариантов ответа или эти варианты слишком подробно расписаны (практически являясь подсказками к выбору студента). Эти вопросы подлежат безусловному удалению при модификации тестового комплекса.

Ко второй группе вопросов можно отнести вопросы, ответы на которые определяются учебными способностями студентов (наличием аналитико-син- тетического и логического мышления, с помощью которого легко «угадать» ответ без специальных знаний).

К третьей группе вопросов относятся те, для ответа на которые студент должен обладать комплексом специальных знаний по дисциплине и смежным предметам. Кажущаяся легкость ответов на данные вопросы обусловлена тем, что студенты выучили предлагаемый им лекционный и дополнительный материал. Интересно отметить, что по тематике вопросов третьей группы студентам в течение семестра предлагалась самостоятельная учебная деятельность в форме конспектирования первоисточников, причем обязательная для выполнения. Знания по этой группе вопросов актуализировались в виде легкости ответов на тестовые задания (то есть невозможно было ответить на эти вопросы, точно не зная правильный ответ). Из 18 легких неадекватных вопросов перспективными для возможной переработки могут быть вопросы второй и третьей групп, но в настоящем исследовании они подлежат удалению с целью увеличения степени адекватности комплекса.

При дальнейшем анализе выделилась малочисленная группа вопросов, приемлемых по трудности, но неадекватных по корреляции между ответами студентов на данный вопрос и суммарными результатами (коэффициент от 0,02 до 0,18, то есть ниже значимого барьера 0,2). Интересно отметить, что эти вопросы относятся к разделам, знание которых базируется на освоении клинических основ дизартрии (особенно невропатологии, три вопроса из четырех) и предполагают владение специальной терминологией. Низкие показатели адекватности в данной группе обусловлены несомненной трудностью этих вопросов для студентов, так как предполагают более глубокое понимание природы дизартрии и наличие знаний по смежным дисциплинам.

Один вопрос попал в раздел неадекватных парадоксально (скорее по причине технической ошибки). Отсутствие ответа на него у студентов, которые с легкостью отвечали на более сложные вопросы, необъяснимо. Не ответить на него могли только абсолютно неготовые к тесту студенты (а из предыдущего анализа мы выяснили, что данный контингент имеет подготовительную базу по предмету).

На графике зависимости адекватности вопросов от трудности (рис. 3) мы видим, что среди общего объема легких вопросов есть адекватные (с положительным значением от 0,2 до 0,67), а есть неадекватные (с отрицательной адекватностью или меньше 0,2), которые не являются значимыми при определении уровня знаний студентов.

Неравномерность распределения параметров трудности и адекватности в заданиях комплекса может привести к искажению результатов тестирования, поэтому возникает необходимость корректировки.

По методике верификации тестовых комплексов (В.В. Борисова, Т.М. Ме- тельская, О.Г. Налбандян) задания с отрицательной степенью адекватности (если это не результат обособленной группы) должны быть переработаны или исключены из комплекса. Авторы поясняют, что «.задания с близкой к нулю степенью адекватности, результаты по которым не коррелируют с уровнем знаний студентов, характеризуют разрозненные знания, полученные не системным образом. Такие задания, не дифференцируя тестируемых по уровню знаний, характеризуют объем знаний и наиболее приемлемы при критериально-ориентированной оценке результатов тестирования. Задания с высокой степенью адекватности, по которым группа выступает как единый коллектив, характеризуют знания, полученные в результате целенаправленного учебного процесса. Таким образом, легкие задания с малой адекватностью характеризуют тщательность самостоятельного изучения студентом дисциплины и объем полученной информации. Трудные адекватные задания характеризуют уровень знаний, полученных в результате учебного процесса» [4: с. 39-43].