Психодиагностика Шпаргалки Лучинин С А (стр. 9 из 15)

Экспертная оценка адекватности содержания заданий теста может быть дополнена при характеристике содержательной валидности рядом эмпирических процедур. Роль этого критерия при оценке содержательной валидности заключается не в верификации конструкта, лежащего в основе теста, а лишь в анализе гипотез, приведших к выбору того или иного материала для теста.

Наряду с тестами достижений содержательная валидность является одной из важнейших форм валидизации критериально-ориентированных тестов, а также методик, предназначенных для профотбора, анализа успешности овладения профессией. Для валидизации личностных опросников и тестов интеллекта критерии содержательной валидности имеют ограниченное применение и используются лишь на начальных стадиях составления теста. Личностные опросники не имеют того сходства с исследуемой областью поведения, как это имеет место в случае тестов достижений. Ответы на вопросы анкеты, опросника, данные проективных исследований позволяют лишь косвенно судить о реальной деятельности испытуемого. Проявление личностных свойств и реализация способностей в деятельности могут носить индивидуальный характер.

При проведении теста интеллекта эффективное решение заданий может достигаться за счет логического мышления, механической памяти, психомоторной подвижности. Опросники личностные и тесты интеллекта прямо не связаны с конкретным курсом обучения или общностью предшествовавшего жизненного опыта, на которых строится содержание тестов достижений.

31. Очевидная, экологическая, иллюзорная (ложная) валидности

Очевидная валидность – представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого или другого лица, не располагающего специальными сведениями о характере использования и целях методики. Высокая очевидная валидность является весьма желательной. Она выступает в качестве фактора, побуждающего испытуемых к обследованию, способствует более серьезному и ответственному отношению к работе по выполнению заданий теста и к заключениям, формулируемым психологом.

Очевидная валидность улучшает применение понятных формулировок и терминов, также заданий, по содержанию являющихся наиболее естественными с учетом возрастной, половой, профессиональной специфики испытуемых. Очевидная валидность иногда носит название внешней (face validity), «доверительной» (faith validity), валидности.

Экологическая валидность – валидность теста по отношению к измеряемому свойству в контексте определенной ситуации. Экологическая валидность является свойством теста, проявляющимся в том, что его применение при решении различных практических задач ведет к качественно различной интерпретации результатов тестирования (Дружинин В. Н., 1990).

Введение понятия экологической валидности связано с проблемой влияния ситуации на результаты тестирования. Споры между «чертистами» (сторонниками теории черт личности, постулирующими устойчивость в разных ситуациях форм поведения, соответствующих определенным психическим свойствам) и «ситуационалистами» (утверждающими полное отсутствие влияния свойств личности на поведение в конкретной ситуации), хотя и продолжаются по сей день, привели к возникновению и развитию теорий личностно-ситуационного взаимодействия.

Иллюзорная (ложная) валидность – иллюзия соответствия заключения по результатам тестирования личностным характеристикам обследуемого. Возникает как следствие использования предельно общих, а поэтому применимых практически ко всем обследуемым формулировок, таких, например, как «разумный в выборе цели», «стремящийся к лучшей жизни» и т. п. Такого рода утверждения принимаются почти всеми людьми в качестве точного описания их личности, что создает почву для деятельности различного рода прорицателей и предсказателей. Иллюзорная валидность названа эффектом Барнума (по имени Финиса Барнума, популярного организатора публичных зрелищ, говорившего, что «глупец рождается ежеминутно»).

32. Критерий валидности. Основное психометрическое неравенство. Типы критериев валидности

Соответствие теста измеряемому психическому свойству называется валидностью теста. На валидность теста негативно влияют случайные факторы, поэтому в психометрике принято следующее основное психометрическое неравенство:

Валидность ≤ Надежность,

что означает, что валидность не может превышать надежность теста.

Помимо случайных факторов, на валидность теста влияют систематические факторы. Они привносят систематические искажения в результаты.

В современной психометрике разработаны десятки разнообразных теоретических и экспериментальных методов проверки валидности тестов. Основным элементом этих методов является так называемый «критерий».

Критерий валидности – это независимый от теста, внешний по отношению к тесту источник информации об измеряемом свойстве. Мы не можем судить о валидности теста до тех пор, пока не сравним его результаты с источником истинной (или заведомо более валидной) информации об измеряемом свойстве – с критерием.

Типы критериев валидности

В научных исследованиях преобладают специальные лабораторные критерии. Например, конструируется компактный тест-опросник на тревожность. В качестве критерия валидности для него используется специальный трудоемкий объективный лабораторный эксперимент, в котором воспроизводится реальная ситуация тревожности (испытуемым-добровольцам угрожают за ошибочные действия ударами тока).

На практике в качестве критерия валидности используются прагматические критерии – показатели эффективности той деятельности, ради прогнозирования которой предпринимается тестирование.

В качестве критерия валидности используется экспертная оценка. Мы хотим убедиться, что короткий тест на измерение уровня дисциплинированности валиден. Для этого проводится опрос учителей об уровне дисциплинированности хорошо известных им учеников. После этого сравниваются результаты теста и экспертный рейтинг учеников по дисциплинированности. Это один из самых простых, популярных методов эмпирического измерения валидности. Это метод «известных групп». В психометрическом эксперименте по проверке валидности теста приглашаются испытуемые, при этом известно, к какой группе по критерию они относятся. В случае с тестом дисциплинированности подбираются ученики, дисциплинированные по данным экспертной оценки учителей («высокая» группа по критерию) и заведомо недисциплинированные («низкая» группа по критерию). Ученики со средними показателями по критерию в тестировании не участвуют.

33. Математическое выражение критерия валидности (коэффициент Гилфорда). Основные схемы валидизации психодиагностических

Меру совпадения (корреляции) между крайними группами по тесту и по критерию оценивают с помощью самого простого Фи-коэффициента Гилфорда:

При численности протестированной группы в 30 человек (это минимальная выборка для проверки валидности) статистически значимую связь теста с критерием мы можем констатировать, Phi› 0,36. Хотя это и низкая валидность, но все же тест в данном случае дает значимо лучшие результаты, чем случайное гадание.

Но метод «известных групп» обладает серьезным недостатком. Он не всегда позволяет использовать тест для прогноза. При формировании «известных групп» оценивается поведение, которое происходило в прошлом, а мы хотим сделать тест для прогноза поведения, которое будет происходить в будущем. Многие тесты, используемые в образовательной психодиагностике, обладают указанным недостатком. Они проходят в лучшем случае проверку по методике «известных групп» и не обладают прогностической валидностью (или валидность экспериментально не доказана).

Решение проблемы прогностической валидности под силу крупным научно-методическим центрам. Ведь к психометрическому исследованию по проверке прогностической валидности надо привлекать на порядок больше испытуемых – не 30, минимум – 300, так как не известно, кто из этих 300 попадет в крайние группы.

Мы хотим использовать тест для прогноза готовности школьников для обучения в вузе. Это типичная прогностическая психодиагностическая задача. Кто-то должен взяться за программу проверки прогностического потенциала этого теста. Нужно протестировать 300 – 500 школьников, а затем подождать, кто из них поступит в вуз и будет успешно там учиться. После 2-3-летнего интервала можно сформировать критериальные группы и подсчитать корреляцию с прежними тестовыми показателями этих бывших школьников. После реализации такой схемы психометрического эксперимента можно утверждать, что тест прошел проверку на прогностическую валидность. Без этого мы исходим только из доверия к научной интуиции разработчика теста и не имеем независимых доказательств того, что тест можно использовать для прогноза.

Различение обычной дешевой схемы валидизации теста (по «известным группам») и дорогой прогностической схемы валидизации теста – важнейший элемент психодиагностической грамотности не только для психологов, но и для педагогов, как, впрочем, и для любых заказчиков психодиагностической информации.

34. Тестовые нормы. Корреляция качественных признаков

Что, несомненно, должен знать и уметь делать каждый грамотный пользователь теста – это понимать, что такое тестовые нормы и как ими пользоваться.