Смекни!
smekni.com

Бодалев А. А. Столин В. В. Аванесов В. С. Общая психодиагностика (стр. 21 из 93)

Fj2 - та же частота для второй половины;

n - полный объем выборки.

Точные значения квантилей распределения Колмогорова для опре­деления размеров выборки можно найти в кн.: Мюллер П. и др., 1982.

Применение критерия Колмогорова не зависит от нормальности целого распределения и от необходимости производить нормализа­цию интервалов.

* * *

Итак, априорная предпосылка нормальности распределения тес­товых баллов основывается скорее на принципах операционального удобства, чем на теоретической необходимости. Психометрически корректные процедуры получения устойчивых тестовых норм возмож­ны с помощью специальных методов непараметрической статистики (критерий «хи-квадрат» и т. п.) для распределений произвольной фор­мы. Выбор статистической модели распределения - законный произ­вол психометриста, пока сам тест выступает в качестве единственно­го эталона измеряемого свойства. В этом случае остается лишь тща­тельно следить за соответствием сферы применения диагностичес­ких норм той выборке испытуемых, на которой они были получены. Произвольность в выборе статистической модели шкалы исчезает, когда речь заходит о внешних по отношению к тесту критериях.

Репрезентативность критериальных тестов. В таких тестах в качестве реального эталона применяется критерий, ради которого со­здается тест, - целевой критерий. Особое значение такой подход имеет в тех областях практики, где высокие результаты могут дать узкоспеци­ализированные диагностические методики, нацеленные на очень кон­кретные и узкие критерии. Такая ситуация имеет место в обучении: тестирование, направленное на получение информации об уровне ус­воения определенных знаний, умений и навыков (При профессиональ­ном обучений), должно точно отражать уровень освоения этих навы­ков и тем самым давать надежный прогноз эффективности конкретной профессиональной деятельности, требующей применения этих навы­ков. Так возникают «тесты достижений», по отношению к которым критериальный подход обнаружил свою высокую эффективность (Гуревич К. М, Лубовский В. И,, 1982).

Рассмотрим операциональную схему шкалирования, применяе­мую при создании критериального теста. Пусть имеется некоторый критерий С, ради прогнозирования которого психодиагност создает тест X. Для простоты представим С как дихотомическую перемен­ную с двумя значениями: 1 и 0. С, = 1 означает, что j-й субъект достиг критерия (попал в «высокую» группу по критерию), Сj=0 означает, что i-й субъект не достиг критерия (попал в «низкую» группу). Пси­ходиагност применяет на нормативной выборке тест X, и в ре­зультате каждый индивид получает тестовый балл Xi. После того как для каждого индивида из выборки становится известным значение С (иногда на это требуются месяцы и годы после момента тестирова­ния), психодиагност группирует индивидов по порядку возрастания балла Xi и для каждого деления исходной шкалы сырых тестовых бал­лов подсчитывает эмпирическую вероятность Р попадания в «высо­кую» группу по критерию С. На рис. 5 показаны распределения веро­ятности Р (Ci = 1) в зависимости от Xi

Рис. 5 Эмпирическая зависимость между вероятностью критериального события и тестовым баллом

Очевидно, что кривая на рис. 5 по своей конфигурации может со­вершенно не совпадать с кумулятивной кривой распределения частот появления различных Xi. Кривая, представленная на рис. 5, является эмпирической линией регрессии С по Xi Теперь можно сформулиро­вать основное требование к критериальному тесту: линия регрессии должна быть монотонной функцией С от Xi Иными словами, ни для одного более высокого значения X. вероятность Р не должна быть мень­шей, чем для какого-либо менее высокого значения Xi Если это усло­вие выполняется, то открывается возможность для критериального шка­лирования сырых баллов X. Так же как в случае с интервальной норма­лизацией», когда применяется поточечный перевод интервалов Х в ин­тервалы Z, для которых выполняется нормальная модель распределения, так и при критериальном шкалировании к делениям сырой шкалы X применяется поточечный перевод прямо в шкалу Р на основании эмпи­рической линии регрессии. Например, если испытуемый А получил по тесту X 18 сырых баллов и этому результату соответствует Р=0,6, то испытуемому А ставится в соответствие показатель 60 %.

Конечно, любая эмпирическая кривая является лишь приближен­ной моделью той зависимости, которая могла бы быть воспроизведе­на на генеральной совокупности. Обычно предполагается, что на ге­неральной совокупности линия регрессии С по Х должна иметь более сглаженную форму. Поэтому обычно предпринимаются попытки ап­проксимировать эмпирическую линию регрессии какой-либо функ­циональной зависимостью, что позволяет затем производить прогноз с применением формулы (а не таблицы или графика).

Например, если линия регрессии имеет вид приблизительно та­кой, какой изображен на рис. 6, то применение процентильной нор­мализации позволяет получить простую линейную регрессию С по нормализованной шкале Z. Это как раз тот случай, когда имеет мес­то эквивалентность стратегии, использующей выборочно-статисти­ческие тестовые нормы, и стратегии, использующей критериальные нормы.

Рис. 6. Зависимость вероятности критериального события Р от

нормально распределенного диагностического параметра X

Операции по анализу распределения тестовых баллов, построе­нию тестовых норм и проверке их репрезентативности. Завершая этот раздел, кратко перечислим действия, которые последовательно должен произвести психолог при построении тестовых норм.

1. Сформировать выборку стандартизации (случайную или стра­тифицированную по какому-либо параметру) из той популяции, на которой предполагается применять тест. Провести на каждом ис­пытуемом из выборки тест в сжатые сроки (чтобы устранить иррелевантный разброс, вызванный внешними событиями, происшедшими за время обследования).

2. Произвести группировку сырых баллов с учетом выбранного интервала квантования (интервала равнозначности). Интервал опре­деляется величиной W/m , где W=x max — х max; m - количество интерва­лов равнозначности (градаций шкалы).

3. Построить распределение частот тестовых баллов (для задан­ных интервалов равнозначности) в виде таблицы и в виде соответ­ствующих графиков гистограммы и кумуляты.

4. Произвести расчет среднего арифметического значения и стандар­тного отклонения, а также асимметрии и эксцесса с помощью компьюте­ра. Проверить гипотезы о значимости асимметрии и эксцесса. Сравнить результаты проверки с визуальным анализом кривых распределения.

5. Произвести проверку нормальности одного из распределений с помощью критерия Колмогорова (при n < 200 с помощью более мощ­ных критериев) или произвести процентильную нормализацию с пе­реводом в стандартную шкалу, а также линейную стандартизацию и сравнить их результаты (с точностью до целых значений стандарт­ных баллов).

6. Если совпадения не будет - нормальность отвергается; в этом случае произвести проверку устойчивости распределения расщепле­нием выборки на две случайные половины. При совпадении норма­лизованных баллов для половины и для целой выборки можно счи­тать нормализованную шкалу устойчивой.

7. Проверить однородность распределения по отношению к варь­ированию заданного популяционного признака (пол, профессия и т. п.) с помощью критерия Колмогорова. Построить в совмещенных коор­динатах графики гистограммы и кумуляты для полной и частной вы­борок. При значимых различиях разбить выборку на разнородные подвыборки.

8. Построить таблицы процентильных и нормализованных тесто­вых норм (для каждого интервала равнозначности сырого балла). При наличии разнородных подвыборок для каждой из них должна быть своя таблица.

9. Определить критические точки (верхнюю и нижнюю) для до­верительных интервалов (на уровне Р < 0,01) с учетом стандартной ошибки в определении среднего значения.

10. Обсудить конфигурацию полученных распределений с учетом предполагаемого механизма выполнения того или иного теста.

11. В случае негативного результата: отсутствия устойчивых норм для шкалы с заданным числом градаций (с заданной точнос­тью прогноза критериальной деятельности) - осуществить обсле­дование более широкой выборки или отказаться от использования, данного теста.

3.2. НАДЕЖНОСТЬ ТЕСТА

В дифференциальной психометрике проблемы валидности и надежности тесно взаимосвязаны, тем не менее мы последуем традиции раздельного изложения методов проверки этих важнейших пси­хометрических свойств теста.

Надежность и точность. Как уже отмечалось в разделе 3.1, общий разброс (дисперсию) результатов произведенных измерений мож­но представить как результат действия двух источников разнообразия: самого измеряемого свойства и нестабильности измерительной процедуры, обусловливающей наличие ошибки измерения. Это пред­ставление выражено в формуле, описывающей надежность теста и виде отношения истинной дисперсии к дисперсии эмпирически заре­гистрированных баллов:

(3.2.1)

Так как истинная дисперсия и дисперсия ошибки связаны оче­видным соотношением, формула (3.2.1) легко преобразуется в фор­мулу Рюлона:

(3.2.2)

где а - надежность теста;

. -дисперсия ошибки.

Величина ошибки измерения - обратный индикатор точности из­мерения. Чем больше ошибка, тем шире диапазон неопределенности на шкале (доверительный интервал индивидуального балла), внутри которого оказывается статистически возможной локализация истинного балла данного испытуемого. Таким образом, для проверки гипо­тезы о значимости отличия балла испытуемого от среднего значения оказывается недостаточным только оценить ошибку среднего, нужно еще оценить ошибку измерения, обусловливающую разброс в поло­жении индивидуального балла (рис. 7).