РЕФЕРАТ
«Основные принципы тестирования»
Содержание
1. Математическая статистика
2. Понятие «валидность», «надежность»
3. Основные статистические понятия (меры центральной тенденции)
1. Понятие математической статистики
Математическая статистиказанимается математическим описанием случайных явлений, т. е. построением вероятностных моделей, а также проверкой их пригодности. Математическая статистика – прикладная отрасль математики, основанная на теории вероятности и предназначенная для систематизации и анализа эмпирических данных, полученных при изучении массовых явлений.
Существует 3 раздела статистики:
- описательная
- индуктивная
- корреляционный анализ.
Описательная статистика позволяет описывать, подытоживать и воспроизводить в виде таблиц или графиков данные того или иного распределения, вычислять среднее, его размах и дисперсию.
Индуктивная статистика (проверяющая). Ее задача – проверка того, можно ли рассматривать результаты, полученные на данной выборке на всю популяцию, из которой взята эта выборка; позволяет выяснить до какой степени путем индукции на большое количество объектов обобщить закономерности, полученные при изучении их ограниченной группы в ходе конкретного эксперимента.
Корреляционный анализ позволяет узнать, на сколько связаны две переменные с целью предсказания возможных значений одной из них, если известны значения другой.
Статистические методы, которые позволяют делать обобщение и измерять корреляцию.
- параметрические, которые служат для проверки гипотез о параметрах некоторой функции или для их оценивания, и в которых используются такие параметры среднего значения или дисперсия данных.
- непараметрические используются, когда исследователь имеет дело с очень малыми выборками, некоторые функции от функции распределения изученных случайных явлений. Непараметрические критерии служат для проверки гипотез о функции распределения наблюдаемых значений.
Выделяют 3 типа данных:
- количественные, полученные при измерениях;
- качественные, свойства элементов в выборке или популяции, их нельзя измерить и единственной их количественной оценкой служит частота встречаемости
- порядковые – данные соответствуют местам этих методов, полученных при их расположении в возрастающем порядке.
2. Понятие «валидность», «надежность»
Важнейшими показателями качества психодиагностических методик являются надежность и валидность. Надежность психодиагностических методик свидетельствует о повторяемости, стабильности результатов, об их постоянстве и устойчивости. Оно показывает, на сколько точно производятся психологические измерения, насколько можно доверять получаемым результатам.
Известный специалист в области психодиагностики К.М. Гуревич предлагает выделить три типа надежности: надежность самого измерительного инструмента, стабильность изучаемого признака и константность, т.е. независимость результатов от личности экспериментатора.
Надежность теста показывает независимость его результатов от действия разных случайных факторов. Разнообразные внешние и внутренние факторы могут вызывать отклонение результатов теста.
Для проверки стабильности изучаемого признака используется метод, получивший название «mecm – pemecm», который заключается в проведении повторного психодиагностического испытания той же выборки испытуемых (не менее 30 человек) через определенный промежуток времени, в вычислении коэффициента корреляции между результатами первого (X) и второго (Y) тестирования. Этот коэффициент и представляет собой показатель стабильности исследуемого признака, т.е. надежность теста проявляется в том, что одни и те же люди при повторном обследовании дают те же результаты.
Как правило, повторное обследование проводится через несколько месяцев (но не более чем через полугода). Нельзя проводить повторное испытание слишком быстро после первого, поскольку есть опасность, что испытуемые будут воспроизводить свои ответы по памяти. Однако этот срок не может быть слишком большим, по сколько в этом случае возможно изменение, развитие самой исследуемой функции. Коэффициент стабильности считается приемлемым в том случае, когда его величина не ниже 0,8.
Коэффициент константности определяется путем корреляции результатов двух психодиагностических испытаний, проведенных на одной и той же выборке испытуемых с соблюдением идентичности условий, но разными экспериментаторами. Он должен быть не ниже 0,8.
Качество методики определяется тем, на сколько хорошо она составлена, насколько однородна, что свидетельствует о ее направленности на диагностику одного и того же свойства, признака.
Для проверки надежности инструмента по показателю однородности используют метод расщепления – для этого все задания психодиагностического инструмента делятся на четные и нечетные (по нумерации), отдельно обрабатываются, а затем подсчитываются коэффициенты корреляции между этими рядами. Чем выше величина коэффициента корреляции, тем однороднее методика, тем выше ее надежность.
Другим показателем качества методики является ее валидность. По определению видного американского тестолога А. Анастази, «валидность теста – понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает». Валидность свидетельствует о том, пригодна ли методика для измерения определенных качеств, особенностей и на сколько эффективно она это делает.
Наиболее распространенным способом нахождения теоретической валидности методики является конвергентная валидность, т.е. сопоставление данной методики с авторитетными родственными методиками т доказательства значимых связей с ними. Сопоставление с методиками, имеющими другое теоретическое основание и констатация отсутствия значимых связей с ними, называется дискриминантной валидностью.
Другой вид валидности – прагматическая валидность – проверка методики с точки зрения ее практической значимости, эффективности, полезности. Для проведения такой проверки, как правило, используются так называемые независимые внешние критерии, т.е. используется независимый от теста, внешний источник информации о проявлении в реальной жизни и деятельности людей измеряемого психического свойства. Среди таких внешних критериев могут быть успеваемость, профессиональные достижения, успехи в разных видах деятельности, субъективные оценки (или самооценки). Если, например, методика измеряет особенности развития профессионально-важных качеств, то для критерия необходимо, найти такую деятельность или отдельные операции, где именно эти качества реализуются.
Для проверки валидности теста можно использовать метод «известных групп», когда приглашаются люди, про которых известно, к какой группе по критерию они относятся (например, группа «высокоуспешных, дисциплинированных студентов» – высокий критерий и группа «неуспевающих, недисциплинированных студентов» – низкий критерий, а студенты со средними значениями не участвуют в тестировании), проводят тестирование и находят корреляцию между результатами теста и критерием.
| Высокий критерий | Низкий критерий | |
| Высокий результат теста | а | в |
| Низкий результат теста | с | d |
Здесь а – число испытуемых, попавших в высокую группу по тесту и по критерию, с – число испытуемых, попавших в высокую группу по критерию и имеющих низкие результаты теста. При полной валидности теста элементы в и с должны быть равны нулю. Меру совпадения, корреляции между крайними группами по тесту и критерию оценивают с помощью фи-коэффициента Гилфорда.
Если было 30 человек испытуемых, то статистически значимая связь теста с критерием можно констатировать если Р больше 0,36.
Что касается величины коэффициентов валидности, то она по разным причинам всегда ниже, чем коэффициент надежности. По мнению ведущих психодианостов, низким признается коэффициент валидности порядка 0,20 – 0,30, средним – 0,30 – 0,50, высоким – выше 0,60.
В зависимости от специфики самой диагностической методики и внешнего критерия различают несколько ее видов.
1. Валидность «по одновременности», или текущая валидность. Определяется с помощью внешнего критерия, информация по которому собирается в период проведения испытаний (например, успеваемость, производительность труда и др.).
2. Прогностическая, или «предсказывающая», валидность отличается тем, что информация по внешнему критерию собирается некоторое время спустя после проведения обследования. Такая валидность свидетельствует о вожможностях методики предсказывать успешность испытуемого в каких-либо видах деятельностию
Для проверки прогностической валидности теста нужно обследовать более 300 человек, например, абитуриентов, а через 2-3 года выделить среди этих людей критериальные группы «отличников» и «двоечников» и посчитать корреляцию с прежними показателями теста. Если корреляция выше 0,4-0,6, то тест можно использовать для профотбора абитуриентов и прогноза их учебной успешности.
3. Ретроспективная валидность определяется на основе критерия, отражающего события или состояния качества в прошлом. Она также может свидетельствовать о предсказательных возможностях методики.
Стандартизированность психодиагонсотической методики предполагает, с одной стороны, единую стандартную процедуру ее проведени и обработки результтатов, а с другой стороны, включает перевод «сырых первоначальных результатов теста» в стандартную шкалу тестовых баллов, в результате чего можно сопоставлять результаты у разных испытуемых в разных тестах. Выборка, на которой определяются статистические тестовые нормы, называется выборкой стандартизации» (она должна быть не менее 200 человек).
Обобщенная формула перевода сырого балла в заданную стандартную шкалу имеет вид: