Достоверные и артефактные выводы в экспериментальном исследовании (стр. 4 из 5)
1) неверный вывод из-за неверных статистических решений. Например, исследователь может "проглядеть", что нужно отвергнуть как экспериментальную, так и контргипотезу и необходим поиск так называемой третьей конкурирующей гипотезы;
2) неверный вывод о действии НП из-за невнимания к строгой оценке валидности эксперимента, за которым кроется ошибка принятия в качестве положительного "подтверждения" ЭГ, ар-тефактный результат или возможность "проглядеть" в эксперименте истинную зависимость;
3) неверные обобщения из-за неучета существенных дополнительных переменных или ошибок в понимании соотношения теоретического утверждения и эмпирически нагруженного высказывания (ЭГ);
4) замена или искажение рассмотренных нормативов экспериментального вывода оценочными суждениями, апелляцией к авторитету и другими неявными "уступками" логики рассуждения содержательно необоснованным критериям. Эти ошибки связаны с ценностными отношениями к содержанию проблемы или выводам и недостаточной критичностью к тому, что в исследовании оказалось упущенным.
На последней группе "ошибок в выводах" остановимся специально, поскольку они грозят содержательным обобщениям и в тех исследованиях, которые были хорошо спланированными. В специальной литературе обсуждается ряд следующих ошибок, наиболее часто встречающихся в психологических исследованиях.
"Недостающие звенья" в причинных объяснениях. Каузальные факторы, гипотетически ответственные за возникновение того или иного феномена либо обусловливающие связи переменных, могут описываться без достаточного детального рассмотрения, что приводит к возникновению "недостающего звена" между объяснением и обобщением.
Например, делается вывод о том, что "материнская депривация" у детей приводит к "расстройствам адаптации". Однако фактор "материнской депривации" не является элементарным, а может быть рассмотрен в качестве множества факторов, каждый из которых оказывает свое непосредственное влияние на возникновение расстройств адаптации.
Другим примером мог бы служить анализ взаимосвязей между переменными "агрессивность" и "предпочтение просмотра телепередач с агрессивным содержанием" на основе использования методического приема перекрестно-отсроченных корреляций. Этот методический прием, или схема корреляционных исследований, применяется для выявления асимметрии предсказаний Х по Y и Y по X, т.е. установления предпочтений в высказываниях о направленности причинно-следственной связи двух переменных, измеренных одновременно (синхронно). Учет изменений в связях, происходящих в течение времени между разными измерениями переменных, позволяет отвечать на вопросы, является ли Х более "сильной" причиной Y, чем Y – X?
Для осуществления обобщений при использовании этого методического приема две переменные должны быть измерены несколько раз (не менее двух) на одних и тех же испытуемых через один и тот же промежуток времени. Пусть А1 и В1 – значения переменных в первом измерении, А2 и В2 – во втором и т.д. В основе заключений психолога, применяющего эту исследовательскую схему, лежит положение о том, что если А – более сильная причина В, чем наоборот, и имеется реальный процесс "хранения" связи (сохранность причинных отношений во времени), то можно ожидать, что коэффициент корреляции rA1B1 будет больше, чем rA2B2.
Пример 1
На основе схемы подсчета перекрестно-отсроченных корреляций (rA1B1 и rA2B2) в исследовании Кении (1979 г.) проверялась гипотеза о связи агрессивности ребенка (А) и просмотра телепередач с агрессивным содержанием (В). В корреляционном исследовании были измерены переменные А и В для одних и тех же субъектов в возрасте 8–9 лет и затем 18–19 лет. Если бы не был применен план перекрестно-отсроченных корреляций, т.е. из анализа были бы изъяты данные об изменениях во времени (с промежутком в десять лет) связи между измерениями "А1 и В2" и "А2 и В1", то было бы утеряно наиболее важное основание выводов о взаимосвязи А и В переменных. Учет взаимовлияний переменных во времени позволил принять гипотезу, что именно предпочтение ребенком просмотра телепередач с агрессивным содержанием позволяет прогнозировать попадание его в группу агрессивных взрослых.
Схема 2. Перекрестно-отсроченные корреляции
Как видно из приведенных на схеме 2 коэффициентов корреляции, в обобщении результатов переменная В должна рассматриваться как более сильная причина А, чем наоборот. Величины аутохонных корреляций также являются большими (rA1B1 и rA2B2), но и их превосходит величина перекрестно-отсроченной корреляция rA2B2.
Неправомерное выделение основной причины. При формулировании обобщений, включающих объяснения эмпирических зависимостей, какая-либо частная причина может быть принята за основную и исчерпывающую.
Так, при постановке психологического диагноза (и медицинского тоже) эксперт может рассматривать один из симптомов как основной в развитии нарушений поведения. Но не менее важными могут быть при этом и другие составляющие выявленного симптомокомплекса.
Пример 2
При выводах о связи показателей IQ с уровнем полученного образования те факторы, которые стоят за "попаданием" ребенка в более привилегированное учебное заведение, могут то выдвигаться на первое место (социальный и образовательный ценз семьи, этническая принадлежность или другие переменные), то занимать место третьестепенных по сравнению с рассматриваемыми автором (например, IQ родителей, креативность и т.д.). В моделях, описываемых, в частности, системами структурных уравнений [19, 34], одни и те же переменные могут занимать разноуровневые положения – измеряемых или латентных переменных. Понятно, что в каждом конкретном исследовании веер возможных объяснительных гипотез ограничен числом охваченных переменных и предположением авторов о главенствующей роли одних и подчиненной – других переменных.
Претензии на полное или исчерпывающее каузальное объяснение всегда можно постараться "вынести за скобки", чтобы оценить подкрепленность авторской гипотезы другими конкурирующими объяснениями.
Подмена одного высказывания другим. Автор исследования может некритично предположить, что одна зафиксированная им ситуация гарантирует содержание другой, и сообщить только о последней.
Пример 3
Например, на вопрос учителя о том, кто разбросал на перемене заранее подготовленные им и сложенные в стопочку на столе тетрадные листы с контрольными заданиями, на уроке школьники ответили, что не видели этого или: "Никто не разбрасывал". Учитель может принять в качестве истинного это утверждение (возможно, так оно и было). Но из этого не следует, что на самом деле никто из школьников ничего не видел и не сделал. Поэтому более корректным утверждением учителя, который рассказал этот случай в учительской коллегам, было бы утверждение, что "никто из ребят не признался, что видел, как разбросали листки с заданиями".
Более замаскированной эта ошибка выглядит в психологических исследованиях в случаях, если автор, использующий ответы испытуемых типа "часто", "не очень часто", "редко" и т.п., не пытается найти критерий оценки (или размерности) субъективной шкалы испытуемого, что приводит к неразличению высказываний: "Испытуемый поступает таким образом часто" и "Испытуемый считает, что он поступает таким образом часто".
При качественной интерпретации данных, например при использовании в психологии мышления протоколов "рассуждения вслух", это оборачивается проблемой неразличения двух уровней их анализа:
объяснения с позиций самого испытуемого, как он осуществляет решение задачи, и объяснения с позиции экспериментатора, включающего некоторую схему членения высказываний в вербальном протоколе. Если при оценке личностью своих качеств психолог обычно сохраняет критичную позицию, выражающуюся в различении высказываний: "Он говорит, что он такой" и "Он такой, каким он себя описывает", то в других областях психологической реальности такой критичной исследовательской позиции может не прочитываться либо психолог сознательно стремится ее избежать.
Ошибка ценностных суждений. Содержательные выводы о подкрепленности психологической гипотезы опытными данными вводятся в контекст ценностных отношений так, что желаемая оценка значимости эффекта с точки зрения социального или этического критерия связывается с проблемой "доказанности" психологических посылок автора.
Пример 4
Например, оценка преимуществ нового метода обучения может связываться с тем, что этот метод способствует воспитанию интеллектуальной элиты. Тогда в зависимости от конкретных социально-политических условий в выводы об эффективности метода могут включаться ценностные пожелания типа "метод плох, потому что он направлен на воспитание элиты, а нам нужен такой метод, который бы был адресован всем" либо "метод хорош, потому что он направлен на воспитание элиты, а именно с воспитанием интеллектуальной элиты у нас в обществе проблемы". Оба таких утверждения могут быть в равной степени необоснованными, поскольку желаемый прогноз о возможностях метода трудно соотнести с внешним критерием социальной оценки интеллектуального развития людей.
Другой вопрос – это вопрос о том, что те или иные психологические результаты имеют разный ценностный резонанс с точки зрения возможности и желательности их использования на практике. Так, переход ко всеобщему начальному образованию в ряде стран в начале XX в. обусловил высокую социальную оценку создания интеллектуальных тестов, а принятие в 1960-е годы социальных программ поддержки выходцев из беднейших слоев населения – разработок так называемых компенсаторных программ обучения. Однако оценка, актуальности тех или иных психологических разработок не может выступать критерием истинности проверяемых в них психологических гипотез. Подмена выводов типа "что получено" (в результате исследования) на тип "что ценного в том, что получено, для практики" или "что делать" и есть механизм возникновения ошибок ценностных суждений.