Смекни!
smekni.com

Эксперимент в исследовании социально-экономических процессов (стр. 3 из 8)

Ошибки внешней валидности связаны с двумя причинами. Пер­вая — это нарушение репрезентативности отбора единиц исследования. Предположим, что с помощью методического эксперимента установ­лено, что на открытые вопросы даются более многообразные ответы, чем на вопросы закрытого типа. Оценка внутренней валидности заключается в гарантиях, что степень многообразия ответов была вызвана именно типом вопроса, а не каким-либо иным фактором. Внешняя валидность предполагает, что такая же зависимость будет наблюдаться не только в процессе эксперимента, но и в любых ситуациях опроса.

Если, например, в экспериментальную группу были набраны добровольцы (т. е. люди, обнаруживающие активную положительную установку на беседу с интервьюером), то полученные данные вряд ли репрезентативны для массового опроса, где часто встречаются респон­денты, не расположенные к многообразным ответам. Риск ошибки, обусловленный нарушением внешней валидности, значительно воз­растает. В идеальном случае экспериментальная и контрольная группы должны формироваться методом случайного отбора, чтобы они могли репрезентировать генеральную совокупность. Однако дело это слиш­ком трудоемкое и дорогостоящее.

Внешняя валидность отсутствует и в тех случаях, когда план эксперимента основан на искусственных допущениях. В знаменитом эксперименте Музафера Шерифа по формированию групповых норм испытуемые должны были оценить расстояние до точечного источни­ка света, находясь в полной темноте. Поскольку трудно предположить, что в реальной жизни люди часто обсуждают автокинетический эффект, внешняя валидность эксперимента Шерифа остается под вопросом.

В целом внешняя валидность тем больше, чем шире область распространения полученных выводов. Закон Ньютона—Кеплера, связывающий силу притяжения тел с их массами и расстояниями между ними, обладает практически универсальной внешней валидностью. Подтверждение внешней валидности достигается путем мно­гочисленного воспроизведения эксперимента в новых условиях.

Проблемы внутренней валидности логически разрешимы посред­ством статистического контроля и оценивания. А внешняя валидность не имеет убедительного логического обоснования.


III. Типичные нарушения внутренней валидности вывода

На результаты эксперимента оказывают влияние любые события, происходящие во время проведения исследования, особенно если оно занимает продолжительное время. Сама зависимая переменная меня­ется под влиянием посторонних обстоятельств, и какое из них обусловило изменения, — остается неясным. Причины изменений обозначаются как изменения исторического фона. Под «историей» имеется в виду история эксперимента.

Предположим, проверяется гипотеза о воздействии пропаганды на поведение избирателей. В соответствии со схемой эксперимента осуществляется замер электоральных предпочтений до пропаган­дистской атаки и после нее. Затем сопоставляются значения этой переменной в двух группах: экспериментальной, подвергавшейся пропагандистскому воздействию, и контрольной, где на избирателей не оказывалось влияния. Предположим, далее, что установлены существенные различия между экспериментальной и контрольной группами. Однако можем ли мы быть уверены, что различия обуслов­лены именно пропагандой. За короткий промежуток времени на мнения избирателей могли повлиять различные события: повышение цен, сенсационные разоблачения политических лидеров, рост инфля­ции. Все эти факторы могут служить основой альтернативных гипотез. Чем больше временной промежуток между протестом и посттестом, тем больше вероятность «исторических» искажений результатов экс­перимента.

Модификацией «исторических» изменений являются естественные изменения в самом объекте экспериментирования — «матурация». С течением времени меняется не только внешняя среда, но и внутренние качества испытуемых. Предположим, что экспериментальной провер­ке подвергается метод преподавания и предварительные измерения отделены от итоговых измерений временем, занимающим почти весь учебный год. Разумеется, за этот период произойдут существенные сдвиги в уровне усвоения материала студентами — здесь нельзя сбрасывать со счетов то обстоятельство, что испытуемые стали взрослее и, вероятно, умнее. Результат может быть вызван и новым методом преподавания, и взрослением экспериментального контингента. Даже если эксперимент длится два-три часа, на его результаты может повлиять усталость и раздражение испытуемых.

Несоответствие составов групп. На внутреннюю валидность вывода оказывают искажающее влияние изменения в составе экс­периментальной и контрольной групп. Особенно часто это случается тогда, когда для эксперимента выбираются примерно равные по возрасту классы, студенческие группы. Однако проконтролировать все различия довольно трудно. Например, более высокий уровень сплоченности в одной группе может привести к существенным искажениям результатов. Надежное средство выравнивания составов контрольной и экспериментальной групп — рандомизация.

Отсев испытуемых. Если эксперимент длится долго, вероятность избежать отсева испытуемых по разным причинам довольно высока. Поэтому при осуществлении итоговых измерений невозможно с уверенностью сказать, насколько повлияло выбытие испытуемых на результат. Чаще всего из экспериментов выбывают испытуемые из контрольных групп.

Нестабильность инструментального комплекса. Изменения могут затрагивать не только внешние обстоятельства (фон) и испытуемых, но и измерительный инструментарий исследования. Проблема заклю­чается в том, что в отличие от естественных наук в социологии и психологии измерительные инструменты (в том числе интервьюер) меняются. А смена измерительного комплекса влечет за собой смещение данных. Здесь нельзя менять ни wording, ни калибровку, ни стиль интервьюирования. При экспериментах, связанных с контролем успеваемости студентов, такого рода погрешности практически неиз­бежны. Необходимо не только сохранить критерии оценки знаний — часто интуитивные, но даже тот психологический настрой, который был присущ экзаменатору в момент первой проверки. Смена экзаме­натора в данном случае эквивалентна смене инструмента и препятству­ет всяким сопоставлениям.

Экспериментальный инструментарий предполагает однократное применение к одному испытуемому. В противном случае возникнет эффект тестирования. Если экспериментатор обратится с тем же тест-вопросником вторично, результаты замера будут иными, поскольку испытуемый уже знаком с инструментом и будет осознанно или неосознанно корректировать свои реакции, например стараться вспомнить, что говорил прошлый раз, и воспроизводить свои ответы. Собственно говоря, знакомый испытуемому тест-вопросник — уже другой инструмент, чем тот, который применялся на стадии протеста, и сравнение данных содержит существенную погрешность.

И, наконец, самые существенные искажения связаны с влиянием на результат эксперимента наряду с независимой переменной самой экспериментальной ситуации — часто такое влияние называют реактивным эффектом.

Лучше всего проиллюстрировать возникновение реактивного эффекта на примере проверки нового метода лечения. Зная о том, что на них испытывается новый метод лечения, пациенты обнаруживают заметные улучшения по крайней мере в клинической симптоматике заболевания. Лучше себя чувствуют даже те, кто входит в контрольную группу, т. е. не находится под воздействием экспериментальной переменной.

Влияние инструмента на реакции респондентов может быть самым неожиданным. В литературе хорошо описан «эффект интервьюера», когда ответы в значительной мере обусловлены невольным воздей­ствием личности интервьюера. Реже упоминается, что вопросы, задаваемые в ходе одного интервью, обнаруживают более высокую корреляцию, чем те же вопросы, включенные в разные анкеты. Если вопросы интервью следуют друг за другом, наблюдается «гала-эффект»: корреляция между ними выше, чем между такими же, но «отдаленными» вопросами. Корреляция между данными, полученны­ми в один день, выше, чем корреляция между данными, полученными в разные дни.

Следует различать действие экспериментальной переменной и экспериментальной ситуации. В последнем случае мы имеем дело с реактивным эффектом. В медицине от него пытаются избавиться с помощью р1асеЬо — контрольным больным дают «видимость» экспериментальной переменной, например, таблетки такого же цвета и вкуса, какие дают экспериментальным больным. Таким образом, р1асеbо является одним из способов выравнивания эффекта экспери­ментальной ситуации. В социологии применить р1асеbо практически невозможно.

Имеются и другие факторы, снижающие внутреннюю валидность: взаимодействие фактора отбора с «матурацией», деморализация испы­туемых, связанная с кажущимися неудачами; имитация воздействия и т. п.

Нарушения внутренней валидности, обусловленные изменениями «исторических» обстоятельств эксперимента, компенсируются срав­нением контрольной и экспериментальной групп — изменения в данном случае затрагивают и тех, и других испытуемых. Аналогичным образом изменения в измерительном инструментарии затрагивают обе группы. Реактивный эффект также оказывает одинаковое воздейст­вие на всех испытуемых. Особенно серьезную опасность представляют посторонние переменные, связанные с недостаточным выравниванием групп.

Внешняя валидность, как уже говорилось, это возможность распространить установленные зависимости за рамки эксперимен­тального материала. При высокой внутренней валидности, т. е. при уверенности, что изменения в переменной х вызывают определенные изменения в переменной у, внешняя валидность может оказаться совершенно неудовлетворительной.