Ошибки внешней валидности связаны с двумя причинами. Первая — это нарушение репрезентативности отбора единиц исследования. Предположим, что с помощью методического эксперимента установлено, что на открытые вопросы даются более многообразные ответы, чем на вопросы закрытого типа. Оценка внутренней валидности заключается в гарантиях, что степень многообразия ответов была вызвана именно типом вопроса, а не каким-либо иным фактором. Внешняя валидность предполагает, что такая же зависимость будет наблюдаться не только в процессе эксперимента, но и в любых ситуациях опроса.
Если, например, в экспериментальную группу были набраны добровольцы (т. е. люди, обнаруживающие активную положительную установку на беседу с интервьюером), то полученные данные вряд ли репрезентативны для массового опроса, где часто встречаются респонденты, не расположенные к многообразным ответам. Риск ошибки, обусловленный нарушением внешней валидности, значительно возрастает. В идеальном случае экспериментальная и контрольная группы должны формироваться методом случайного отбора, чтобы они могли репрезентировать генеральную совокупность. Однако дело это слишком трудоемкое и дорогостоящее.
Внешняя валидность отсутствует и в тех случаях, когда план эксперимента основан на искусственных допущениях. В знаменитом эксперименте Музафера Шерифа по формированию групповых норм испытуемые должны были оценить расстояние до точечного источника света, находясь в полной темноте. Поскольку трудно предположить, что в реальной жизни люди часто обсуждают автокинетический эффект, внешняя валидность эксперимента Шерифа остается под вопросом.
В целом внешняя валидность тем больше, чем шире область распространения полученных выводов. Закон Ньютона—Кеплера, связывающий силу притяжения тел с их массами и расстояниями между ними, обладает практически универсальной внешней валидностью. Подтверждение внешней валидности достигается путем многочисленного воспроизведения эксперимента в новых условиях.
Проблемы внутренней валидности логически разрешимы посредством статистического контроля и оценивания. А внешняя валидность не имеет убедительного логического обоснования.
На результаты эксперимента оказывают влияние любые события, происходящие во время проведения исследования, особенно если оно занимает продолжительное время. Сама зависимая переменная меняется под влиянием посторонних обстоятельств, и какое из них обусловило изменения, — остается неясным. Причины изменений обозначаются как изменения исторического фона. Под «историей» имеется в виду история эксперимента.
Предположим, проверяется гипотеза о воздействии пропаганды на поведение избирателей. В соответствии со схемой эксперимента осуществляется замер электоральных предпочтений до пропагандистской атаки и после нее. Затем сопоставляются значения этой переменной в двух группах: экспериментальной, подвергавшейся пропагандистскому воздействию, и контрольной, где на избирателей не оказывалось влияния. Предположим, далее, что установлены существенные различия между экспериментальной и контрольной группами. Однако можем ли мы быть уверены, что различия обусловлены именно пропагандой. За короткий промежуток времени на мнения избирателей могли повлиять различные события: повышение цен, сенсационные разоблачения политических лидеров, рост инфляции. Все эти факторы могут служить основой альтернативных гипотез. Чем больше временной промежуток между протестом и посттестом, тем больше вероятность «исторических» искажений результатов эксперимента.
Модификацией «исторических» изменений являются естественные изменения в самом объекте экспериментирования — «матурация». С течением времени меняется не только внешняя среда, но и внутренние качества испытуемых. Предположим, что экспериментальной проверке подвергается метод преподавания и предварительные измерения отделены от итоговых измерений временем, занимающим почти весь учебный год. Разумеется, за этот период произойдут существенные сдвиги в уровне усвоения материала студентами — здесь нельзя сбрасывать со счетов то обстоятельство, что испытуемые стали взрослее и, вероятно, умнее. Результат может быть вызван и новым методом преподавания, и взрослением экспериментального контингента. Даже если эксперимент длится два-три часа, на его результаты может повлиять усталость и раздражение испытуемых.
Несоответствие составов групп. На внутреннюю валидность вывода оказывают искажающее влияние изменения в составе экспериментальной и контрольной групп. Особенно часто это случается тогда, когда для эксперимента выбираются примерно равные по возрасту классы, студенческие группы. Однако проконтролировать все различия довольно трудно. Например, более высокий уровень сплоченности в одной группе может привести к существенным искажениям результатов. Надежное средство выравнивания составов контрольной и экспериментальной групп — рандомизация.
Отсев испытуемых. Если эксперимент длится долго, вероятность избежать отсева испытуемых по разным причинам довольно высока. Поэтому при осуществлении итоговых измерений невозможно с уверенностью сказать, насколько повлияло выбытие испытуемых на результат. Чаще всего из экспериментов выбывают испытуемые из контрольных групп.
Нестабильность инструментального комплекса. Изменения могут затрагивать не только внешние обстоятельства (фон) и испытуемых, но и измерительный инструментарий исследования. Проблема заключается в том, что в отличие от естественных наук в социологии и психологии измерительные инструменты (в том числе интервьюер) меняются. А смена измерительного комплекса влечет за собой смещение данных. Здесь нельзя менять ни wording, ни калибровку, ни стиль интервьюирования. При экспериментах, связанных с контролем успеваемости студентов, такого рода погрешности практически неизбежны. Необходимо не только сохранить критерии оценки знаний — часто интуитивные, но даже тот психологический настрой, который был присущ экзаменатору в момент первой проверки. Смена экзаменатора в данном случае эквивалентна смене инструмента и препятствует всяким сопоставлениям.
Экспериментальный инструментарий предполагает однократное применение к одному испытуемому. В противном случае возникнет эффект тестирования. Если экспериментатор обратится с тем же тест-вопросником вторично, результаты замера будут иными, поскольку испытуемый уже знаком с инструментом и будет осознанно или неосознанно корректировать свои реакции, например стараться вспомнить, что говорил прошлый раз, и воспроизводить свои ответы. Собственно говоря, знакомый испытуемому тест-вопросник — уже другой инструмент, чем тот, который применялся на стадии протеста, и сравнение данных содержит существенную погрешность.
И, наконец, самые существенные искажения связаны с влиянием на результат эксперимента наряду с независимой переменной самой экспериментальной ситуации — часто такое влияние называют реактивным эффектом.
Лучше всего проиллюстрировать возникновение реактивного эффекта на примере проверки нового метода лечения. Зная о том, что на них испытывается новый метод лечения, пациенты обнаруживают заметные улучшения по крайней мере в клинической симптоматике заболевания. Лучше себя чувствуют даже те, кто входит в контрольную группу, т. е. не находится под воздействием экспериментальной переменной.
Влияние инструмента на реакции респондентов может быть самым неожиданным. В литературе хорошо описан «эффект интервьюера», когда ответы в значительной мере обусловлены невольным воздействием личности интервьюера. Реже упоминается, что вопросы, задаваемые в ходе одного интервью, обнаруживают более высокую корреляцию, чем те же вопросы, включенные в разные анкеты. Если вопросы интервью следуют друг за другом, наблюдается «гала-эффект»: корреляция между ними выше, чем между такими же, но «отдаленными» вопросами. Корреляция между данными, полученными в один день, выше, чем корреляция между данными, полученными в разные дни.
Следует различать действие экспериментальной переменной и экспериментальной ситуации. В последнем случае мы имеем дело с реактивным эффектом. В медицине от него пытаются избавиться с помощью р1асеЬо — контрольным больным дают «видимость» экспериментальной переменной, например, таблетки такого же цвета и вкуса, какие дают экспериментальным больным. Таким образом, р1асеbо является одним из способов выравнивания эффекта экспериментальной ситуации. В социологии применить р1асеbо практически невозможно.
Имеются и другие факторы, снижающие внутреннюю валидность: взаимодействие фактора отбора с «матурацией», деморализация испытуемых, связанная с кажущимися неудачами; имитация воздействия и т. п.
Нарушения внутренней валидности, обусловленные изменениями «исторических» обстоятельств эксперимента, компенсируются сравнением контрольной и экспериментальной групп — изменения в данном случае затрагивают и тех, и других испытуемых. Аналогичным образом изменения в измерительном инструментарии затрагивают обе группы. Реактивный эффект также оказывает одинаковое воздействие на всех испытуемых. Особенно серьезную опасность представляют посторонние переменные, связанные с недостаточным выравниванием групп.
Внешняя валидность, как уже говорилось, это возможность распространить установленные зависимости за рамки экспериментального материала. При высокой внутренней валидности, т. е. при уверенности, что изменения в переменной х вызывают определенные изменения в переменной у, внешняя валидность может оказаться совершенно неудовлетворительной.