Таблица 6.1
Схема интервьюирования контрольных групп в исследовании П.Лазарсфельда, Б. Берельсона и X. Годе, Эри Коунтн, 1940 г.
| Последовательность интервью | Контрольные руины А В С | Экспериментальная Группа |
| Первое — май | + + + | + |
| Второе — июнь | + | |
| Третье — июль | + | + |
| Четвертое — август | + | + |
| Пятое—сентябрь | + | |
| Шестое — октябрь | + | + |
| Седьмое — ноябрь |
Изначально предполагалось, что панель создаст повышенную заинтересованность респондентов в интервью, в том числе будет способствовать повышению информированности и форсирует выбор позиции относительно предстоящего голосования в условиях возможной неопределенности. Эти гипотезы были тщательно проверены. Результаты опроса показали, что реактивный эффект панели практически не влияет на динамику предпочтений (табл. 6.2).
Таблица 6.2
Реактивный эффект панельного интервьюирования в исследовании П. Лазарсфельда, Б. Берельсона и X. Годе, Эри Коунти, 1940 г., %
| Динамики интереса к выборам | Четвертая серия интервью | Шестая серия интервью | ||
Панель 4 | Контрольная группа В | Панель 6 | Контрольная группа С | |
| Повысился | 22 | 22 | 34 | 28 |
| Остался на том же уровне | 66 | 66 | 58 | 60 |
| Понизился | 12 | 12 | 8 | 12 |
| Всего | 100 | 100 | 100 | 100 |
Две первые колонки показывают, что значения контрольной группы В и панели полностью совпадают, хотя в панели проведено уже четвертое интервью. Когда панель интервьюировалась шестой раз, а контрольная группа С — второй, общий уровень интереса повысился, причем в панели повышение более заметно, чем в контрольной группе. Таким образом, существенного влияния повторного интервьюирования на динамику ответов не установлено.
Многократно повторяющиеся опросы одних и тех же респондентов проводились П. Лазарсфельдом, Б. Берельсоном и У. Макфи в 1948 г. В этот раз панель велась в городке Эльмира неподалеку от границы, отделяющей штаты Нью-Йорк и Пенсильвания. Панель включала уже тысячу человек, а опросы проводились с июня по ноябрь 1948 г.6.
При работе с панелью особую трудность представляет сохранение состава группы. Как правило, панель комплектуется из респондентов, проявивших заинтересованность в опросе. Это само по себе несет угрозу внутренней и внешней валидности, а с течением времени у многих респондентов первоначальный энтузиазм сменяется разочарованием. Отсев панели распределяется не равновероятно. Более высокие шансы на продолжение сотрудничества имеют те, кто хочет участвовать в массовом опросе. Что касается естественного отсева, обусловленного переменой места жительства, то и здесь содержится угроза валидности вывода. Данный фактор риска затрагивает преимущественно респондентов молодого возраста. Наконец, само панельное обследование обладает некоторым реактивным эффектом.
Результаты Лазарсфельда и соавторов не следует распространять на широкий круг переменных. Ясно, что респонденты, знающие, что находятся под наблюдением, могут значительно отличаться от «нормальных» людей. В «острых» вопросах, затрагивающих, например, криминогенные обстоятельства, панель обретает мощный «воспитательный» потенциал. Статистические органы России и других стран постоянно ведут наблюдения за бюджетом одних и тех же семей с целью учета динамики благосостояния. Даже если в этих семьях и не опасаются сообщать о своих доходах, сам факт тщательной регистрации доходов и расходов отличает бюджетную панель от генеральной совокупности. Внешняя валидность данных становится сомнительной. Да и в обычных случаях панель создает повышенный риск. Скажем, респонденты могут демонстрировать устойчивые оценки и мнения, хотя на самом деле они думают совсем иначе — кому хочется показаться неверным своему слову? Все эти аргументы не означают методической слабости панельных опросов. Данные панелей оцениваются исключительно высоко.
В отличие от панели в трендовом квазиэкспериментальном плане формируются эквивалентные выборки, имеющие различающийся состав респондентов. Единственное требование к ним — репрезентативность относительно одной и той же генеральной совокупности. Трендовые обследования часто проводятся статистическими органами и службами общественного мнения. Если влияние экспериментальной переменной не контролируется, задача сводится к совокупности последовательных опросов по плану «исследования случая». Но если требуется проверить гипотезу о взаимосвязи, необходимо учитывать почти все факторы риска, за исключением отсева группы.
Трендовые наблюдения относятся к типу «естественных экспериментов», и независимая переменная выбирается в качестве критерия выделения подмассивов. Например, можно выделить людей с высшим образованием и показать, что процент разводов в этой группе на протяжении длительного времени остается более высоким, чем в группе лиц со средним образованием. Однако связь этих переменных не контролируется и, следовательно, сомнительна с точки зрения внутренней валидности. С другой стороны, соотношение между образованием и вероятностью развода обладает высокой внешней валидностью.
Вообще социологические исследования оставляют желать лучшего с точки зрения внутренней валидности, зато их результаты могут быть распространены на обширный класс событий. Правда, остается неясным, стоит ли обобщать столь сомнительные зависимости, которые устанавливаются в квазиэкспериментальных планах. «Чистые» лабораторные эксперименты характеризуются высокой внутренней валидностью, а их внешняя валидность не поддается оцениванию. В равной степени сомнительны выводы, высокая валидность которых ограничена трудновоспроизводимыми лабораторными условиями. В таких случаях вступает в дело атеоретичный критерий оригинальности и правдоподобия вывода.
В середине 1950-х гг. Соломон Аш изучал условия, при которых индивид принимает либо отвергает групповое давление, когда оно противоречит фактам. Группа из шести—девяти человек (мужчины, студенты колледжа, 17 — 25 лет) получала задание на проверку визуального распознавания длины нарисованных на карточках отрезков. Такова была «легенда» эксперимента. Предъявлялась карточка с изображением отрезка прямой линии — стандарт, который надо было сравнить с тремя другими отрезками разной длины. Один из них был равен стандарту, два другие — отличались. Производилось 18 проб, в которых испытуемые открыто высказывали оценки длины отрезков. Говорили по очереди. Один из них — объект реального экспериментирования — всегда отвечал последним или предпоследним и испытывал давление групповой оценки — изначально ложной. Таким образом, создавалась ситуация конфликта между группой и индивидом. В итоге было установлено, что групповая заведомо ложная позиция снижает число правильных ответов до 50 — 70% .
Трудно представить, чтобы в «реальном мире» происходил конфликт по поводу длины нарисованных на бумаге отрезков. Однако в данном случае действует умозаключение по аналогии: если в очевидных случаях каждый третий принимает заведомо ложную групповую позицию, то какова мера конформизма в идеологии, морали, правосудии и других неочевидных, но значимых вопросах?
План с эквивалентными выборками заключается в изучении прецедентов, когда применяется экспериментальная переменная, и сравнении их с ситуациями, когда она не применяется. Например, В. Керр изучал таким образом влияние музыки на производительность труда: он сравнил 56 «музыкальных» рабочих дней с 51 днем «немузыкальным». Факторы риска, снижающие внутреннюю валидность, особенно реактивный эффект, присущи этому квазиэкспериментальному плану в полной мере. Вполне возможно, что в «музыкальные» дни работники старались проявить себя с лучшей стороны.
Экспериментирование на одном объекте с предварительным и итоговым замерами. План данного эксперимента заключается в осуществлении замера до применения экспериментальной переменной х и после этого. Полученное различие, как предполагается, — следствие x.
Часто такой вывод воспринимается как вполне правдоподобный, если известно, что за время между предварительным и итоговым замерами ничего существенного не произошло. В данном случае речь идет о влиянии на внутреннюю валидность факторов исторического фона, естественного развития («матурации») и особенно эффекта тестирования. Исследования показывают, что при тестировании интеллекта и контрольных проверках знаний результаты итогового замера выше, чем результаты предварительного. При исследовании предрассудков предъявление суждений, выражающих враждебность, изменяет установки испытуемых в сторону большей враждебности.
Значительные искажения в эксперимент такого типа вносит реактивность респондентов. Результат наблюдения часто возникает под влиянием самого исследования. Журналисты хорошо знают, что интервью с записью на диктофон значительно отличается от нормального разговора. Появление интервьюера с бланком опроса на сельской улице приводит население в состояние тревоги. Рецепт здесь прост: