Обычно результатом неуправляемых социологических экспериментов с естественной возникающей независимой переменной является мера корреляции между признаками. При достаточно высокой корреляции гипотеза о неслучайном характере связи не отвергается. Низкая корреляция также не является решающим аргументом в пользу отсутствия причинной зависимости. Лучше всего использовать анализ корреляций для поиска тесных зависимостей, а уже потом выбирать из них гипотезы, требующие дополнительной валидизации.
Чтобы избежать нерелевантных воздействий («шума»), исследователи нередко прибегают к косвенным, квазиэкспериментальным признакам. Вряд ли целесообразно спрашивать посетителей музея, нравятся ли им импрессионисты (конечно же, нравятся). Вместо этого социологи пытаются замерить степень истертости лакового покрытия полов у художественных полотен, считающихся знаменитыми. Самые популярные книжки — не те, о которых идет разговор респондента и интервьюера, а имеющие совершенно затрепанный вид библиотечные экземпляры приключенческих и любовных романов. Методическое требование формулируется вполне отчетливо: экспериментальная переменная не должна привносить существенные изменения в объект и обязана быть незаметной.
С помощью сравнения устанавливается, влечет ли за собой изменение значения независимой переменной изменение значения переменной зависимой. Например, если существует связь между некоторым методом преподавания и степенью усвоения материала студентами, то студенты обнаруживают более высокую успеваемость после применения данного метода. Для того чтобы установить совместную изменяемость метода преподавания и успеваемости, сравниваются успеваемость в группе студентов, подвергшихся воздействию переменной х (метода преподавания) с успеваемостью в группе студентов, не подвергшихся такому воздействию.
Иными словами, чтобы установить ковариацию, значения зависимой переменной замеряются до и после применения независимой переменной. Иная версия сравнения: данные по группе, где применялась независимая переменная, сравниваются с данными по группе, где независимая переменная не применялась. В первом случае группа сравнивается с самою собой, во втором — экспериментальная группа сравнивается с контрольной. Без сравнения никакой экспериментальный план невозможен.
Распределение испытуемых по группам — довольно сложная этическая и методическая проблема. Если проинформировать человека, что он включен в контрольную группу, это может повлиять на результат эксперимента. Нетрудно предугадать, какой эффект вызовет переход половины класса в отдельное помещение. Если не сообщать испытуемым о замысле исследования, возникают некоторые этические сложности, связанные с тем, что личность становится объектом манипуляции. В большинстве случаев испытуемый не должен ничего знать об истинных исследовательских гипотезах. Поэтому в полевой работе, как правило, предусматривается «легенда», маскирующая истинные намерения экспериментатора. Даже если испытуемый знает, что находится под наблюдением, он не должен догадываться, какая задача на самом деле решается в эксперименте. Демаскировка равнозначна срыву полевой работы.
Этические проблемы, возникающие в социологическом экспериментировании, не более серьезны, чем аналогичные проблемы в медицине и биологии. Манипулирование людьми, обращение с ними, как с материалом, — неизбежный факт исследовательской работы. Конечно, здесь возможны злоупотребления, но где их нет?
В отличие от естественных и технических наук в социологии отсутствуют теоретические схемы, являющиеся основанием для оценки значимости переменных. Когда инженер проверяет надежность прибора на стенде, он знает, что окраской корпуса в большинстве случаев можно пренебречь. Иное дело — живые респонденты, для которых могут оказаться весьма существенными параметрами как раз те, которые не воспринимаются серьезно исследователем. Например, если в хорошо подобранной экспериментальной группе окажется несколько энтузиастов, результаты экспериментирования нельзя считать «чистыми» вне зависимости от темы исследования.
Из сказанного следует, что проконтролировать все значимые переменные невозможно, но необходимо. Поэтому исследователь создает измерительные конфигурации, исходя из своих теоретических представлений.
С помощью сравнения устанавливаются лишь различия между группами, но вопрос о зависимости признаков остается открытым. Манипуляция с экспериментальными объектами позволяет включить в научный вывод суждение о причинной зависимости между переменными. Со времен Дэвида Юма известно, что причинность не может быть выведена с помощью одного только рассудка и опирается на привычку — суждение, находящее свои основания в практическом, вненаучном опыте. Экспериментирование заключается в манипуляциях, которые вызывают соответствующие изменения в объекте. Здесь отчетливо прорисовывается критерий зависимости независимости: зависимая переменная всегда реагирует на внесение изменений в независимую переменную. Однако объект может изменяться под влиянием и иных, альтернативных факторов.
Известно также, что «после этого — не по причине этого». Предшествование по времени является необходимым, но недостаточным условием причинения. Нужна еще уверенность в том, что причина лежит именно в данной, а не в иной переменной. Поскольку имеется практически бесконечное число возможных причин, повлиявших на изменения, такая уверенность никогда не достигается. Исследователь может лишь проверить гипотезу и не отвергнуть ее.
В лабораторных условиях можно манипулировать переменными и осуществлять замеры до и после изменений. В естественной обстановке манипулировать обстоятельствами чаще всего невозможно. В последнем случае говорить о причинности особенно рискованно.
Контроль — третья задача экспериментального проекта. Она направлена на устранение постороннего («третьего») фактора, влияющего на причинную зависимость между изучаемыми переменными. Часто контроль обозначается как обеспечение внутренней валидности научного вывода и соотносится с ответом на вопрос: действительно ли причиной наблюдаемого события (значения переменной) является признак, рассматриваемый исследователем как независимый.
Ф. Чэпин сравнивал экспериментальную группу семей — тех, кого переселили в новые квартиры, с контрольной группой — теми, кто остался жить в трущобах. Он изучал изменения в жизненном укладе обитателей трущоб, которые происходят под влиянием переселения семей в дома общественного сектора. Основной вывод исследования опирался на установленный факт: в экспериментальной группе уровень жизни значительно повысился. Отсюда следовало заключение, что проекты общественной застройки обусловливают положительные изменения в образе жизни людей. Однако этот вывод недостаточно обоснован, поскольку семьи, переселившиеся в новые дома, изначально отличались от семей контрольной группы. Вероятно экспериментальная и контрольная группы различались по типу занятости, уровню образования, величине семьи, в конце концов по установкам. Все эти «третьи» факторы следовало контролировать до того, как сделан вывод о влиянии переселения на образ жизни семей.
Для более или менее уверенного утверждения о причинной зависимости между переменными надо соблюсти три необходимых условия. Первое условие относится к временной последовательности - причина предшествует следствию, только после применения экспериментальной переменной наблюдается эффект. Второе условие состоит в статистической зависимости одного признака от другого; утверждение о причинной связи не может не опираться на установленную тесную корреляцию. В практике статистического оценивания разработаны критерии и допущения, считающиеся приемлемыми для такого рода утверждений. Например, считается достаточной вероятность ошибки 5 шансов из 100.
Предположим, что один признак предшествует другому и между ними наблюдается тесная статистическая связь. Однако утверждать о причинной связи преждевременно. Следует соблюсти третье условие - самое сложное: не должно быть иного правдоподобного альтернативного объяснения возникновения признака-следствия, кроме как связь с экспериментальным признаком. Иными словами, связь может казаться причинной, а на самом деле является результатом влияния посторонних («третьих») переменных. Экспериментатор обязан сделать все возможное для устранения этого «шума». Отсутствие каких-либо альтернативных объяснений и достаточная уверенность в том что эффект вызван именно данной причиной, определяется как внутренняя валидность эксперимента. При соблюдении всех трех условий, т. е. внутренней валидности, можно уверенно утверждать о причинной связи между признаками. Правда, соблюсти все три условия еще никому не удавалось.
Но эксперимент — довольно локальное событие. Он ограничен временем, местом, материалом и иными внешними обстоятельствами. А можно ли распространить полученные во внутренне валидном эксперименте выводы на иные, в том числе неэкспериментальные ситуации? Здесь возникает проблема генерализации — четвертой экспериментальной задачи, завершающей цикл сравнения, манипулирования и контроля. Предположим, студенты тестируются в лаборатории по поводу их эмоционального отношения к политическим терминам. Сохранится ли их отношение к этим терминам вне аудитории? А если вместо студентов экспериментировать с рабочими? Реакция на политические термины в устной беседе — одно, а в печатном тексте — другое. Нескончаемая смена контекстов открывает проблему внешней солидности — возможности обобщения, генерализации полученного заключения.