Как оценивается уровень надежности? Ведь вариация истинных и ошибочных замеров на самом деле неизвестна. Для решения этой задачи используются три техники косвенного оценивания: «тест-ретест», параллельные измерения и деление шкалы.
«Тест-ретест» показывает вероятность возникновения различных результатов при двух замерах одного и того же объекта одинаковым инструментом, но не дает никаких сведений об источнике ошибки. В частности, при повторном интервьюировании очень велика вероятность влияния первого замера на второй и последующие. Нормы морали предписывают держать свое слово, и те, у кого семь пятниц на неделе, не одобряются. Поэтому респондент склонен давать сходный ответ, если он запомнил его при первом опросе. В итоге оценка надежности инструмента будет явно завышена. На самом деле социологические признаки (особенно мнения и оценки) меняются. Если изменения будут зафиксированы, «тест-ретест» в данном случае покажет заниженную надежность.
Параллельные измерения избавлены от погрешностей, присущих «тест-ретесту». Измерительный инструмент применяется в двух формах одновременно. Например, для измерения установки можно использовать два разных тест-вопросника. Если полученные два ряда коррелируют, инструмент принимается. В данном случае остается неясным, какая форма основная, а какая параллельная. Выбор обычно осуществляется на основе произвольных критериев. Кроме того, разработка параллельных инструментов – дело довольно трудоемкое и, как правило, не оправдывает себя.
Деление шкалы заключаетсяв интерпретации двух частей континуума и более как отдельных шкал. Предположим, измерительным инструментом является совокупность вопросов. Она делится на две группы, например, на вопросы с четной и нечетной нумерацией. По каждой группе подсчитываются средние значения переменной. Затем вычисляется коэффициент корреляции – мера надежности шкалы.
Отклонение результата измерения от истинного значения признака может быть обусловлено систематической ошибкой. В данном случае речь идет о правильности. Инструмент создает систематическую ошибку, например, в тех случаях, когда шкалы несбалансированы, респонденты неверно понимают вопросы, сказывается влияние интервьюера и т.п. Смещения шкалы, как правило, возникают при ранжировании объектов по списку. Позиции, стоящие в начале списка, обычно отмечаются чаще, чем последние. Такой инструмент является неправильным. Правильным будет предъявлять респондентам карточки с наименованием объектов оценивания, не забывая их перемешивать.
Точность измерения – это количество градаций переменной, которое может быть изменено в зависимости от задач исследования. Возраст принято исчислять годами, но для младших дошкольников разница в несколько месяцев не менее важна, чем разница в несколько лет для взрослых. Расстояние от дома до работы может быть подсчитано с точностью до ста метров, однако такая точность вряд ли понадобится. Чем больше градаций, тем более точные данные получает исследователь. При этом вероятность отклонения результатов от истинных значений признака возрастает – надежность снижается.
Количество делений шкалы – результат разумного компромисса между стремлением к точности и требованиями надежности. Более точный инструмент, как правило, больше подвержен всякого рода неприятностям. Но надежность грубого инструмента не компенсирует грубости результатов. Как правило, при многократном повторении замеров и при отсутствии систематической ошибки их средняя приближается к истинному значению признака.
Устойчивость – это воспроизводимость результатов при многократных замерах. Дело в том, что меняться может не только характеристика объекта, но и сам измерительный инструмент. Он может быть точным и правильным, но неустойчивым. В отличие от правильности устойчивость нарушается по причине случайных ошибок. Устойчивость обратно пропорциональна точности. Чем чувствительнее инструмент, тем больше вариация получаемых данных. В технике устойчивость измерительного прибора в большинстве случаев можно уверенно контролировать. В социологии же, особенно при измерении установок, вторичный замер соотносится уже не со «старым» признаком, а с тем, к которому уже было применено воздействие инструмента.
Валидность инструмента связана с отношением между измерительным инструментом и результатами измерения. Предполагается, что если инструмент валидный, то существуют определенные эмпирические отношения между результатами его применения и другими свойствами или переменными. Эти отношения лежат в основе предикативной валидности – корреляции между результатами измерения и внешними критериями.
Наиболее распространенный критерий валидности связан с методом «известной группы». Предположим, надо оценить валидность тест-вопросника для измерения политического консерватизма. В качестве внешнего критерия можно избрать социально-экономический статус. Мотивы такого выбора обусловлены теоретическим выводом, что консервативные установки более представлены в среднем классе, чем в среди бедных.
Если же обнаружится, что в среднем и низшем классах примерно одинаковое количество консервативно настроенных, предикативная валидность инструмента становится сомнительной. Высокая корреляция между социально-экономическим статусом и консервативной установкой, измеренной определенным образом, не валидизирует инструмент, а только не отвергает его. Это связано с тем, что независимый критерий может не иметь никакого отношения к консерватизму.
Конструктная валидность связывает измерительный инструмент со структурой теории. Она основывается на следующем рассуждении. Во-первых, предполагается, что инструмент измеряет определенное свойство; во-вторых, это предположение интерпретируется в терминах теории; в-третьих, устанавливается круг свойств, связанных или не связанных с инструментом; в-четвертых, предполагаемые отношения подтверждаются либо не подтверждаются эмпирическими данными, Если предсказание подтверждается, то инструмент считается валидным. В случае неподтверждения допустимы три версии: 1) инструмент не измеряет предполагаемое свойство; 2) ошибочна теоретическая модель, лежащая в основе предсказания; 3) неверно измерены критерии проверки предсказания.
Социологический опрос проводится методом интервьюирования на основе нижеприведенного бланка опроса.
Г.С. БАТЫГИН
ЛЕКЦИИ ПО МЕТОДОЛОГИИ СОЦИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ М:, Аспект Пресс, 1995 г.
[1]Чесноков С.В. Детерминационый анализ социологических данных в режиме диалога: Препринт / Всесоюзный научно-исследовательский институт системных исследований. М.: ВНИИСИ, 1980. С. 45.
[2]Чесноков С.В. Основы гуманитарных измерений: Препринт / Всесоюзный научно-исследовательский институт системных исследований. М.: ВНИИСИ, 1985. С. 5, 17.
[3]Саганенко Г.И. Социологическая информация: статистическая оценка надежности исходных данных социологического исследования. Л.: Наука, 1979. С. 14.
[4]Клигер С.А., Косолапов М.С., Толстова Ю.Н. Шкалирование при сборе и анализе социологической информации, М,: Наука, 1977. С. 20.
[5] Там же. С. 22.
[6]Platt J. Cases... of cases of cases // What is a case: Exploring the foundations of social inquiry / Ed. by Ch. Ragin, H. Becker. Cambridge: Cambridge University Press, 1992.