Таблица 5
Сравнительная оценка двух ресторанов
| Высокие цены | Низкие цены |
| Неудобное месторасположение | Удобное месторасположение |
| Теплая атмосфера | Холодная атмосфера |
| Ограниченное меню | Разнообразное меню |
| Быстрое обслуживание | Медленное обслуживание |
| Пища низкого качества | Пища высокого качества |
| Посещение в осовых случаях | Ежедневное посещение |
Обозначения: сплошная линия – оценки ресторана #1, пунктир – ресторана #2.
В табл. 5 специально все положительные или отрицательные оценки не расположены только с одной стороны, а случайным образом перемешаны. Это сделано для того, чтобы избежать “гало эффекта”. Он заключается в том, что если первый оцениваемый объект обладает первыми более высокими оценками (левая сторона анкеты) по сравнению со вторым объектом, то респондент будет иметь тенденцию и дальше ставить оценки слева.
Одним из достоинств данного метода является то, что если отдельным градациям в шкале присвоить номера:1, 2, 3, и т.д., и ввести в компьютер данные разных респондентов, то конечные результаты могут быть получены в графическом виде (табл. 5).
При применении вышеназванных шкал возникает вопрос о целесообразности использования нейтральной точки. Все зависит от того, имеют или нет респонденты нейтральное мнение. Однозначной рекомендации по этому вопросу дать не представляется возможным.
Тоже самое можно сказать и относительно того, строить шкалу симметричной или несимметричной.
Существует великое множество вариантов шкал, построенных на основе изложенных принципов. Окончательный выбор обычно делается на основе испытания уровня надежности и точности измерений, проведенных с помощью различных вариантов шкал.
Надежность и достоверность измерения маркетинговой информации
Описанные выше способы построения шкал не дают полного представления о свойствах полученных оценок. Необходимы дополнительные процедуры для выявления присущих этим оценкам ошибок. Назовем это проблемой надежности измерения. Эта проблема решается путем выявления правильности измерения, устойчивости и обоснованности.
При изучении правильности устанавливается общая приемлемость данного способа измерения (шкалы или системы шкал). Непосредственно понятие правильности связано с возможностью учета в результате измерения различного рода систематических ошибок. Систематические ошибки имеют некоторую стабильную природу возникновения: либо они являются постоянными, либо меняются по определенному закону.
Устойчивость характеризует степень совпадения результатов измерения при повторных применениях измерительной процедуры и описывается величиной случайной ошибки. Она определяется постоянством подхода респондента к ответам на одинаковые или подобные вопросы.
Например, вы являетесь одним из опрашиваемых, отвечающим на вопросы анкеты табл. 5 относительно деятельности какого-то ресторана. Из-за медленного обслуживания в данном ресторане вы опоздали на деловую встречу, поэтому вы дали самую низкую оценку по данному показателю. Спустя неделю вам позвонили и просили подтвердить, что вы действительно приняли участие в проведенном обследовании. Затем вас попросили по телефону ответить на ряд дополнительных вопросов, среди которых был вопрос о быстроте обслуживания по шкале от 1 до 7, где 7 означало самое быстрое обслуживание. Вы поставили 2, продемонстрировав высокий уровень идентичности оценок и следовательно, – устойчивость ваших оценок.
Наиболее сложный вопрос надежности измерения – его обоснованность. Обоснованность связана с доказательством того, что измерено вполне определенное заданное свойство объекта, а не некоторое другое, более или менее на него похожее.
При установлении надежности следует иметь в виду, что в процессе измерения участвуют три составляющие: объект измерения, измеряющие средства, с помощью которых производится отображение свойств объекта на числовую систему, и субъект (интервьюер), производящий измерение. Предпосылки надежного измерения кроются в каждой отдельной составляющей.
Прежде всего, когда в качестве объекта измерения выступает человек, то он в отношении измеряемого свойства может обладать значительной степенью неопределенности. Так, зачастую у респондента нет четкой иерархии жизненных ценностей, а следовательно, нельзя получить и абсолютно точные данные, характеризующие важность для него тех или иных явлений. Он может быть плохо мотивирован, вследствие чего невнимательно отвечает на вопросы. Однако только в последнюю очередь следует искать причину ненадежности оценок в самом респонденте.
С другой стороны, может быть, что способ получения оценки не в состоянии дать максимально точных значений измеряемого свойства. Например, у респондента существует развернутая иерархия ценностей, а для получения информации используется шкала с вариациями ответов только «очень важно» и «совсем неважно». Как правило, из приведенного набора все ценности помечаются ответами “очень важно”, хотя реально у респондента имеется большее число уровней значимости.
Наконец, при наличии высокой точности первых двух составляющих измерения субъект, производящий измерение, допускает грубые ошибки; нечетко составлены инструкции к анкете; интервьюер каждый раз по-разному формулирует один и тот же вопрос, использую различную терминологию.
Например, в процессе интервью, в ходе которого должна быть выявлена система ценностей опрашиваемого, интервьюер не смог довести до респондента суть опроса, не смог добиться доброжелательного отношения к исследованию и пр.
Каждая составляющая процесса измерения может быть источником ошибки, связанной либо с устойчивостью, либо с правильностью, либо с обоснованностью. Однако, как правило, исследователь не в состоянии разделить эти ошибки по источникам их происхождения и поэтому изучает ошибки устойчивости, правильности и обоснованности всего измерительного комплекса в совокупности. При этом правильность (как отсутствие систематических ошибок) и устойчивость информации – элементарные предпосылки надежности. Наличие существенной ошибки в этом отношении уже сводит на нет проверку данных измерения на обоснованность.
В отличие от правильности и устойчивости, которые могут быть измерены достаточно строго и выражены в форме числового показателя, критерии обоснованности определяются либо на основе логических рассуждений, либо на основе косвенных показателей. Обычно применяется сравнение данных одной методики с данными других методик или исследований.
Прежде чем приступать к изучению таких компонентов надежности, как устойчивость и обоснованность, необходимо убедиться в правильности выбранного инструмента измерения.
Возможно, что последующие этапы окажутся излишними, если в самом начале выяснится полная неспособность данного инструмента на требуемом уровне дифференцировать изучаемую совокупность, иначе говоря, если окажется, что систематически не используется какая-то часть шкалы либо та или иная градация шкалы или вопроса. И, наконец, возможно, что исходный признак не обладает дифференцирующей способностью в отношении объекта измерения. Прежде всего нужно ликвидировать или уменьшить такого рода недостатки шкалы и только затем использовать ее в исследовании.
К числу недостатков используемой шкалы прежде всего следует отнести отсутствие разброса ответов по значениям шкалы. Попадание ответов в один пункт свидетельствует о полной непригодности измерительного инструмента – шкалы. Такая ситуация может возникнуть или из-за «нормативного» давления в сторону общепринятого мнения, или из-за того, что градации (значения) шкалы не имеют отношения к распределению данного свойства у рассматриваемых объектов (нерелевантны).
Например, если все опрашиваемые респонденты согласны с утверждением «хорошо, когда строительный инструмент является универсальным», нет ни одного ответа «не согласен», то подобная шкала не поможет дифференцировать отношение респондентов к разным типам строительных инструментов.
Использование части шкалы. Довольно часто обнаруживается, что практически работает лишь какая-то часть шкалы, какой-то один из ее полюсов с прилегающей более или менее обширной зоной.
Так, если респондентам для оценки предлагается шкала, имеющая положительный и отрицательный полюса, в частности от +3 до – 3, то при оценивании какой-то заведомо положительной ситуации респонденты не используют отрицательные оценки, а дифференцируют свое мнение лишь с помощью положительных. Для того чтобы вычислить значение относительной ошибки измерения, исследователь должен знать определенно, какой же метрикой пользуется респондент – всеми семью градациями шкалы или только четырьмя положительными. Так, ошибка измерения в 1 балл мало о чем говорит, если мы не знаем, какова действительная вариация мнений.
Для вопросов, имеющих качественные градации ответов, можно применять подобное требование в отношении каждого пункта шкалы: каждый из них должен набирать не менее 5% ответов, в противном случае считаем этот пункт шкалы неработающим. Требование 5%-ного уровня наполнения каждой градации шкалы не следует рассматривать как строго обязательное; в зависимости от задач исследования могут быть выдвинуты большие или меньшие значения этих уровней.
Неравномерное использование отдельных пунктов шкалы. Случается, что некоторое значение признака систематически выпадает из поля зрения респондентов, хотя соседние градации, характеризующие более низкую и более высокую степень выраженности признака, имеют существенное наполнение.