Как проводить эвристическую оценку (стр. 2 из 2)

Эвристическая оценка на является методом систематического тестирования интерфейса или методом оценки качества осуществленного редизайна. Тем не менее, так как эвристическая оценка подразумевает объяснение каждой обнаруженной проблемы на основе определенных принципов юзабилити, этот метод помогает довольно легко делать новый дизайн. Кроме того, многие проблемы с юзабилити, стоит их только обнаружить, можно достаточно легко и быстро исправить.

Например, если проблема состоит в том, что пользователь не может скопировать информацию из одного окна в другое, то решение этой проблемы достаточно очевидное - добавить такую функцию в программу. Точно также, если проблема состоит в том, что в интерфейсе программы используются разные шрифты, по разному пишутся слова или называется один и тот же термин, решение данной проблемы также очевидно - выбрать единый формат для всего интерфейса. Тем не менее, даже в этих простых примерах дизайнер не получает от эксперта никакой информации как именно ему нужно изменить интерфейс (например, как именно должна быть реализована функция копирования из одного окна в другое, или какой именно надо выбрать формат шрифта для интерфейса).

В качестве расширения метода эвристической оценки, чтобы у дизайнеров появилась отправная точка для работы, мы рекомендуем проводить обще собрание экспертов после проведения последнего сеанса оценки. В число участников собрания включают экспертов, наблюдателя и представителей дизайнерской команды. Собрание проводится сначала в режиме мозгового штурма и концентрируется на том, какие надо внести изменения в дизайн, чтобы исправить обнаруженные ошибки или более общие ошибки дизайна в целом. Это собрание также хорошая возможность обсудить позитивные моменты в исследованном дизайне, так как эвристическая оценка никак не затрагивает эту важную сторону исследуемого предмета.

Эвристическая оценка относится к методам юзабилити "для малого бюджета". Независимые исследования (Jeffriesetal. 1991) безусловно показали, что метод эвристической оценки является очень эффективным методом юзабилити. В одном из случаев из моего личного опыта нам удалось достичь 48-кратной эффективности: стоимость проведенного исследования составляла 10.500 долларов, в то время как ожидаемый эффект от этого исследования составил 500.000 долларов (Nielsen 1994). Являясь методом "для малого бюджета", метод эвристической оценки не может дать "идеальных" результатов или помочь вам отыскать все до единой ошибки в интерфейсе.

Определяем количество участников

В принципе эвристическую оценку пользовательского интерфейса может выполнить и один человек, однако опыт работы в нескольких проектах показывает, что при использовании только одного эксперта уровень результатов оставляет желать лучшего. Примерно в шести моих проектах эксперт, работавший один, нашел лишь 35% проблем с юзабилити. Однако, в связи с тем, что разные эксперты могут найти разные проблемы, гораздо более высокого результата можно достичь объединив усилия нескольких экспертов. На Рис.2 показано отношение количества найденных проблем к количеству экспертов, принимавших участие в тестировании. График ясно показывает, что несколько участников намного лучше, чем один. Мы считаем разумным ограничиться пятью экспертами, и уж конечно их число не должно быть меньше трех. Точное число экспертов зависит от стоимости проекта и стоимости ожидаемого результата. Большее число экспертов требуется там, где роль юзабилити очень важна, или там, где ожидается большая отдача от обнаружения ошибок в связи с чрезвычайной важностью системы или ее широкомасштабным использованием.

Рис. 2

Кривая демонстрирует отношение между числом найденных проблем и числом экспертов. Кривая отображает средние данные, выведенные на основании шести проектов.

В своей работе Нильсен и Ландауэр представили модель, основанную на формуле, позволяющей предсказать число найденных проблем, основываясь на числе участников эвристической оценки:

ProblemsFound(i) = N(1 - (1-l)i )

где ProblemsFound(i) обозначает количество различных проблем, найденных при объединении результатов работы i независимых экспертов. N обозначает общее количество проблем в интерфейсе, а l обозначает среднее количество проблем, которые находит один эксперт. В шести проектах значение l колебалось от 19 до 51 процента, а усредненное значение составляло 34 процента. Значения переменной N варьировались от 16 до 50 процентов, а усредненное значение равнялось 33. Используя эти значения в формуле, вы получите кривую, которая очень сильно приближена к той, что представлена на Рис.2, хотя точная форма кривой будет зависеть от ваших конкретных средних значений N и l, которые в вашем конкретном проекте могут отличаться от наших значений.

Для того, чтобы определить оптимальное число экспертов, необходимо соотнести стоимость эвристической оценки с её отдачей. Первый элемент при вычислении - это стоимость проведения теста, включающая фиксированные и переменные расходы. Фиксированные расходы это те, которые придется заплатить вне зависимости от того, сколько экспертов будет привлечено к тестированию: стоимость составления плана тестирования, стоимость подготовки материалов, написания отчета. Переменные расходы - это те дополнительные расходы, которые набегают всякий раз, когда к тесту привлекается очередной дополнительный эксперт. Сюда входит оплата работы эксперта, стоимость оценки его отчета, стоимость оборудования или других ресурсов. Основываясь на опыте нескольких проектов мы считаем, что постоянные расходы на эвристическую оценку составляют где-то 3.700 - 4.800 долларов, а переменные расходы - 410 - 900 долларов на каждого эксперта.

Разумеется, конкретные суммы расходов зависят от проекта, от вашей компании и от сложности оцениваемого интерфейса. В качестве отправной точки считайте, что фиксированная стоимость эвристической оценки равна 4.000 долларам, а переменная стоимость - 600 долларам на каждого эксперта. В таком случае общая стоимость тестирования при помощи i экспертов рассчитывается по формуле $(4,000 + 600i).

Выгодами от эвристической оценки являются найденные проблемы с юзабилити, хотя в некоторых случаях выгодой можно назвать побочный обучающий эффект, когда эксперты повышают уровень своих знаний, сравнивая свои отчеты с отчетами других экспертов на общем собрании. В нашем проекте стоимость каждой необнаруженной ошибки составляла 15.000 долларов. Разумеется, в вашем конкретном проекте стоимость будет другая. Например для программ, которые используются внутри вашей компании, оценивать стоимость каждой ошибки, найденной во время тестирования, можно по ожидаемому росту производительности труда пользователей; для продуктов, которые будут продаваться на рынке, оценку можно основывать на предполагаемом росте продаж благодаря более высокому уровню удовлетворения покупателей или более высоким оценкам сторонних экспертов. Обратите внимание, что в плюс вы записываете себе только те проблемы, которые были обнаружены до отправки продукта на прилавок. Так как все обнаруженные проблемы исправить невозможно, стоимость обнаруженной, но неисправленной проблемы, ниже стоимости обнаруженной и исправленной.

Рис. 3

Кривая показывает во сколько раз отдача от эвристической оценки выше расходов на ее проведение. Данные взяты из проекта, о котором идет речь в тексте. Оптимальное количество участников теста - 4 человека. При этом отдача от них в 62 раза выше расходов.

На рис.3 представлены различные соотношения отдачи от теста к его стоимости при различном количестве участников теста. Кривая показывает, что Оптимальное количество участников теста - 4 человека. Это подтверждает общие наблюдения, что эвристическая оценка лучше всего работает, когда в ней принимает участие от трех до пяти экспертов. В нашем примере, если эвристическая оценка обошлась бы в 6.400 долларов, а общая стоимость найденных проблем с юзабилити составила бы 395.000 долларов.