Дизайн опросов

Опросы сложнее, чем кажется

Создание опроса кажется простым: написать вопросы, разослать и подсчитать ответы. Но плохо составленные опросы дают обманчивые или бесполезные данные. Неудачная формулировка может подтолкнуть респондентов к определённому ответу. Непонятная шкала может означать разное для разных людей. Слишком длинный опрос приведёт к тому, что большинство респондентов бросят его на полпути, оставив вас с предвзятыми результатами только от самых мотивированных (или скучающих) завершителей.

Хороший дизайн опросов -- это навык, сочетающий психологию, коммуникацию и статистику. Цель -- собрать точную, честную информацию, отражающую то, что люди действительно думают, чувствуют или делают -- а не то, к чему их подталкивает формулировка вопроса.

Типы вопросов

Закрытые вопросы дают респондентам фиксированный набор вариантов для выбора. «Насколько вы довольны нашим сервисом? Очень доволен / Доволен / Нейтрально / Недоволен / Очень недоволен.» Их легко анализировать статистически, но они ограничивают то, что респонденты могут сообщить.

Открытые вопросы позволяют респондентам отвечать своими словами. «Что мы могли бы сделать для улучшения вашего опыта?» Они могут выявить неожиданные идеи, но их сложно анализировать и количественно оценивать.

Большинство хорошо составленных опросов используют сочетание обоих типов. Закрытые вопросы обеспечивают количественную основу, а несколько открытых вопросов улавливают нюансы, которые фиксированные варианты могут упустить.

На графике выше показано типичное распределение ответов по пятибалльной шкале Лайкерта. Обратите внимание, что ответы группируются вокруг середины и слегка позитивного конца -- типичный паттерн, известный как смещение согласия, при котором люди чаще соглашаются, чем не соглашаются.

Как избежать наводящих и подталкивающих вопросов

Наводящий вопрос направляет респондентов к определённому ответу. «Разве вы не согласны, что наш сервис превосходен?» практически просит ответить «да». Нейтральная версия: «Как бы вы оценили наш сервис?» Наводящие вопросы иногда используются намеренно для получения выгодных результатов, но они уничтожают достоверность любого опроса.

Подталкивающий вопрос содержит скрытое допущение. «Насколько вам нравятся наши новые премиум-функции?» предполагает, что респондент ими пользовался и они ему понравились. Тот, кто их не использовал или кому они не нравятся, вынужден давать неловкий ответ или вовсе пропустить вопрос.

Двойные вопросы спрашивают о двух вещах одновременно. «Насколько вы довольны скоростью и точностью нашего сервиса?» А если скорость отличная, но точность ужасная? Респондент не может дать честный ответ. Разделяйте их на два отдельных вопроса.

Смещение ответов и как его минимизировать

Смещение социальной желательности возникает, когда респонденты дают ответы, которые считают социально приемлемыми, а не правдивые. Люди преувеличивают количество упражнений, занижают потребление алкоголя и утверждают, что перерабатывают отходы больше, чем на самом деле. Анонимные опросы уменьшают это смещение, но не устраняют полностью.

Эффекты порядка тоже могут влиять на ответы. Вопросы в начале опроса могут определять, как люди думают о последующих вопросах. Если сначала спросить о негативном опыте, респонденты могут быть в более критическом настроении при оценке общей удовлетворённости. Рандомизация порядка вопросов может помочь, хотя логическая последовательность тоже важна.

Усталость от ответов наступает, когда опросы слишком длинные. После 10-15 минут качество ответов резко падает. Люди начинают выбирать один и тот же ответ на каждый вопрос (так называемый «прямолинейный ответ») или торопятся, не читая внимательно. Делайте опросы как можно короче. Каждый вопрос должен заслуживать своего места, непосредственно служа вашей исследовательской цели.

На графике выше показаны типичные показатели завершения в зависимости от длины опроса. Пятиминутный опрос удерживает большинство респондентов, а 30-минутный теряет подавляющее большинство. Респонденты, которые всё-таки заканчивают длинные опросы, часто не репрезентативны для более широкой аудитории.

Шкалы Лайкерта и форматы ответов

Шкала Лайкерта -- наиболее распространённый формат ответов в опросах. Она представляет утверждение и просит респондентов указать степень согласия, обычно по 5- или 7-балльной шкале. Пять баллов (от «Полностью согласен» до «Совсем не согласен») подходят для большинства целей. Семь баллов предлагают более тонкие различия, но могут перегрузить случайных респондентов.

Частый предмет дискуссий -- включать ли нейтральную середину. Её наличие позволяет действительно нейтральным респондентам это выразить, но также даёт лёгкий выход для тех, кто не хочет думать. Некоторые исследователи используют чётное количество вариантов (4 или 6 баллов), чтобы заставить респондентов склониться в ту или иную сторону.

Какую бы шкалу вы ни выбрали, будьте последовательны во всём опросе. Переключение между 5- и 7-балльными шкалами или изменение направления (иногда «1» означает лучшее, а иногда «1» -- худшее) сбивает респондентов с толку и увеличивает количество ошибок.

Соображения о размере выборки

Сколько ответов вам нужно? Ответ зависит от того, насколько точными вы хотите видеть результаты, насколько изменчива ваша популяция и какую погрешность вы готовы допустить. Для большинства практических целей 300-400 ответов дают погрешность около 5% при 95%-ном уровне доверия. Более крупные выборки дают большую точность, но с убывающей отдачей -- увеличение с 400 до 1600 ответов лишь вдвое уменьшает погрешность.

Но размер выборки имеет значение, только если выборка репрезентативна. Миллион ответов из самоотобранного онлайн-опроса стоит меньше, чем 500 ответов из правильно рандомизированной выборки. Качество выборки всегда важнее количества ответов.