Дизайн опитувань

Опитування складніші, ніж здається

Створити опитування здається просто: написати кілька питань, розіслати і підрахувати відповіді. Але погано сконструйовані опитування дають хибні або марні дані. Невдало сформульоване питання може підштовхнути респондентів до певної відповіді. Незрозуміла шкала може означати різне для різних людей. Занадто довге опитування змусить більшість респондентів кинути його на півдорозі, залишивши вас із упередженими результатами від найбільш мотивованих (або нудьгуючих) завершувачів.

Хороший дизайн опитувань - це навичка, що поєднує психологію, комунікацію та статистику. Мета - зібрати точну, чесну інформацію, що відображає те, що люди дійсно думають, відчувають або роблять - а не те, до чого їх підштовхує формулювання питання.

Типи питань

Закриті питання дають респондентам фіксований набір варіантів на вибір. «Наскільки ви задоволені нашим сервісом? Дуже задоволений / Задоволений / Нейтральний / Незадоволений / Дуже незадоволений.» Їх легко аналізувати статистично, але вони обмежують те, що респонденти можуть вам сказати.

Відкриті питання дозволяють респондентам відповідати своїми словами. «Що ми могли б зробити, щоб покращити ваш досвід?» Вони можуть виявити несподівані інсайти, але їх важко аналізувати та кількісно оцінювати.

Більшість добре сконструйованих опитувань використовують поєднання обох типів. Закриті питання забезпечують кількісну основу, тоді як кілька відкритих питань уловлюють нюанси, які фіксовані варіанти можуть пропустити.

Графік вище показує типовий розподіл відповідей за п'ятибальною шкалою Лікерта. Зверніть увагу, як відповіді групуються навколо середини та трохи позитивного боку - поширена закономірність, відома як упередження згоди, коли люди схильні погоджуватися більше, ніж не погоджуватися.

Уникнення навідних та провокаційних питань

Навідне питання спрямовує респондентів до певної відповіді. «Хіба ви не згодні, що наш сервіс чудовий?» практично вимагає відповіді «так». Нейтральна версія: «Як би ви оцінили наш сервіс?» Навідні питання іноді використовуються навмисно для отримання сприятливих результатів, але вони руйнують достовірність будь-якого опитування.

Провокаційне питання містить приховане припущення. «Наскільки вам подобаються наші нові преміум-функції?» припускає, що респондент ними користувався і вони йому сподобалися. Будь-хто, хто не користувався функціями або кому вони не подобаються, змушений давати незручну відповідь або пропустити питання.

Подвійні питання запитують про дві речі одночасно. «Наскільки ви задоволені швидкістю та точністю нашого сервісу?» А якщо швидкість чудова, але точність жахлива? Респондент не може дати чесну відповідь. Розділіть це на два окремі питання.

Упередженість відповідей та як її мінімізувати

Упередженість соціальної бажаності виникає, коли респонденти дають відповіді, які вважають соціально прийнятними, а не правдивими. Люди перебільшують фізичні навантаження, занижують споживання алкоголю та стверджують, що сортують сміття частіше, ніж насправді. Анонімні опитування зменшують цю упередженість, але не усувають повністю.

Ефекти порядку також можуть впливати на відповіді. Питання на початку опитування можуть задати тон тому, як люди думають про наступні питання. Якщо спершу запитати про негативний досвід, респонденти можуть бути більш критичними при оцінці загальної задоволеності. Рандомізація порядку питань може допомогти, хоча логічна послідовність також важлива.

Втома від відповідей настає, коли опитування занадто довге. Після 10-15 хвилин якість відповідей різко падає. Люди починають обирати однакову відповідь на кожне питання (так зване «пряме заповнення») або поспішають, не читаючи уважно. Тримайте опитування якомога коротшими. Кожне питання має заслуговувати своє місце, безпосередньо слугуючи дослідницькій меті.

Графік вище показує типові рівні завершення за тривалістю опитування. 5-хвилинне опитування утримує більшість респондентів, тоді як 30-хвилинне втрачає переважну більшість. Респонденти, які все ж завершують довгі опитування, часто не репрезентують ширшу аудиторію.

Шкали Лікерта та формати відповідей

Шкала Лікерта - найпоширеніший формат відповідей в опитуваннях. Вона подає твердження і просить респондентів вказати ступінь згоди, зазвичай за 5- або 7-бальною шкалою. П'ять балів (від «Цілком згоден» до «Зовсім не згоден») добре працюють для більшості цілей. Сім балів пропонують тонші відмінності, але можуть перевантажити звичайних респондентів.

Одна поширена дискусія - чи включати нейтральну середню точку. Її включення дозволяє справді нейтральним респондентам це виразити, але також дає легкий вихід тим, хто не хоче думати. Деякі дослідники використовують парну кількість варіантів (4 або 6 балів), щоб змусити респондентів схилитися в один бік.

Яку б шкалу ви не обрали, будьте послідовними протягом усього опитування. Перемикання між 5-бальною та 7-бальною шкалами або зміна напрямку (іноді «1» означає найкраще, а іноді «1» - найгірше) збиває респондентів з пантелику та збільшує кількість помилок.

Розмір вибірки

Скільки відповідей потрібно? Відповідь залежить від бажаної точності результатів, варіативності популяції та допустимої похибки. Для більшості практичних цілей 300-400 відповідей дають похибку близько 5% при 95% рівні довіри. Більші вибірки дають більшу точність, але зі спадаючою ефективністю - збільшення з 400 до 1600 відповідей лише вдвічі зменшує похибку.

Але розмір вибірки має значення лише якщо вибірка репрезентативна. Мільйон відповідей із самовибіркового онлайн-опитування вартують менше, ніж 500 відповідей із належним чином рандомізованої вибірки. Якість вибірки завжди переважає кількість відповідей.