Projektowanie ankiet

Ankiety są trudniejsze, niż się wydaje

Tworzenie ankiety wydaje się proste: napisz kilka pytań, wyślij je i policz odpowiedzi. Ale źle zaprojektowane ankiety produkują dane mylące lub bezużyteczne. Źle sformułowane pytanie może skłaniać respondentów do konkretnej odpowiedzi. Niejasna skala może oznaczać co innego dla różnych ludzi. Zbyt długa ankieta sprawi, że większość respondentów porzuci ją w połowie, zostawiając ci obciążone wyniki od najbardziej zmotywowanych (lub znudzonych) osób.

Dobre projektowanie ankiet to umiejętność łącząca psychologię, komunikację i statystykę. Celem jest zebranie dokładnych, szczerych informacji odzwierciedlających to, co ludzie naprawdę myślą, czują lub robią -- a nie to, do czego sformułowanie pytania ich skłania.

Rodzaje pytań

Pytania zamknięte dają respondentom ustalony zestaw opcji do wyboru. "Jak bardzo jesteś zadowolony z naszej usługi? Bardzo zadowolony / Zadowolony / Neutralny / Niezadowolony / Bardzo niezadowolony." Są łatwe do analizy statystycznej, ale ograniczają to, co respondenci mogą ci powiedzieć.

Pytania otwarte pozwalają respondentom odpowiadać własnymi słowami. "Co moglibyśmy zrobić, aby poprawić twoje doświadczenie?" Mogą ujawnić zaskakujące spostrzeżenia, ale ich analiza jest czasochłonna i trudna do kwantyfikacji.

Większość dobrze zaprojektowanych ankiet używa mieszanki obu. Pytania zamknięte stanowią kościec ilościowy, podczas gdy kilka pytań otwartych wychwytuje niuanse, których ustalone opcje mogłyby nie uchwycić.

Wykres powyżej pokazuje typowy rozkład odpowiedzi na pięciopunktowej skali Likerta. Zauważ, jak odpowiedzi mają tendencję do skupiania się wokół środka i lekko pozytywnego końca -- powszechny wzorzec znany jako tendencja do zgadzania się, gdzie ludzie częściej się zgadzają niż nie zgadzają.

Unikanie pytań sugerujących i obciążonych

Pytanie sugerujące kieruje respondentów w stronę konkretnej odpowiedzi. "Czy nie zgadzasz się, że nasza obsługa klienta jest doskonała?" praktycznie wymusza "tak." Neutralna wersja brzmiałaby: "Jak oceniasz naszą obsługę klienta?" Pytania sugerujące są czasami używane celowo do wytworzenia korzystnych wyników, ale niszczą wiarygodność każdej ankiety.

Pytanie obciążone zawiera ukryte założenie. "Jak bardzo lubisz nasze nowe funkcje premium?" zakłada, że respondent ich używał i mu się podobały. Każdy, kto ich nie używał lub ich nie lubi, jest zmuszony do niezręcznej odpowiedzi lub pominie pytanie.

Pytania podwójne pytają o dwie rzeczy naraz. "Jak zadowolony jesteś z szybkości i dokładności naszej usługi?" Co jeśli szybkość jest świetna, ale dokładność fatalna? Respondent nie może udzielić szczerej odpowiedzi. Rozdziel je na dwa osobne pytania.

Błąd systematyczny odpowiedzi i jak go minimalizować

Błąd społecznej pożądliwości występuje, gdy respondenci udzielają odpowiedzi, które uważają za społecznie akceptowalne, zamiast prawdziwych. Ludzie zawyżają ilość ćwiczeń, zaniżają spożycie alkoholu i twierdzą, że segregują więcej odpadów niż w rzeczywistości. Anonimowe ankiety zmniejszają ten błąd, ale nie eliminują go całkowicie.

Efekty kolejności również mogą wpływać na odpowiedzi. Pytania na początku ankiety mogą kształtować sposób myślenia ludzi o późniejszych pytaniach. Jeśli najpierw zapytasz o negatywne doświadczenia, respondenci mogą być bardziej krytyczni przy ocenie ogólnej satysfakcji. Randomizacja kolejności pytań może pomóc, choć logiczny przepływ też ma znaczenie.

Zmęczenie respondenta pojawia się, gdy ankiety są zbyt długie. Po 10-15 minutach jakość odpowiedzi gwałtownie spada. Ludzie zaczynają wybierać tę samą odpowiedź na każde pytanie (tzw. "prostowanie") lub pędzą przez ankietę bez uważnego czytania. Ankiety powinny być jak najkrótsze. Każde pytanie powinno zasługiwać na swoje miejsce, bezpośrednio służąc celowi badawczemu.

Wykres powyżej pokazuje typowe wskaźniki ukończenia w zależności od długości ankiety. Ankieta 5-minutowa zatrzymuje większość respondentów, podczas gdy 30-minutowa traci zdecydowaną większość. Respondenci, którzy kończą długie ankiety, często nie są reprezentatywni dla szerszej publiczności.

Skale Likerta i formaty odpowiedzi

Skala Likerta to najszerzej stosowany format odpowiedzi w ankietach. Przedstawia stwierdzenie i prosi respondentów o wskazanie poziomu zgody, zazwyczaj na skali 5-punktowej lub 7-punktowej. Pięć punktów (od Zdecydowanie się zgadzam do Zdecydowanie się nie zgadzam) sprawdza się w większości przypadków. Siedem punktów oferuje większą precyzję, ale może przytłoczyć przypadkowych respondentów.

Jedną z częstych debat jest to, czy uwzględniać neutralny punkt środkowy. Uwzględnienie go pozwala naprawdę neutralnym respondentom to wyrazić, ale daje też łatwą ucieczkę osobom, które nie chcą się zastanowić. Niektórzy badacze stosują parzystą liczbę opcji (4 lub 6 punktów), aby zmusić respondentów do opowiedzenia się po jednej stronie.

Niezależnie od wybranej skali, bądź konsekwentny w całej ankiecie. Przeskakiwanie między skalą 5- i 7-punktową lub zmiana kierunku (czasem "1" oznacza najlepiej, a czasem "1" oznacza najgorzej) dezorientuje respondentów i zwiększa liczbę błędów.

Uwagi dotyczące wielkości próby

Ile odpowiedzi potrzebujesz? Odpowiedź zależy od tego, jak precyzyjne mają być wyniki, jak zmienna jest populacja i jaki błąd jesteś w stanie zaakceptować. Dla większości praktycznych celów 300-400 odpowiedzi daje margines błędu około 5% przy poziomie ufności 95%. Większe próby dają większą precyzję, ale ze zmniejszającymi się zwrotami -- przejście z 400 do 1600 odpowiedzi zmniejsza margines błędu tylko o połowę.

Ale wielkość próby ma znaczenie tylko wtedy, gdy próba jest reprezentatywna. Milion odpowiedzi z samowybranej ankiety internetowej jest wart mniej niż 500 odpowiedzi z prawidłowo zrandomizowanej próby. Jakość próbkowania zawsze przewyższa ilość odpowiedzi.