Desain Survei

Survei lebih sulit dari yang terlihat

Membuat survei tampak mudah: tulis beberapa pertanyaan, kirimkan, dan hitung jawabannya. Tapi survei yang dirancang buruk menghasilkan data yang menyesatkan atau tidak berguna. Pertanyaan yang dirumuskan buruk dapat mendorong responden ke jawaban tertentu. Skala yang tidak jelas bisa berarti hal berbeda bagi orang berbeda. Survei yang terlalu panjang akan membuat sebagian besar responden meninggalkannya di tengah jalan, meninggalkan Anda dengan hasil bias dari hanya para penyelesai yang paling termotivasi (atau bosan).

Desain survei yang baik adalah keterampilan yang menggabungkan psikologi, komunikasi, dan statistika. Tujuannya adalah mengumpulkan informasi yang akurat dan jujur yang mencerminkan apa yang orang benar-benar pikirkan, rasakan, atau lakukan -- bukan apa yang rumusan pertanyaan Anda dorong mereka untuk katakan.

Jenis pertanyaan

Pertanyaan tertutup memberi responden serangkaian opsi tetap untuk dipilih. "Seberapa puas Anda dengan layanan kami? Sangat puas / Puas / Netral / Tidak puas / Sangat tidak puas." Ini mudah dianalisis secara statistik tapi membatasi apa yang bisa disampaikan responden.

Pertanyaan terbuka memungkinkan responden menjawab dengan kata-kata mereka sendiri. "Apa yang bisa kami lakukan untuk meningkatkan pengalaman Anda?" Ini bisa mengungkap wawasan mengejutkan tapi memakan waktu untuk dianalisis dan sulit dikuantifikasi.

Sebagian besar survei yang dirancang dengan baik menggunakan campuran keduanya. Pertanyaan tertutup menyediakan tulang punggung kuantitatif, sementara beberapa pertanyaan terbuka menangkap nuansa yang mungkin terlewat oleh opsi tetap.

Grafik di atas menunjukkan distribusi tipikal respons pada skala Likert lima poin. Perhatikan bagaimana respons cenderung mengelompok di sekitar tengah dan ujung yang sedikit positif -- pola umum yang dikenal sebagai bias persetujuan, di mana orang cenderung lebih setuju daripada tidak setuju.

Menghindari pertanyaan yang mengarahkan dan memuat

Pertanyaan yang mengarahkan menuntun responden ke jawaban tertentu. "Tidakkah Anda setuju bahwa layanan pelanggan kami sangat baik?" praktis meminta jawaban "ya." Versi netral: "Bagaimana Anda menilai layanan pelanggan kami?" Pertanyaan yang mengarahkan kadang digunakan sengaja untuk memfabrikasi hasil yang menguntungkan, tapi mereka menghancurkan kredibilitas survei apa pun.

Pertanyaan yang memuat mengandung asumsi tersembunyi. "Seberapa Anda menikmati fitur premium baru kami?" mengasumsikan responden telah menggunakannya dan menikmatinya. Siapa pun yang belum menggunakannya atau tidak menyukainya dipaksa memberi jawaban yang canggung atau melewatkan pertanyaan.

Pertanyaan berlaras ganda bertanya tentang dua hal sekaligus. "Seberapa puas Anda dengan kecepatan dan akurasi layanan kami?" Bagaimana jika kecepatannya bagus tapi akurasinya buruk? Responden tidak bisa memberi jawaban jujur. Pisahkan menjadi dua pertanyaan terpisah.

Bias respons dan cara meminimalkannya

Bias keinginan sosial terjadi ketika responden memberikan jawaban yang mereka anggap dapat diterima secara sosial daripada yang jujur. Orang melebih-lebihkan olahraga, meremehkan konsumsi alkohol, dan mengklaim mendaur ulang lebih dari yang sebenarnya. Survei anonim mengurangi bias ini tapi tidak menghilangkannya sepenuhnya.

Efek urutan juga dapat mempengaruhi respons. Pertanyaan di awal survei dapat membingkai cara orang berpikir tentang pertanyaan selanjutnya. Jika Anda bertanya tentang pengalaman negatif terlebih dahulu, responden mungkin dalam pola pikir lebih kritis saat menilai kepuasan keseluruhan. Mengacak urutan pertanyaan bisa membantu, meskipun alur logis juga penting.

Kelelahan respons muncul ketika survei terlalu panjang. Setelah 10-15 menit, kualitas respons turun tajam. Orang mulai memilih jawaban yang sama untuk setiap pertanyaan (disebut "straight-lining") atau terburu-buru tanpa membaca dengan cermat. Buat survei sependek mungkin. Setiap pertanyaan harus mendapat tempatnya dengan langsung melayani tujuan penelitian Anda.

Grafik di atas menunjukkan tingkat penyelesaian tipikal berdasarkan durasi survei. Survei 5 menit mempertahankan sebagian besar responden, sementara survei 30 menit kehilangan mayoritas besar. Responden yang menyelesaikan survei panjang sering tidak representatif terhadap audiens yang lebih luas.

Skala Likert dan format respons

Skala Likert adalah format respons paling banyak digunakan dalam survei. Ini menyajikan pernyataan dan meminta responden menunjukkan tingkat persetujuan, biasanya pada skala 5 atau 7 poin. Lima poin (Sangat Setuju hingga Sangat Tidak Setuju) bekerja baik untuk sebagian besar tujuan. Tujuh poin menawarkan perbedaan lebih halus tapi bisa membingungkan responden kasual.

Perdebatan umum adalah apakah menyertakan titik tengah netral. Menyertakannya memungkinkan responden yang benar-benar netral mengekspresikan itu, tapi juga memberi pelarian mudah bagi yang tidak mau berpikir keras. Beberapa peneliti menggunakan jumlah opsi genap (4 atau 6 poin) untuk memaksa responden condong ke satu sisi.

Skala apa pun yang Anda pilih, konsisten di seluruh survei. Berganti antara skala 5 dan 7 poin, atau mengubah arah (kadang "1" berarti terbaik dan kadang "1" berarti terburuk), membingungkan responden dan meningkatkan tingkat kesalahan.

Pertimbangan ukuran sampel

Berapa banyak respons yang Anda butuhkan? Jawabannya tergantung pada seberapa presisi Anda inginkan hasilnya, seberapa bervariasi populasi Anda, dan berapa banyak kesalahan yang bersedia Anda terima. Untuk sebagian besar tujuan praktis, 300-400 respons memberi margin kesalahan sekitar 5% pada tingkat kepercayaan 95%. Sampel lebih besar memberi presisi lebih tapi dengan pengembalian yang menurun -- dari 400 ke 1.600 respons hanya memotong margin kesalahan setengah.

Tapi ukuran sampel hanya penting jika sampelnya representatif. Sejuta respons dari polling online yang dipilih sendiri bernilai lebih rendah daripada 500 respons dari sampel yang dirandominasi dengan benar. Kualitas sampling selalu mengalahkan kuantitas respons.