Las encuestas son más difíciles de lo que parecen
Crear una encuesta parece fácil: escribir algunas preguntas, enviarlas y contar las respuestas. Pero las encuestas mal diseñadas producen datos engañosos o inútiles. Una pregunta mal redactada puede empujar a los encuestados hacia una respuesta particular. Una escala poco clara puede significar cosas diferentes para diferentes personas. Una encuesta demasiado larga hará que la mayoría de los encuestados la abandonen a mitad de camino, dejándote con resultados sesgados de solo los completadores más motivados (o aburridos).
El buen diseño de encuestas es una habilidad que combina psicología, comunicación y estadística. El objetivo es recolectar información precisa y honesta que refleje lo que las personas realmente piensan, sienten o hacen -- no lo que la redacción de tu pregunta les induce a decir.
Tipos de preguntas
Las preguntas cerradas dan a los encuestados un conjunto fijo de opciones para elegir. "¿Qué tan satisfecho está con nuestro servicio? Muy satisfecho / Satisfecho / Neutral / Insatisfecho / Muy insatisfecho." Son fáciles de analizar estadísticamente pero limitan lo que los encuestados pueden comunicarte.
Las preguntas abiertas permiten a los encuestados responder con sus propias palabras. "¿Qué podríamos hacer para mejorar su experiencia?" Estas pueden descubrir información sorprendente pero son difíciles de analizar y cuantificar.
La mayoría de las encuestas bien diseñadas usan una mezcla de ambas. Las preguntas cerradas proporcionan la columna vertebral cuantitativa, mientras que algunas preguntas abiertas capturan matices que las opciones fijas podrían pasar por alto.
El gráfico anterior muestra una distribución típica de respuestas en una escala Likert de cinco puntos. Nota cómo las respuestas tienden a agruparse alrededor del centro y el extremo ligeramente positivo -- un patrón común conocido como sesgo de aquiescencia, donde las personas tienden a estar de acuerdo más que en desacuerdo.
Cómo evitar preguntas inductivas y capciosas
Una pregunta inductiva dirige a los encuestados hacia una respuesta particular. "¿No está de acuerdo en que nuestro servicio al cliente es excelente?" prácticamente pide un "sí." Una versión neutral sería: "¿Cómo calificaría nuestro servicio al cliente?" Las preguntas inductivas a veces se usan deliberadamente para fabricar resultados favorables, pero destruyen la credibilidad de cualquier encuesta.
Una pregunta capciosa contiene una suposición oculta. "¿Cuánto disfruta de nuestras nuevas funciones premium?" asume que el encuestado las ha usado y las ha disfrutado. Cualquiera que no las haya usado o no le gusten se ve forzado a dar una respuesta incómoda o simplemente saltará la pregunta.
Las preguntas de doble filo preguntan sobre dos cosas a la vez. "¿Qué tan satisfecho está con la velocidad y precisión de nuestro servicio?" ¿Qué pasa si la velocidad es excelente pero la precisión es terrible? El encuestado no puede dar una respuesta honesta. Divide estas en dos preguntas separadas.
Sesgo de respuesta y cómo minimizarlo
El sesgo de deseabilidad social ocurre cuando los encuestados dan respuestas que creen socialmente aceptables en lugar de veraces. Las personas exageran el ejercicio que hacen, minimizan su consumo de alcohol y afirman reciclar más de lo que realmente hacen. Las encuestas anónimas reducen este sesgo pero no lo eliminan por completo.
Los efectos de orden también pueden influir en las respuestas. Las preguntas al inicio de una encuesta pueden enmarcar cómo las personas piensan sobre las preguntas posteriores. Si preguntas sobre experiencias negativas primero, los encuestados pueden estar en un estado de ánimo más crítico al calificar la satisfacción general. Aleatorizar el orden de las preguntas puede ayudar, aunque el flujo lógico también importa.
La fatiga de respuesta se instala cuando las encuestas son demasiado largas. Después de 10-15 minutos, la calidad de las respuestas cae bruscamente. Las personas comienzan a seleccionar la misma respuesta para cada pregunta (llamado "respuesta en línea recta") o se apresuran sin leer con cuidado. Mantén las encuestas lo más cortas posible. Cada pregunta debe ganarse su lugar sirviendo directamente a tu objetivo de investigación.
El gráfico anterior muestra las tasas típicas de finalización según la duración de la encuesta. Una encuesta de 5 minutos retiene a la mayoría de los encuestados, mientras que una encuesta de 30 minutos pierde a la gran mayoría. Los encuestados que sí terminan encuestas largas a menudo no son representativos de la audiencia más amplia.
Escalas Likert y formatos de respuesta
La escala Likert es el formato de respuesta más utilizado en encuestas. Presenta una afirmación y pide a los encuestados que indiquen su nivel de acuerdo, típicamente en una escala de 5 o 7 puntos. Cinco puntos (de Muy de acuerdo a Muy en desacuerdo) funcionan bien para la mayoría de los propósitos. Siete puntos ofrecen distinciones más finas pero pueden abrumar a encuestados casuales.
Un debate común es si incluir un punto medio neutral. Incluirlo permite a los encuestados genuinamente neutrales expresarlo, pero también da una salida fácil para quienes no quieren pensar mucho. Algunos investigadores usan un número par de opciones (4 o 6 puntos) para forzar a los encuestados a inclinarse hacia un lado u otro.
Sea cual sea la escala que elijas, sé consistente en toda la encuesta. Alternar entre escalas de 5 y 7 puntos, o cambiar la dirección (a veces "1" significa mejor y a veces "1" significa peor), confunde a los encuestados y aumenta las tasas de error.
Consideraciones sobre el tamaño de muestra
¿Cuántas respuestas necesitas? La respuesta depende de qué tan precisos quieres que sean tus resultados, qué tan variable es tu población y cuánto error estás dispuesto a aceptar. Para la mayoría de los propósitos prácticos, 300-400 respuestas te dan un margen de error de alrededor del 5% a un nivel de confianza del 95%. Muestras más grandes dan más precisión pero con rendimientos decrecientes -- pasar de 400 a 1,600 respuestas solo reduce el margen de error a la mitad.
Pero el tamaño de muestra solo importa si la muestra es representativa. Un millón de respuestas de una encuesta en línea autoseleccionada vale menos que 500 respuestas de una muestra adecuadamente aleatorizada. La calidad del muestreo siempre supera a la cantidad de respuestas.
Un buen diseño de encuesta requiere preguntas claras e imparciales en un formato bien elegido. Evita preguntas inductivas, capciosas y de doble filo. Usa escalas Likert de forma consistente. Mantén las encuestas cortas para prevenir la fatiga de respuesta. Minimiza el sesgo de deseabilidad social a través del anonimato. Y recuerda que una muestra pequeña y representativa es mucho más valiosa que una muestra grande y sesgada. La calidad de tu encuesta determina la calidad de cada conclusión que extraigas de ella.