Mil respuestas, ¿de quiénes? El tamaño de la encuesta y la población que queda fuera

Una encuesta consigue mil respuestas. La base está completa, los gráficos muestran diferencias y el informe anuncia un margen de error reducido. Antes de interpretar esos resultados, hace falta conocer algo que el número de entrevistas no revela: quiénes tuvieron la oportunidad de participar y qué relación guardan con la población sobre la que se pretende hablar.

La pregunta importa cuando una empresa consulta a sus clientes, una universidad estudia a sus egresados o una organización evalúa las necesidades de un territorio. En cualquiera de esos casos, reunir más respuestas puede mejorar la investigación. También puede concentrar el esfuerzo en personas a las que ya era fácil llegar, mientras otros grupos continúan ausentes.

El tamaño de la muestra adquiere sentido cuando conocemos el proceso que produjo sus observaciones. Este artículo examina esa relación y propone un criterio para orientar el trabajo de campo: valorar cada ampliación por su contribución a la precisión y por su capacidad para incorporar información de la población insuficientemente observada.

Lo que realmente dice un margen de error

En un muestreo aleatorio simple, para una proporción y una población suficientemente grande respecto de la muestra, el margen de error aproximado al 95 % se expresa como:

Si se utiliza p estimada = 0.50, mil observaciones producen un margen aproximado de ±3.1 puntos porcentuales. Con cuatro mil, ese margen se reduce a ±1.55 puntos. Son cálculos bajo supuestos concretos: selección aleatoria simple, observaciones independientes y ausencia de los ajustes que exigirían otros diseños.

Esa reducción describe la variabilidad atribuible al muestreo. Los errores de cobertura, no respuesta, medición y procesamiento requieren evaluaciones adicionales. El enfoque de error total de encuesta examina precisamente estas fuentes y su contribución conjunta a la calidad de las estimaciones (Biemer, 2010). Un intervalo estrecho puede coexistir con una desviación sistemática importante.

Por eso, trasladar aquella fórmula a un formulario difundido mediante un enlace abierto necesita una justificación que el número de respuestas, por sí mismo, no proporciona. Los estándares de la American Association for Public Opinion Research (AAPOR) distinguen la información exigible a muestras probabilísticas y no probabilísticas. Cuando estas últimas presentan medidas de precisión, deben explicarse los modelos, supuestos y procedimientos utilizados para construirlas (AAPOR, s. f.-b).

La población puede desaparecer antes de la primera entrevista

Conviene distinguir tres conjuntos: la población objetivo, el marco utilizado para seleccionarla y las personas que finalmente responden. Sus diferencias ayudan a localizar problemas que suelen quedar ocultos bajo la expresión «muestra representativa».

Una investigación sobre egresados puede utilizar el directorio institucional de correos. Quienes nunca actualizaron su dirección quedan fuera del alcance de ese marco. Entre quienes sí reciben la invitación, algunos responden y otros no. En el primer caso existe un problema de cobertura; en el segundo, de no respuesta. Ambos pueden afectar las estimaciones, pero ocurren en etapas diferentes del proceso de encuesta (Biemer, 2010).

Tampoco debe confundirse el medio de aplicación con el diseño de selección. Una encuesta por internet puede reclutar participantes mediante una muestra probabilística de domicilios. Una entrevista presencial puede seleccionar por conveniencia a quienes pasan por un establecimiento. Saber que una encuesta fue «digital» o «presencial» resulta insuficiente para evaluar sus posibilidades de generalización; hace falta conocer cómo se reclutó a sus participantes (AAPOR, s. f.-a).

La dificultad aumenta cuando las condiciones que favorecen la participación también se relacionan con el resultado estudiado. Por ejemplo, una consulta sobre servicios digitales puede atraer especialmente a quienes tienen conectividad estable y utilizan esos servicios con frecuencia. La exclusión deja entonces de ser un detalle operativo: puede alterar la respuesta a la pregunta de investigación.

Mil respuestas y una composición que cambia el resultado

Consideremos un ejemplo hipotético, construido para explicar el mecanismo; sus cifras no proceden de una investigación empírica.

Una institución quiere estimar la satisfacción de todas las personas que utilizan sus servicios. El 40 % pertenece a un grupo de usuarios frecuentes y el 60 % a uno de usuarios ocasionales. Supongamos que la satisfacción alcanza el 80 % entre los primeros y el 50 % entre los segundos. La proporción satisfecha en el conjunto sería:

La institución difunde una encuesta y recibe mil respuestas. Sin embargo, los usuarios frecuentes constituyen el 70 % de quienes responden; los ocasionales, apenas el 30 %. Supongamos, además, que dentro de cada grupo las respuestas reflejan correctamente su nivel de satisfacción. El resultado sin ponderar sería:

La encuesta mostraría un 71 % de satisfacción frente al 62 % del conjunto definido en el ejemplo: una diferencia de nueve puntos porcentuales, producida exclusivamente por la composición de las respuestas.

¿Qué ocurriría si se consiguieran cuatro mil entrevistas manteniendo esas mismas proporciones y niveles de satisfacción? La estimación seguiría siendo 71 %. Aumentarían los registros, pero permanecería la sobrerrepresentación del grupo más satisfecho.

El ejercicio aísla deliberadamente un problema. En una encuesta real también habría variabilidad dentro de los grupos, posibles errores de respuesta y dudas sobre los datos de referencia. Su utilidad consiste en mostrar por qué ampliar una muestra mediante el mismo mecanismo puede conservar la distorsión que necesitamos corregir.

Cuando cientos de miles de respuestas tampoco bastaron

Existe evidencia empírica de esta dificultad. Bradley et al. (2021) compararon estimaciones de vacunación contra la COVID-19 en Estados Unidos. Dos encuestas reunían aproximadamente 250,000 respuestas semanales y 75,000 por ronda quincenal. En mayo de 2021 sobreestimaban la recepción de la primera dosis en 17 y 14 puntos porcentuales, respectivamente, frente al referente del CDC actualizado retrospectivamente.

En esa comparación, un panel de alrededor de mil respuestas semanales produjo estimaciones más próximas al referente y una cuantificación de la incertidumbre más adecuada. El estudio consideró también la posible imprecisión de los datos utilizados como referencia; estos tampoco debían tratarse como una medición perfecta (Bradley et al., 2021).

Un estudio posterior de Mercer y Lau (2023), publicado por Pew Research Center con datos recogidos en 2021, comparó seis muestras en línea de aproximadamente cinco mil adultos cada una. Frente a 28 variables de referencia, el error absoluto promedio fue de 5.8 puntos porcentuales en las muestras de incorporación voluntaria y de 2.6 en los paneles con reclutamiento probabilístico.

Los paneles probabilísticos también presentaron errores importantes en algunas variables, especialmente participación electoral. Por tanto, el resultado respalda la importancia del reclutamiento y la evaluación externa; no permite atribuir exactitud automática a una clase de encuesta ni trasladar esas magnitudes a cualquier país o tema (Mercer & Lau, 2023).

La relación entre participar y lo que queremos medir

Meng (2018) formalizó el problema mediante una identidad para la diferencia entre una media observada sin ponderar y la media de una población finita:

Aquí, N representa el tamaño de la población; n, el número de observaciones; σ con subíndice Y, la desviación estándar poblacional del resultado, calculada con divisor N; y ρ con subíndices R,Y, la correlación poblacional entre el resultado y el indicador de inclusión en los datos, que vale uno para las unidades observadas y cero para las demás (Meng, 2018).

La identidad permite examinar conjuntamente cantidad de datos, variación del resultado y selección. En el ejemplo anterior, la composición favorecía la observación de personas pertenecientes al grupo más satisfecho.

Su aplicación tiene un límite práctico: normalmente desconocemos el resultado de quienes quedaron fuera y, por tanto, esa correlación no puede calcularse directamente a partir de la encuesta. La expresión ayuda a comprender el problema; estimar o corregir su magnitud exige información adicional.

Una tasa de respuesta tampoco resuelve el diagnóstico

Una participación baja merece atención, aunque su efecto depende de las diferencias relevantes entre quienes responden y quienes no lo hacen. Groves y Peytcheva (2008), en un metaanálisis de 59 estudios metodológicos, encontraron que la tasa de no respuesta, por sí sola, era un predictor limitado del sesgo.

La implicación es precisa: necesitamos investigar la relación entre la participación y las variables de interés. Una diferencia en disponibilidad horaria podría afectar poco una estimación y alterar considerablemente otra. El diagnóstico debe referirse a resultados concretos, en lugar de conceder o retirar calidad a toda la encuesta mediante un único porcentaje de respuesta (Groves & Peytcheva, 2008).

Ponderar ayuda cuando existe información que permita hacerlo

En el ejemplo hipotético, conocer que los usuarios frecuentes representan el 40 % de la población permitiría ajustar los pesos de ambos grupos. Bajo el supuesto establecido (que las respuestas reflejan correctamente la satisfacción dentro de cada uno) se recuperaría el 62 %.

La calibración modifica los pesos para que determinadas cantidades estimadas coincidan con totales poblacionales conocidos. Deville y Särndal (1992) desarrollaron este enfoque dentro del muestreo de encuestas. Su utilidad depende de disponer de información auxiliar pertinente y de la relación entre esa información y el resultado estudiado.

Ajustar edad, sexo o territorio no garantiza eliminar diferencias relacionadas con satisfacción, confianza o participación institucional. Si estas persisten dentro de las categorías utilizadas, el ajuste puede resultar insuficiente. Además, una categoría sin observaciones no aporta resultados propios que puedan recuperarse mediante una simple reasignación de pesos.

Para realizar inferencias con muestras no probabilísticas, Elliott y Valliant (2017) examinan estrategias basadas en modelos y en información auxiliar. Estas requieren supuestos sobre el resultado o el mecanismo de participación, así como condiciones que permitan conectar los datos observados con la población objetivo. Su credibilidad depende de justificar esos supuestos y evaluar cuánto cambian las conclusiones cuando se modifican.

Decidir dónde vale más la siguiente entrevista

De esta discusión proponemos una consecuencia para el diseño aplicado: antes de ampliar el levantamiento, conviene identificar qué incertidumbre se pretende reducir. Si el problema principal es la variabilidad de una estimación bajo un diseño adecuado, aumentar la muestra puede ser una buena inversión. Si existe una cobertura deficiente de determinados grupos, el esfuerzo debería examinar cómo incorporarlos.

Eso puede exigir actualizar directorios, ampliar horarios, realizar nuevos intentos de contacto o combinar medios de aplicación. Cada cambio necesita documentarse y revisarse, porque también puede introducir diferencias en la medición. La decisión debe apoyarse en el diagnóstico del estudio, sus recursos y el uso previsto de los resultados.

Proponemos acompañar el tamaño muestral con tres explicaciones: a quién se pretende describir, cómo pudo llegar esa población a la encuesta y qué evidencia respalda el paso de las respuestas a las estimaciones publicadas. Esta propuesta organiza la lectura del estudio; no constituye un índice validado ni una prueba automática de representatividad.

Los ejemplos empíricos citados proceden de Estados Unidos y de investigaciones específicas. Ilustran mecanismos relevantes, pero no estiman la magnitud del problema en encuestas latinoamericanas. Para hacerlo serían necesarios diagnósticos propios de cobertura, participación, medición y ajuste.

Mil respuestas, ¿de quiénes?

Escribimos sobre esta pregunta porque el volumen de una base suele ocupar un lugar destacado al presentar una investigación, mientras el proceso de selección recibe menos atención. Para quien debe decidir con esos resultados, ambos importan.

Nuestra posición es que una muestra debe valorarse por la información que permite obtener sobre una población definida y por la solidez de las condiciones que sostienen esa inferencia. Mil respuestas pueden aportar evidencia valiosa. Saber de quiénes provienen, quiénes faltan y qué consecuencias tiene su ausencia permite establecer hasta dónde llega esa evidencia.