Hasta dónde permiten llegar los datos

El resultado de un análisis puede cambiar de significado durante la redacción del informe. Una asociación pasa a describirse como efecto; una diferencia imprecisa se convierte en ausencia de cambio; un hallazgo observado en un grupo se presenta como válido para toda una población. La base permanece igual, pero la afirmación se amplía.

Ese desplazamiento merece una revisión específica. La corrección de los cálculos es necesaria, aunque todavía debemos comprobar si el diseño y la información disponible respaldan lo que se afirma. Una conclusión puede exceder la evidencia sin contener una operación estadística equivocada.

Proponemos evaluar cada afirmación según el tipo de inferencia que exige: describir, comparar, atribuir una causa, establecer una equivalencia o generalizar. Esta lectura permite localizar el punto en que una redacción requiere supuestos o evidencia adicionales.

Un valor p no determina la importancia del hallazgo

La declaración de la American Statistical Association explica que un valor p informa sobre la incompatibilidad entre los datos y un modelo estadístico especificado, considerando sus supuestos. No expresa la probabilidad de que una hipótesis sea verdadera ni mide el tamaño o la importancia de un efecto. Las decisiones científicas tampoco deberían depender únicamente de que ese valor cruce un umbral convencional (Wasserstein & Lazar, 2016).

Para interpretar una diferencia necesitamos conocer su magnitud, unidad y contexto. Una variación pequeña puede ser relevante cuando afecta a muchas personas o implica una consecuencia costosa. Otra puede resultar insuficiente para justificar una intervención, aunque se estime con gran precisión.

Proponemos que el informe identifique qué magnitud tendría importancia para la decisión y cómo se justificó. Ese criterio debería distinguirse del umbral utilizado para una prueba estadística. También deben examinarse costos, distribución de beneficios y posibles efectos adversos cuando correspondan a la decisión estudiada.

La incertidumbre modifica lo que podemos descartar

Consideremos una estimación hipotética de cinco puntos porcentuales, con un intervalo de confianza del 95 % entre menos dos y doce puntos. Supongamos que el intervalo se calculó mediante un procedimiento adecuado para el diseño y el modelo utilizados.

La estimación puntual es positiva. El intervalo incluye valores negativos, cero y mejoras que podrían tener relevancia práctica. En estas condiciones, escribir que «no hubo efecto» reduciría indebidamente lo que los datos todavía admiten.

Greenland et al. (2016) explican errores frecuentes al interpretar pruebas e intervalos. Entre ellos está confundir una falta de significación con evidencia suficiente de ausencia. Los intervalos también dependen de supuestos y del procedimiento que los produce; su cobertura del 95 % es una propiedad del procedimiento bajo las condiciones correspondientes, no una probabilidad frecuentista del 95 % asignada al parámetro fijo después de observar los datos.

Una redacción defendible para el ejemplo sería: «La estimación fue de cinco puntos porcentuales, con incertidumbre compatible tanto con una pequeña disminución como con una mejora de mayor magnitud». La interpretación posterior debe discutir qué parte de ese rango resulta relevante para la pregunta planteada.

Afirmar equivalencia requiere otro contraste

Si el objetivo es establecer que dos procedimientos producen resultados suficientemente próximos, necesitamos definir qué diferencia sería pequeña para la finalidad del estudio. Esa tolerancia debe justificarse en términos sustantivos.

Lakens (2017) presenta pruebas de equivalencia mediante límites inferiores y superiores que delimitan efectos considerados suficientemente pequeños. En el procedimiento de dos pruebas unilaterales (TOST), se evalúa si la evidencia permite descartar efectos fuera de esos límites. Una prueba convencional que no rechaza una diferencia igual a cero responde una pregunta diferente.

Por ejemplo, podrían establecerse límites de equivalencia de menos dos y dos puntos, si existiera una justificación para ellos. Bajo las condiciones del TOST, un intervalo de confianza del 90 % completamente contenido entre esos límites permitiría establecer equivalencia al nivel del 5 %. Este ejemplo ilustra el procedimiento; no propone una tolerancia universal ni permite fijarla después para acomodar el resultado.

Dos valores p distintos no demuestran efectos diferentes

Supongamos dos grupos independientes con una estimación de cuatro puntos en cada uno. En el primero, el error estándar es 1.5; en el segundo, 2.5. Con una aproximación normal bilateral, los valores p serían aproximadamente 0.008 y 0.110.

El primer resultado cruzaría el umbral de 0.05 y el segundo no. Sin embargo, las estimaciones puntuales son idénticas. Lo que cambia en este ejemplo es su incertidumbre.

Gelman y Stern (2006) muestran por qué la diferencia entre «significativo» y «no significativo» no constituye por sí misma evidencia de una diferencia estadística. Para evaluar si los efectos difieren necesitamos contrastar directamente esa diferencia, mediante una interacción u otro procedimiento apropiado al diseño.

En el ejemplo, la diferencia estimada entre grupos sería cero. Eso tampoco demuestra equivalencia: establecer que son suficientemente semejantes requeriría examinar la incertidumbre de su contraste y definir límites pertinentes.

Una asociación ajustada necesita supuestos para interpretarse causalmente

Incorporar variables a una regresión puede modificar una asociación. Para determinar qué interpretación causal admite el resultado necesitamos explicar cómo se relacionan esas variables con la exposición y el desenlace.

Rohrer (2018) presenta modelos causales gráficos para explicitar supuestos en estudios observacionales. Su utilidad consiste en razonar sobre posibles factores de confusión, mediadores y variables cuya inclusión puede introducir sesgo. El ajuste debe responder al problema causal; añadir todos los controles disponibles puede resultar inadecuado.

Para revisar una afirmación causal proponemos identificar la comparación que se pretende interpretar, la secuencia temporal y las explicaciones alternativas que el diseño aborda. Después corresponde establecer qué supuestos permanecen sin comprobar y cómo afectarían la conclusión.

El lenguaje causal puede ser defendible en un estudio observacional cuando existe una estrategia adecuada y supuestos explícitos. La palabra «asociación», por su parte, no resuelve una interpretación que en el resto del texto atribuye consecuencias causales sin sustento.

La exploración necesita conservar su historia

Un hallazgo puede aparecer después de ensayar distintas exclusiones, desenlaces o especificaciones. Esas decisiones pueden tener razones legítimas. El problema surge cuando se presenta únicamente el resultado favorable y se omite la búsqueda que lo produjo.

Simmons et al. (2011) mostraron cómo la flexibilidad no declarada en la recogida y el análisis de datos puede aumentar los falsos positivos. Su estudio fundamenta la necesidad de transparentar las decisiones analíticas y distinguir las evaluaciones previstas de los resultados exploratorios.

Un cálculo ilustrativo permite apreciar un mecanismo relacionado. Si se realizan veinte pruebas independientes, todas sus hipótesis nulas son verdaderas y cada prueba mantiene un error de tipo I de 0.05, la probabilidad de obtener al menos un rechazo falso es:

El 64.2 % corresponde exclusivamente a esas condiciones. En investigaciones reales las pruebas pueden estar relacionadas y el procedimiento puede incorporar ajustes de multiplicidad. El ejemplo muestra por qué conocer solo el valor p seleccionado deja información importante fuera de la interpretación.

El alcance depende también de dónde y cómo se investigó

Una estimación obtenida en una institución durante un período específico puede aportar evidencia útil sobre ese contexto. Generalizarla a otras instituciones, poblaciones o condiciones exige justificar qué elementos podrían mantenerse y cuáles cambiarían.

Yarkoni (2022) examina problemas de generalización relacionados con aspectos que los investigadores desean abarcar, pero cuya variación no está suficientemente representada en el diseño o el análisis, como tareas, estímulos o lugares de investigación. Su argumento cuestiona la distancia entre ciertas afirmaciones amplias y las condiciones limitadas en que se obtuvieron los datos.

Aplicado a una consultoría, proponemos describir qué servicios, territorios, personas y períodos sostienen el resultado. Una base numerosa puede estimar con precisión lo ocurrido dentro de condiciones estrechas; ampliar el alcance exige evidencia sobre otras condiciones o supuestos defendibles de transporte.

Revisar la afirmación junto al resultado

La revisión final de un informe puede hacerse oración por oración. Si se utiliza «produjo», hay que localizar el diseño y los supuestos de atribución. Si se afirma «son equivalentes», debe identificarse el criterio de equivalencia. Si se concluye «ocurre en la población», corresponde revisar selección, cobertura y alcance.

Esta propuesta organiza una revisión de coherencia entre afirmaciones y evidencia. No constituye una prueba automática de validez. Requiere juicio sustantivo y conocimiento del diseño.

Los ejemplos numéricos de este artículo son hipotéticos. Las referencias sustentan distinciones metodológicas; no permiten determinar si un estudio particular es correcto sin examinar sus datos, procedimientos y documentación.

Elegimos preguntarnos hasta dónde permiten llegar los datos porque la utilidad de una investigación depende también de cómo se comunican sus límites. Una conclusión bien delimitada puede orientar decisiones, identificar riesgos y señalar qué conviene investigar después. La fuerza de una afirmación científica reside en que su alcance pueda sostenerse al revisar la evidencia que la produjo.