Mismos datos, distintas conclusiones

Dos equipos reciben la misma base de datos. Ambos conocen las técnicas pertinentes, documentan sus procedimientos y ejecutan correctamente los cálculos. El primero encuentra una relación positiva; el segundo obtiene una estimación próxima a cero. Antes de decidir quién se equivocó, habría que revisar cómo llegó cada uno a su respuesta.

Es frecuente imaginar que los datos contienen una conclusión que el procedimiento correcto simplemente extrae. Sin embargo, entre una base y un resultado existen decisiones: cómo representar un concepto, qué población estudiar, cómo tratar la información incompleta y qué supuestos aceptar. Algunas están bien fundamentadas; otras introducen errores. También hay alternativas defendibles que conducen a estimaciones diferentes.

Distinguir esas situaciones forma parte del trabajo científico. Cuando una conclusión cambia, interesa comprender cuánto de ese cambio responde a la información observada y cuánto depende de las decisiones utilizadas para interpretarla. Esa diferencia importa tanto al revisar una investigación como al decidir si sus resultados justifican una intervención.

Lo que ocurre cuando varios equipos analizan lo mismo

Los estudios con múltiples equipos de analistas permiten observar una incertidumbre que suele quedar fuera del informe final. Al mantener constantes los datos y las preguntas, hacen posible examinar las consecuencias de los distintos caminos elegidos durante el análisis.

Botvinik-Nezer et al. (2020) solicitaron a setenta equipos que analizaran un mismo conjunto de datos de neuroimagen y contrastaran nueve hipótesis previamente establecidas. Ningún equipo eligió un flujo de análisis idéntico al de otro. Las diferencias de procedimiento estuvieron acompañadas de una variación considerable en los resultados de los contrastes.

En ecología y biología evolutiva, Gould et al. (2025) estudiaron un problema semejante con dos conjuntos de datos. El proyecto reclutó 174 equipos, integrados por 246 analistas, y encontró una heterogeneidad sustancial entre las estimaciones. Los patrones de variación fueron diferentes en cada conjunto: compartir datos y preguntas no bastó para producir una respuesta uniforme.

Estos trabajos permiten reconocer las consecuencias de la flexibilidad analítica, aunque sus resultados deben interpretarse dentro de las disciplinas y condiciones examinadas. No establecen cuánta variación cabe esperar en cualquier investigación ni convierten todas las decisiones en igualmente aceptables. Lo que muestran es que presentar un solo análisis puede dejar al lector sin información sobre la dependencia de sus conclusiones respecto del procedimiento elegido.

A veces, la diferencia empieza en la pregunta

Supongamos que una institución estudia la inserción laboral de quienes terminaron un programa de formación. Un equipo considera empleo cualquier actividad remunerada durante la última semana; otro exige una ocupación estable durante los últimos tres meses. Sus porcentajes pueden diferir porque están midiendo resultados distintos, aunque trabajen con la misma base.

Algo semejante ocurre cuando un análisis incluye a todas las personas inscritas y otro se limita a quienes completaron la formación. En este caso cambia la población de interés. La segunda estimación puede ser útil para conocer la situación de quienes finalizaron, pero no describe necesariamente lo ocurrido con el conjunto que ingresó.

Antes de discutir qué técnica produjo el resultado más convincente, conviene comprobar si ambos equipos intentaron estimar lo mismo. La población, el resultado, el período y la comparación deben estar suficientemente definidos. Explorar otras definiciones puede enriquecer la investigación, siempre que se explique qué pregunta responde cada una.

Veinte datos faltantes pueden cambiar la interpretación

Consideremos un ejemplo construido para este artículo. Las cifras son hipotéticas y no corresponden a una evaluación de CODESE ni a una institución real. Se quiere comparar la proporción de personas empleadas en dos grupos de cien integrantes cada uno, seis meses después de un programa.

En el grupo participante se conoció la situación de ochenta personas: 42 estaban empleadas y 38 no. Las veinte restantes no pudieron ser localizadas. En el grupo de comparación se obtuvo información de las cien personas y se encontró que cincuenta estaban empleadas.

Si se utilizan únicamente los registros observados, el porcentaje de empleo entre participantes es 42 ÷ 80 = 52,5 %. Frente al 50 % del grupo de comparación, aparece una diferencia de 2,5 puntos porcentuales. El cálculo describe correctamente a las personas observadas; para extenderlo al conjunto de participantes hace falta examinar qué podría ocurrir con quienes no respondieron.

La siguiente tabla mantiene fijos todos los datos conocidos y modifica únicamente la situación desconocida de esas veinte personas:

Con ocho personas empleadas entre las veinte no localizadas, ambos grupos tendrían la misma proporción. Con nueve o más, la diferencia sería positiva; con siete o menos, negativa. Para sostener una diferencia favorable en el conjunto de participantes habría que justificar, por tanto, que más del 40 % de las personas no localizadas estaba empleado.

Sin restricciones adicionales, los datos conocidos son compatibles con una diferencia descriptiva de entre −8 y +12 puntos porcentuales para estos dos grupos. Ese rango expresa las posibilidades que dejan abiertas los resultados desconocidos. No es un intervalo de confianza ni significa que todos los escenarios sean igualmente probables. Los extremos permiten reconocer los límites del problema; la información sobre el seguimiento y las características de las personas ayudaría a valorar qué escenarios resultan plausibles.

La literatura sobre datos faltantes advierte que su tratamiento exige supuestos sobre el proceso que produjo la ausencia de información. Sterne et al. (2009) explican las posibilidades y dificultades de la imputación múltiple, una herramienta que puede aprovechar la información disponible, pero cuya aplicación necesita una justificación y un modelo adecuados. Incorporar valores mediante un procedimiento estadístico no elimina la necesidad de examinar esos supuestos.

En el ejemplo, la primera tarea sería averiguar qué sabemos sobre las veinte personas no localizadas. Se podría reforzar el seguimiento, consultar registros disponibles o examinar si la falta de respuesta se relaciona con características conocidas. Cambiar repetidamente de modelo, sin aportar información o supuestos mejor fundamentados sobre esas personas, dejaría pendiente una incertidumbre central.

Aun con seguimiento completo, la diferencia entre grupos no demostraría por sí sola un efecto del programa. Quienes participaron podrían diferir de las demás personas por razones anteriores a la intervención. Hernán y Robins (2020) desarrollan esta distinción entre asociación y causalidad: una comparación observada requiere condiciones adicionales para interpretarse como efecto de una intervención. Resolver la información faltante mejoraría nuestra descripción; establecer atribución causal exigiría, además, un diseño y supuestos adecuados.

Un cálculo reproducible todavía necesita interpretación

Si compartimos los datos y las instrucciones del ejemplo, otra persona puede recuperar exactamente el 52,5 %. Esa coincidencia verifica la operación y facilita su revisión. Todavía queda por establecer a quién describe ese porcentaje y bajo qué condiciones puede utilizarse para sostener una conclusión.

En este artículo utilizamos reproducibilidad computacional en el sentido adoptado por las National Academies of Sciences, Engineering, and Medicine (2019): obtener resultados consistentes utilizando los mismos datos de entrada y procedimientos de cálculo. El informe reconoce que la terminología varía entre disciplinas, por lo que explicitar su significado ayuda a evitar confusiones.

La robustez y el análisis de sensibilidad se ocupan de otra cuestión: cómo cambia la interpretación al modificar decisiones o supuestos pertinentes. A su vez, la validez de la inferencia requiere revisar si el diseño, la medición y la información respaldan la afirmación que se desea hacer.

Estas cuestiones están relacionadas, pero requieren comprobaciones distintas. Un resultado puede reproducirse y depender de un supuesto frágil. También puede mantenerse bajo numerosas especificaciones que comparten una medición deficiente o un mismo sesgo de selección. Por eso, la estabilidad debe interpretarse dentro del conjunto de decisiones examinado y de los problemas que esas comprobaciones realmente permiten abordar.

Cómo elegir las alternativas que merece la pena examinar

El análisis multiverso propone estudiar cómo varían los resultados entre conjuntos de datos construidos mediante distintas decisiones razonables de procesamiento. Steegen et al. (2016) lo plantearon como una forma de hacer visibles las consecuencias de elecciones que suelen desaparecer detrás de una única base preparada para analizar.

Las curvas de especificaciones ofrecen un procedimiento relacionado. Simonsohn et al. (2020) proponen identificar especificaciones justificadas teóricamente, válidas estadísticamente y no redundantes; representar sus resultados y realizar inferencia conjunta. Su utilidad depende, desde el comienzo, del criterio con que se delimita el conjunto de alternativas.

Añadir automáticamente todas las variables disponibles puede introducir ajustes inadecuados. Cambiar el resultado estudiado puede modificar la pregunta. Repetir muchas variantes casi idénticas puede dar una apariencia de consenso que depende de cómo se construyó el conjunto. La amplitud del análisis necesita una justificación científica: disponer de capacidad para ejecutar cientos de modelos no resuelve qué modelos conviene estimar.

También exige cuidado la interpretación de sus resultados. Contar cuántas especificaciones producen significación estadística resulta insuficiente, pues las estimaciones suelen estar relacionadas y su distribución depende de las alternativas incluidas. Una mayoría de resultados favorables no equivale a una probabilidad de que la hipótesis sea verdadera.

El ejemplo de las veinte personas no localizadas es más sencillo: constituye un análisis elemental de sensibilidad, no una curva de especificaciones ni una aplicación completa del análisis multiverso. Permite mostrar dónde cambia una conclusión mediante un supuesto explícito y cálculos que cualquier lector puede comprobar.

Lo que necesita saber quien recibe el informe

Para quien debe tomar una decisión, suele ser más útil conocer las elecciones capaces de modificar una recomendación que recibir un inventario de modelos. El informe debería precisar qué se quiso estimar, por qué se eligió el análisis principal y qué alternativas se examinaron. Después tendría que explicar sus consecuencias sobre la dirección, la magnitud, la precisión y la utilidad práctica del resultado.

Esa presentación también debe reconocer lo que permanece sin resolver. Si la recomendación depende de un supuesto que los datos no permiten evaluar, quien la utiliza necesita conocer esa dependencia. Una estimación favorable puede justificar una exploración adicional y, al mismo tiempo, ser insuficiente para ampliar un programa o comprometer recursos.

Nosek et al. (2018) proponen el prerregistro como una forma de distinguir los análisis planificados para contrastar hipótesis de las exploraciones que surgen al conocer los datos. Esa distinción permite interpretar los resultados teniendo en cuenta cómo se produjeron.

En un proyecto aplicado, dejar constancia anticipada de las decisiones principales ofrece un punto de comparación para revisar lo realizado. Durante el trabajo pueden aparecer problemas inesperados que requieran nuevos procedimientos; documentar cómo se resolvieron permite conservar la diferencia entre lo previsto y lo aprendido al analizar. La exploración también produce conocimiento, y comunicar su carácter ayuda a valorar su alcance.

Volver a los datos con una pregunta mejor

Una conclusión sensible puede señalar con precisión qué información falta. En nuestro ejemplo, el análisis identifica una condición concreta: la diferencia descriptiva cambia de signo alrededor del 40 % de empleo entre las personas no localizadas. Ese resultado permite discutir la plausibilidad del supuesto y organizar un seguimiento dirigido, aunque todavía no permita atribuir una ventaja al programa.

Escribimos sobre este problema porque muchas decisiones descansan en informes que muestran el resultado final y apenas dejan ver cómo se llegó a él. Cuando dos análisis discrepan, necesitamos saber si cambió la pregunta, si existe un error o si la evidencia admite más incertidumbre de la que comunica el informe. Esa distinción puede determinar si conviene actuar, ajustar una recomendación o conseguir información adicional.

Mismos datos, distintas conclusiones expresa una dificultad que merece hacerse visible. En el ejemplo, los cálculos permiten precisar qué falta saber antes de sostener una diferencia favorable entre los grupos. Ahí situamos nuestra posición: una conclusión merece confianza cuando podemos examinar las decisiones que la sostienen y reconocer qué podría hacernos cambiar de parecer. Esa apertura a la revisión es parte del rigor que queremos aportar desde Ideas y Evidencia.