La IA que ayuda a revisar literatura: ¿qué estudios deja fuera?

Una revisión puede perder un estudio importante sin que nadie advierta su ausencia. El artículo estaba entre los resultados de la búsqueda, pero quedó al final de una lista, recibió una clasificación negativa o nunca llegó a una segunda lectura. Si ese descarte lo realiza una herramienta de inteligencia artificial, la rapidez del proceso puede dificultar todavía más la identificación del error.

La asistencia automatizada ofrece una ventaja valiosa: permite trabajar con volúmenes de literatura que resultarían difíciles de examinar con los mismos recursos humanos. Aprovecharla exige evaluar qué decisiones se delegan y cómo se comprueban sus consecuencias. Una herramienta que ayuda a encontrar antes los estudios pertinentes cumple una función distinta de otra que decide cuáles dejar de leer.

El aporte que proponemos es evaluar la automatización desde sus exclusiones. Además de medir cuánto trabajo ahorra, necesitamos examinar qué evidencia podría perderse, cómo se estima esa pérdida y qué efectos tendría sobre las conclusiones de la revisión.

Ordenar las lecturas y excluir estudios son decisiones diferentes

El cribado consiste en examinar los registros recuperados y decidir cuáles deben avanzar a las siguientes etapas de evaluación. La automatización puede intervenir en tareas específicas de ese proceso. Marshall y Wallace (2019) describen aplicaciones del aprendizaje automático para apoyar la selección y otras actividades de síntesis, destacando la necesidad de comprender las capacidades y restricciones de cada herramienta. La evaluación debe corresponder a la tarea que efectivamente se le asigna.

En el aprendizaje activo, las decisiones humanas alimentan un modelo que reorganiza los registros pendientes. El sistema ASReview utiliza este enfoque para priorizar títulos y resúmenes que podrían ser relevantes. En las simulaciones del artículo que presentó la herramienta, alcanzar una recuperación del 95 % produjo un ahorro de trabajo frente al orden aleatorio de entre 67 % y 92 %, según el conjunto de datos (van de Schoot et al., 2021). Estos resultados describen conjuntos previamente etiquetados; conocer retrospectivamente dónde se encontraban los estudios relevantes facilita evaluar el rendimiento.

En una revisión en curso falta precisamente esa información. Podemos observar que aparecen pocos estudios pertinentes entre los últimos registros examinados, pero todavía desconocemos cuántos permanecen entre los pendientes. De ahí que priorizar bien y justificar la interrupción del cribado sean problemas relacionados que requieren evaluaciones diferentes.

Los modelos de lenguaje permiten otra modalidad: recibir criterios de elegibilidad y clasificar cada título y resumen mediante instrucciones textuales. Esa clasificación también debe validarse para el uso previsto. Hamel et al. (2021) desarrollaron orientaciones para integrar IA en el cribado, considerando decisiones de implementación y evaluación dentro del proceso de síntesis. La existencia de una herramienta disponible no determina, por sí misma, la función metodológica que debería desempeñar.

Un 98 % de aciertos puede ocultar la pérdida de toda la evidencia pertinente

Consideremos un ejemplo hipotético. Una búsqueda produce diez mil registros y, tras una evaluación completa, se determina que doscientos son pertinentes para la siguiente etapa. Los otros 9,800 deben excluirse.

Un clasificador que rechazara todos los registros acertaría en el 98 % de sus decisiones. Al mismo tiempo, perdería los doscientos registros pertinentes. El porcentaje global de aciertos sería elevado porque la mayoría de las observaciones pertenece a la categoría que debe descartarse.

Para examinar ese problema conviene distinguir dos medidas:

Los verdaderos positivos (VP) son los registros pertinentes que el procedimiento conserva; los falsos negativos (FN), aquellos que excluye incorrectamente; y los falsos positivos (FP), los que conserva aunque no corresponda.

En este contexto, precisión suele utilizarse como traducción de precision para referirse al valor predictivo positivo. Conviene explicitarlo, porque el término también tiene otros usos estadísticos.

Supongamos ahora que otro clasificador conserva mil registros: 190 pertinentes y 810 que posteriormente deben excluirse. Su sensibilidad sería del 95 % y su valor predictivo positivo del 19 %. Habría recuperado casi todos los registros pertinentes, aunque todavía trasladaría una carga considerable de lectura a la siguiente etapa. Su exactitud global sería del 91.8 %, inferior a la del clasificador que rechazaba todo.

El ejercicio muestra por qué cada indicador responde una pregunta diferente. La sensibilidad permite evaluar pérdidas entre los registros pertinentes. El valor predictivo positivo informa cuánto trabajo adicional implican los registros conservados. La exactitud global puede ocultar ambas situaciones cuando existe un fuerte desequilibrio entre categorías. Las cifras del ejemplo son ilustrativas y no representan el desempeño de una herramienta real.

Los resultados publicados dependen del modelo y del procedimiento

Dennstädt et al. (2024) evaluaron cuatro modelos de lenguaje sobre diez conjuntos publicados de revisiones biomédicas y un conjunto adicional construido para su estudio. En los diez conjuntos publicados, los clasificadores presentaron combinaciones distintas de sensibilidad y especificidad: desde 81.93 % y 75.19 % hasta 97.58 % y 19.12 %, respectivamente, según el modelo y la configuración utilizados.

La especificidad expresa la proporción de registros no pertinentes que se excluyen correctamente. Una especificidad baja implica conservar muchos registros que después requerirán descarte humano. Los autores también encontraron que cambios en las instrucciones y en la escala de valoración modificaban el rendimiento (Dennstädt et al., 2024). Por tanto, esas cifras describen procedimientos concretos evaluados sobre determinados datos; no constituyen propiedades permanentes de cada familia de modelos.

Una investigación publicada en junio de 2026 examinó una estrategia de acuerdo completo entre tres modelos de lenguaje. Solo aceptaba automáticamente las decisiones en las que los tres coincidían y reservaba las discrepancias para revisión humana. Aproximadamente cuatro de cada cinco resúmenes alcanzaron ese acuerdo en los seis conjuntos evaluados (Hilkenmeier et al., 2026).

El estudio aporta una prueba de concepto, con límites explícitos de generalización. La coincidencia permite seleccionar decisiones concordantes, pero su validez necesita contrastarse con un referente humano. Como interpretación metodológica, tampoco debemos asumir que varios modelos cometerán errores independientes: pueden compartir dificultades ante los mismos criterios o textos.

¿Cuándo podemos dejar de leer?

En un sistema que prioriza registros, la regla de detención determina qué parte de la búsqueda quedará sin examinar. Una sucesión de exclusiones puede resultar tranquilizadora, aunque por sí sola no cuantifica la evidencia pendiente.

Callaghan y Müller-Hansen (2020) propusieron criterios estadísticos de detención orientados a evaluar si se había alcanzado un objetivo de recuperación con un nivel de confianza determinado. Su trabajo aborda la incertidumbre sobre los registros restantes y muestra por qué las reglas de interrupción necesitan una justificación propia.

Un segundo ejemplo hipotético ayuda a dimensionar esta incertidumbre. Supongamos que quedan ocho mil registros sin revisar y se seleccionan aleatoriamente trescientos para una auditoría humana. Ninguno resulta pertinente. Ese resultado aporta información favorable, pero todavía admite que existan registros pertinentes entre los restantes.

Bajo una aproximación binomial, con observaciones independientes y clasificación humana correcta, cero casos en trescientos arroja un límite superior unilateral aproximado del 95 % cercano al 1 % para la proporción pertinente. Aplicado como aproximación a ocho mil registros, ese porcentaje equivaldría a unos ochenta. La inferencia exacta bajo muestreo sin reemplazo requiere considerar la población finita.

El ejemplo no prescribe auditar trescientos registros. Muestra que una auditoría debe diseñarse en función de la pérdida que se desea detectar o acotar. Además, estimar una baja proporción pertinente entre los pendientes no equivale automáticamente a demostrar una recuperación elevada sobre todos los registros pertinentes: para eso también necesitamos considerar cuántos se han encontrado.

Importa cuántos se pierden y qué aportaban

Supongamos que un procedimiento recupera 190 de doscientos registros pertinentes. Los diez restantes podrían corresponder a informes adicionales de estudios ya identificados, investigaciones con resultados semejantes o trabajos que aportan información difícil de sustituir. La misma sensibilidad puede acompañar consecuencias distintas para la síntesis.

Por eso proponemos añadir una evaluación sustantiva de las exclusiones incorrectas detectadas. ¿Comparten idioma, tipo de documento, enfoque metodológico o forma de describir la intervención? ¿Aportan resultados que modificarían la interpretación? Estas preguntas son propuestas de auditoría; no implican afirmar que todos los sistemas presenten esos patrones.

También conviene distinguir registros, informes y estudios. Varias publicaciones pueden corresponder a una misma investigación. Perder un registro no equivale necesariamente a perder un estudio completo, aunque sí podría significar perder información relevante sobre sus resultados o limitaciones.

Un diseño de validación debería anticipar estas posibilidades. Proponemos combinar una evaluación sobre registros que reflejen el conjunto de búsqueda con una revisión deliberada de casos difíciles, por ejemplo, resúmenes incompletos o criterios de elegibilidad ambiguos. Esta última ayuda a explorar fallos, pero no permite estimar el rendimiento global si los casos se eligieron intencionalmente. Ambas evaluaciones cumplen funciones complementarias.

La decisión debe poder reconstruirse

Una revisión que utiliza IA necesita conservar información suficiente para reconstruir el procedimiento. Además de identificar la herramienta, proponemos registrar el modelo y su versión disponible, la fecha de ejecución, las instrucciones completas, los criterios de elegibilidad y las decisiones asociadas a cada registro.

Cuando se utilizan ejemplos para ajustar instrucciones, debe distinguirse esa etapa de la evaluación sobre registros independientes. De lo contrario, un buen resultado podría reflejar adaptación a los ejemplos conocidos. Los cambios posteriores en criterios o instrucciones también necesitan quedar documentados.

Esta propuesta de trazabilidad permite examinar discrepancias y actualizar el trabajo. Su cumplimiento no garantiza por sí mismo la calidad de la revisión; hace posible evaluar las decisiones que la sostienen. La supervisión humana también necesita criterios claros, calibración y resolución documentada de desacuerdos.

La literatura citada reúne diseños y contextos distintos, con una presencia importante de aplicaciones biomédicas. Sus resultados requieren validación antes de trasladarse a revisiones en economía, educación u otros campos. Los cambios de modelos y plataformas agregan otra razón para evitar tratar una evaluación pasada como garantía permanente.

La IA que ayuda a revisar literatura

Escribimos sobre este tema porque la automatización puede ampliar la capacidad de investigación de equipos con recursos limitados. Aprovechar esa oportunidad exige comprender el costo metodológico de las decisiones que dejan de revisarse directamente.

Nuestra posición es que el ahorro de lectura debe evaluarse junto con la evidencia que podría quedar fuera. Una asistencia valiosa permite encontrar, seleccionar y documentar mejor la literatura, con una estimación defendible de sus límites. Preguntar qué estudios deja fuera forma parte de demostrar que la herramienta ayuda a revisar.