Traducido del original en portugués. Leer el original (Português)
La revisión sistemática y el metaanálisis no son lo mismo, aunque casi siempre aparecen juntos. La revisión sistemática es un método de búsqueda y evaluación: define la pregunta antes de empezar, busca de forma sistemática y documentada los estudios que existen sobre ella —incluso los poco citados y los que tal vez nunca llegaron a publicarse—, juzga la calidad de cada uno y sintetiza el conjunto de modo que otra persona pueda repetir el camino y llegar al mismo lugar. El metaanálisis es el paso estadístico, y opcional, que combina los números de esos estudios en una única estimación-resumen, por lo general más precisa que la de cada estudio aislado. Bien hechos, son lo más confiable que existe para responder "¿qué sabemos hasta ahora?". Mal hechos, solo prestan apariencia de rigor a un puñado de estudios frágiles.
La revisión sistemática es un estudio secundario que responde a una pregunta formulada de forma explícita empleando métodos sistemáticos y preespecificados para identificar, seleccionar, evaluar críticamente y sintetizar los estudios primarios pertinentes, con el objetivo de minimizar el sesgo y producir conclusiones reproducibles. Sus marcas distintivas son el protocolo preespecificado antes de la ejecución —preferiblemente registrado en una base pública—, la búsqueda documentada en múltiples bases, la selección y la extracción de datos hechas por duplicado por evaluadores independientes, y la evaluación formal del riesgo de sesgo de cada estudio incluido. El metaanálisis es el procedimiento estadístico —no obligatorio— que combina las estimaciones de efecto de los estudios incluidos en una estimación-resumen ponderada, dando más peso a los estudios más precisos, y que cuantifica cuánto difieren los resultados entre sí (heterogeneidad). El término meta-analysis fue acuñado por el investigador en educación Gene V. Glass en 1976; la práctica de combinar resultados de estudios diferentes es más antigua y suele rastrearse hasta Karl Pearson, quien en 1904 reunió datos sobre la inoculación contra la fiebre tifoidea en tropas británicas.
Dos cosas diferentes que suelen ir juntas
Imagina que quieres saber si determinada intervención ayuda a los niños a desarrollar el lenguaje. Encuentras un estudio que dice que sí, otro que dice que no hace diferencia y un tercero con un resultado intermedio. ¿Cuál vale? La pregunta está mal planteada: rara vez un estudio aislado es la respuesta. La respuesta está en el conjunto, y llegar a ella exige método, porque elegir a dedo los estudios que confirman nuestra impresión es demasiado fácil.
Eso es lo que hace la revisión sistemática. Trata a la propia literatura como objeto de investigación: en lugar de participantes, los "sujetos" son los estudios; en lugar de un protocolo de tratamiento, hay un protocolo de búsqueda y selección. Y, como en cualquier investigación seria, ese protocolo se decide antes de que aparezcan los datos, justamente para que el resultado no quede moldeado por el camino recorrido.
El metaanálisis entra después, y solo si corresponde. Es la cuenta: toma el tamaño del efecto medido en cada estudio y lo combina en un promedio ponderado, en el que los estudios más grandes y precisos pesan más. De ahí resultan cuatro combinaciones posibles, que conviene distinguir:
- Revisión sistemática con metaanálisis — la combinación más común, cuando los estudios son lo bastante parecidos como para que combinar sus estimaciones tenga sentido.
- Revisión sistemática sin metaanálisis — perfectamente legítima. Cuando los estudios miden cosas demasiado diferentes entre sí, el equipo de revisión presenta una síntesis estructurada sin combinarlos. Negarse a calcular es, aquí, una señal de rigor.
- Metaanálisis sin revisión sistemática — combinar números de estudios reunidos sin una búsqueda sistemática. Un promedio muy preciso de una muestra sesgada de estudios sigue siendo sesgado.
- Revisión narrativa — el artículo de un experto que discute la literatura sin búsqueda explícita ni criterios declarados. Puede ser una lectura excelente y muy valiosa desde el punto de vista didáctico, pero no ofrece garantía alguna contra el sesgo de selección: no hay forma de saber qué quedó afuera.
Qué hace que una revisión sea "sistemática"
No es el tamaño, ni el número de estudios incluidos, ni la revista en la que se publicó. Es el método, y tiene etapas reconocibles. Toca las pestañas para ver cada una:
La pregunta va antes que todo, y por escrito
Una revisión empieza por delimitar quién (población), qué (intervención), comparado con qué (comparador) y con qué resultado medido (desenlace): el esquema conocido como PICO. Esos elementos, más los criterios de inclusión y el plan de análisis, forman el protocolo, que debe registrarse públicamente al inicio de la revisión, antes de que se conozcan los resultados, en plataformas como PROSPERO (mantenida por el Centre for Reviews and Dissemination de la Universidad de York y abierta desde 2011). El registro previo expone los cambios de rumbo hechos después de ver los resultados: cambiar el desenlace, ampliar o reducir los criterios hasta que la conclusión quede como se desea.
Buscar hasta donde la búsqueda casual no llega
La búsqueda se hace en varias bases de datos (como MEDLINE/PubMed, Embase, PsycINFO, la Biblioteca Cochrane y, en América Latina, LILACS), con la estrategia de búsqueda publicada por completo —los términos, los operadores, las fechas— para que cualquiera pueda repetirla. Suele ir más allá: rastrear las referencias de los artículos encontrados, buscar tesis, actas de congresos y registros de ensayos, y contactar a los autores en busca de resultados que nunca se publicaron. Esa insistencia tiene un motivo concreto: los estudios con resultado negativo tienen más probabilidad de no publicarse nunca, y quien solo encuentra lo que es fácil de encontrar termina componiendo un retrato demasiado favorable.
Dos personas, de forma independiente
El cribado de títulos y resúmenes, la lectura de los textos completos y la extracción de datos los realizan dos evaluadores que trabajan por separado, con las discrepancias resueltas por discusión o por un tercero. No es burocracia: juzgar si un estudio cumple los criterios implica decisiones sutiles, y una persona sola se equivoca y se deja influir por su propia expectativa sin notarlo. Todo el camino —cuántos registros se encontraron, cuántos se descartaron y, en la lectura de los textos completos, por qué— se registra en el diagrama de flujo que abre prácticamente toda revisión sistemática publicada.
No todo estudio incluido merece la misma confianza
Cada estudio incluido pasa por una evaluación formal del riesgo de sesgo, con herramientas propias para cada tipo de diseño: la RoB 2 para ensayos aleatorizados, la ROBINS-I para estudios no aleatorizados. Solo entonces llega la síntesis, con o sin metaanálisis. Y el paso final es juzgar el conjunto: el sistema GRADE clasifica la certeza de la evidencia en cuatro niveles —alta, moderada, baja o muy baja—, rebajándola ante riesgo de sesgo, imprecisión, inconsistencia entre estudios, evidencia indirecta o sospecha de sesgo de publicación.
Cómo se lee un gráfico de bosque
Es la figura símbolo de casi todo metaanálisis, y descifrarla es más simple de lo que parece. Toca las tarjetas para ver qué significa cada elemento:
Cuando los estudios discrepan entre sí
Rara vez los estudios apuntan todos al mismo número. Parte de esa variación es solo azar de muestreo, lo esperado. Pero parte puede reflejar diferencias reales: otro rango de edad, otra dosis, otro comparador, otro instrumento de medida, otra cultura. A esa variación más allá del azar se le llama heterogeneidad, y es información, no un defecto que haya que esconder.
La medida más difundida para describirla es la I², que estima qué proporción de la variación observada entre los estudios se debe a diferencias reales y no al azar. El Cochrane Handbook ofrece una orientación aproximada —valores de 0 % a 40 % pueden no ser importantes; de 30 % a 60 %, indicar heterogeneidad moderada; de 50 % a 90 %, sustancial; y de 75 % a 100 %, considerable— y advierte que aplicar estos cortes de forma mecánica puede engañar: la importancia de la inconsistencia también depende de la dirección y la magnitud de los efectos y de la propia fuerza de la evidencia de heterogeneidad.
Antes de combinar, hay que decidir —en el protocolo, y no después de mirar los resultados— qué premisa se adopta sobre lo que estiman los estudios:
- Modelo de efecto fijo — parte del principio de que todos los estudios estiman el mismo efecto verdadero y que solo el azar los separa. No trata la heterogeneidad: asume que no existe.
- Modelo de efectos aleatorios — admite que cada estudio estima un efecto ligeramente distinto y calcula el promedio de esa distribución. Produce intervalos más amplios que los del modelo de efecto fijo con los mismos datos, es decir, más honestos respecto a la incertidumbre, y es la premisa habitual cuando se espera que los estudios difieran entre sí.
Y conviene no esperar del metaanálisis una ganancia automática de precisión: cuando la heterogeneidad es alta, el intervalo de la estimación combinada puede terminar no siendo más estrecho que el del mejor estudio aislado.
Cuando la discrepancia es grande, el paso productivo no es elegir otro modelo: es investigar de dónde viene, con análisis de subgrupos previstos en el protocolo (por edad, por gravedad, por intensidad de la intervención) o mediante metarregresión. La pregunta deja de ser "¿funciona?" y pasa a ser la más útil de todas: "¿para quién, en qué condiciones y con qué intensidad?"
No todo debe sumarseSi los estudios midieron desenlaces incompatibles, usaron intervenciones que solo comparten el nombre o poblaciones muy distintas, calcular un promedio de ellos produce un número sin sentido: el conocido problema de sumar peras con manzanas. Una buena revisión explica por qué no hizo el metaanálisis y presenta una síntesis estructurada en lugar de forzar la cuenta. La ausencia de un rombo no es una falla: muchas veces es la decisión más cuidadosa de toda la revisión.
Dónde un metaanálisis puede engañar
Estar en la cima de la jerarquía de la evidencia describe el potencial del diseño, no la calidad de lo que se hizo. Estos son los puntos por donde entra el error:
- Basura entra, basura sale. Combinar doce estudios con alto riesgo de sesgo no anula el sesgo: se hereda en la estimación final, ahora con una apariencia de precisión que la hace aún más persuasiva. Precisión y confiabilidad son cosas distintas.
- Sesgo de publicación. Si los estudios que no encontraron efecto se quedaron en el cajón, la revisión solo encuentra la parte optimista de la literatura. La herramienta clásica para detectarlo es el gráfico de embudo (funnel plot), en el que los estudios deberían distribuirse de forma simétrica: los grandes agrupados arriba y los pequeños dispersos en la base. Una asimetría —pocos estudios pequeños de uno de los lados— sugiere que algo no se publicó. La prueba de regresión propuesta por Egger y colaboradores en 1997 evalúa esa asimetría; pero los propios autores de esa línea de investigación advierten que la asimetría también puede provenir de heterogeneidad real, de diferencias de calidad entre estudios pequeños y grandes, o simplemente del azar.
- Muestras contadas dos veces. Cuando varios artículos informan sobre los mismos participantes, incluirlos todos da un peso extra a un único conjunto de datos, como si fueran participantes independientes.
- Decisiones analíticas invisibles. Qué desenlace combinar, qué estudios excluir, qué modelo usar: cada decisión puede desplazar el resultado. Para eso sirven el protocolo registrado de antemano y los análisis de sensibilidad, que rehacen la cuenta bajo otras premisas y muestran si la conclusión se sostiene.
- Exceso de revisiones. El número de revisiones sistemáticas y metaanálisis publicados creció mucho más rápido que la literatura científica en general, y una parte considerable es redundante o de baja calidad, un problema documentado por John Ioannidis. Que exista un metaanálisis sobre el tema no cierra la discusión; hay que mirar cuál.
Herramientas para juzgar una revisión
No necesitas ser estadístico para evaluar una revisión sistemática. Existen instrumentos públicos, y cada uno responde a una pregunta diferente:
- PRISMA 2020 trata sobre cómo reportar. Publicado en el BMJ en 2021 por Matthew Page y colaboradores, en sustitución de la versión de 2009, trae una lista de 27 ítems, una lista de verificación específica para el resumen y diagramas de flujo revisados. Cuando el artículo no informa algo que PRISMA pide —la estrategia de búsqueda, los estudios excluidos, las fuentes de financiación—, la omisión ya es una señal de alerta.
- AMSTAR 2 (Shea y colaboradores, BMJ, 2017) evalúa cómo se condujo la revisión, en 16 ítems, algunos considerados críticos, como el registro previo del protocolo y la consideración del riesgo de sesgo al interpretar los resultados. La herramienta ROBIS cumple un papel similar, estimando el riesgo de sesgo de la propia revisión.
- GRADE responde a la pregunta final: ¿cuánta confianza merece el conjunto de la evidencia, desenlace por desenlace? Clasifica esa certeza en alta, moderada, baja o muy baja, y una misma revisión puede salir con certeza alta para un desenlace y muy baja para otro. Por eso las conclusiones de las revisiones Cochrane suelen venir con fórmulas como "evidencia de baja certeza sugiere que…": esa cautela no es falta de convicción, es información.
Vale la pena recordar de dónde viene buena parte de este arsenal. Cochrane, organización internacional fundada en 1993, lleva el nombre del epidemiólogo escocés Archie Cochrane (1909-1988), quien en su libro Effectiveness and Efficiency, de 1972, argumentó que los recursos de salud deberían destinarse a aquello que las evaluaciones bien conducidas mostraran que funciona. Organizar lo que ya se sabe dejó de ser una tarea de fin de semana y se convirtió en una disciplina metodológica propia.
Dos errores comunes"Hay un metaanálisis, así que está probado." La etiqueta no dice nada sobre la calidad de los estudios incluidos, sobre cuánto quedó fuera de la búsqueda ni sobre quién financió el trabajo. Y el error contrario: "el metaanálisis es solo juntar todo en un promedio." La parte difícil no es la cuenta: es la búsqueda exhaustiva, la decisión sobre qué es combinable, la evaluación del riesgo de sesgo y el juicio explícito sobre la certeza de la evidencia. La estadística es el paso más visible y, casi siempre, el más simple.
Pon a prueba tu comprensión
Cuestionario rápido
Tres preguntas para fijar el concepto. Verás la explicación al instante.
Para saber más
- Page, M. J., McKenzie, J. E., Bossuyt, P. M. et al. "The PRISMA 2020 statement: an updated guideline for reporting systematic reviews". BMJ, 2021;372:n71.
- Higgins, J. P. T., Thomas, J., Chandler, J. et al. (eds.). Cochrane Handbook for Systematic Reviews of Interventions. Cochrane. Disponible en training.cochrane.org.
- Shea, B. J., Reeves, B. C., Wells, G. et al. "AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both". BMJ, 2017;358:j4008.
- Higgins, J. P. T., Thompson, S. G., Deeks, J. J., Altman, D. G. "Measuring inconsistency in meta-analyses". BMJ, 2003;327:557–560.
- Egger, M., Davey Smith, G., Schneider, M., Minder, C. "Bias in meta-analysis detected by a simple, graphical test". BMJ, 1997;315:629–634.
- Guyatt, G. H., Oxman, A. D., Vist, G. E. et al. "GRADE: an emerging consensus on rating quality of evidence and strength of recommendations". BMJ, 2008;336:924–926.
- Ioannidis, J. P. A. "The mass production of redundant, misleading, and conflicted systematic reviews and meta-analyses". The Milbank Quarterly, 2016.
- Glass, G. V. "Primary, secondary, and meta-analysis of research". Educational Researcher, 1976;5:3–8.
- Pearson, K. "Report on certain enteric fever inoculation statistics". British Medical Journal, 1904.
- Cochrane, A. L. Effectiveness and Efficiency: Random Reflections on Health Services. 1972.
- PROSPERO — International Prospective Register of Systematic Reviews. Centre for Reviews and Dissemination, University of York.
Esta entrada tiene carácter educativo y no sustituye la evaluación, el diagnóstico ni el tratamiento por parte de un profesional de la salud cualificado. Cada persona es única: para un caso concreto, busca orientación individualizada.