Revisão sistemática e metanálise não são a mesma coisa, embora quase sempre apareçam juntas. A revisão sistemática é um método de busca e avaliação: define a pergunta antes de começar, procura de forma sistemática e documentada os estudos que existem sobre ela — inclusive os pouco citados e os que podem nunca ter chegado a ser publicados —, julga a qualidade de cada um e sintetiza o conjunto de modo que outra pessoa possa repetir o caminho e chegar ao mesmo lugar. A metanálise é o passo estatístico, e opcional, que combina os números desses estudos em uma única estimativa-resumo, em geral mais precisa do que a de cada estudo isolado. Bem feitas, são o que há de mais confiável para responder “o que sabemos até agora?”. Mal feitas, apenas emprestam ares de rigor a um punhado de estudos frágeis.
A revisão sistemática é um estudo secundário que responde a uma pergunta formulada de forma explícita empregando métodos sistemáticos e pré-especificados para identificar, selecionar, avaliar criticamente e sintetizar os estudos primários pertinentes, com o objetivo de minimizar viés e produzir conclusões reproduzíveis. Suas marcas registradas são o protocolo pré-especificado antes da execução — de preferência registrado em base pública —, a busca documentada em múltiplas bases, a seleção e a extração de dados feitas em duplicata por avaliadores independentes e a avaliação formal do risco de viés de cada estudo incluído. A metanálise é o procedimento estatístico — não obrigatório — que combina as estimativas de efeito dos estudos incluídos em uma estimativa-resumo ponderada, atribuindo mais peso aos estudos mais precisos, e que quantifica o quanto os resultados divergem entre si (heterogeneidade). O termo meta-analysis foi cunhado pelo pesquisador em educação Gene V. Glass em 1976; a prática de combinar resultados de estudos diferentes é mais antiga e costuma ser rastreada até Karl Pearson, que em 1904 reuniu dados sobre a inoculação contra a febre tifoide em tropas britânicas.
Duas coisas diferentes que costumam andar juntas
Imagine que você queira saber se determinada intervenção ajuda crianças a desenvolverem linguagem. Você encontra um estudo dizendo que sim, outro dizendo que não faz diferença e um terceiro com resultado intermediário. Qual deles vale? A pergunta está mal colocada: raramente um estudo isolado é a resposta. A resposta está no conjunto — e chegar a ela exige método, porque escolher a dedo os estudos que confirmam a nossa impressão é fácil demais.
É isso que a revisão sistemática faz. Ela trata a própria literatura como objeto de pesquisa: em vez de participantes, os “sujeitos” são os estudos; em vez de um protocolo de tratamento, há um protocolo de busca e seleção. E, como em qualquer pesquisa séria, esse protocolo é decidido antes de os dados aparecerem, justamente para que o resultado não seja moldado pelo caminho.
A metanálise entra depois, e só se couber. Ela é a conta: pega o tamanho de efeito medido em cada estudo e o combina numa média ponderada, em que estudos maiores e mais precisos pesam mais. Daí decorrem quatro combinações possíveis, e vale saber distingui-las:
- Revisão sistemática com metanálise — a combinação mais comum, quando os estudos são parecidos o bastante para que combinar suas estimativas faça sentido.
- Revisão sistemática sem metanálise — perfeitamente legítima. Quando os estudos medem coisas diferentes demais, o time de revisão apresenta uma síntese estruturada sem combiná-los. Recusar-se a calcular é, aqui, um sinal de rigor.
- Metanálise sem revisão sistemática — combinar números de estudos reunidos sem busca sistemática. Uma média muito precisa de uma amostra enviesada de estudos continua sendo enviesada.
- Revisão narrativa — o artigo de especialista que discute a literatura sem busca explícita nem critérios declarados. Pode ser excelente leitura e didaticamente valiosíssimo, mas não oferece garantia contra o viés de seleção: não dá para saber o que ficou de fora.
O que torna uma revisão “sistemática”
Não é o tamanho, nem o número de estudos incluídos, nem a revista em que foi publicada. É o método — e ele tem etapas reconhecíveis. Toque nas abas para ver cada uma:
A pergunta vem antes de tudo — e por escrito
Uma revisão começa por delimitar quem (população), o quê (intervenção), comparado a quê (comparador) e com que resultado medido (desfecho) — o esqueleto conhecido como PICO. Esses elementos, mais os critérios de inclusão e o plano de análise, formam o protocolo, que deve ser registrado publicamente no início da revisão, antes que os resultados sejam conhecidos, em plataformas como o PROSPERO (mantido pelo Centre for Reviews and Dissemination da Universidade de York e aberto desde 2011). O registro prévio expõe mudanças de rumo feitas depois de ver os resultados — trocar o desfecho, alargar ou estreitar os critérios até que a conclusão fique do jeito desejado.
Procurar até onde a busca casual não chega
A busca é feita em várias bases de dados (como MEDLINE/PubMed, Embase, PsycINFO, a Biblioteca Cochrane e, na América Latina, a LILACS), com a estratégia de busca publicada na íntegra — os termos, os operadores, as datas —, para que qualquer pessoa possa reexecutá-la. Costuma-se ir além: rastrear as referências dos artigos encontrados, procurar teses, anais de congresso e registros de ensaios, e contatar autores atrás de resultados nunca publicados. Essa insistência tem um motivo específico: estudos com resultado negativo têm mais chance de nunca serem publicados, e quem só encontra o que é fácil de encontrar acaba compondo um retrato favorável demais.
Duas pessoas, de forma independente
A triagem dos títulos e resumos, a leitura dos textos completos e a extração dos dados são feitas por dois avaliadores trabalhando em separado, com as discordâncias resolvidas por discussão ou por um terceiro. Não é burocracia: julgar se um estudo atende aos critérios envolve decisões sutis, e uma pessoa sozinha erra e é influenciada pela própria expectativa sem perceber. O caminho inteiro — quantos registros foram encontrados, quantos foram descartados e, na leitura dos textos completos, por quê — é registrado no diagrama de fluxo que abre praticamente toda revisão sistemática publicada.
Nem todo estudo incluído merece a mesma confiança
Cada estudo incluído passa por uma avaliação formal do risco de viés, com ferramentas próprias para cada tipo de delineamento — a RoB 2 para ensaios randomizados, a ROBINS-I para estudos não randomizados. Só então vem a síntese, com ou sem metanálise. E o passo final é julgar o conjunto: o sistema GRADE classifica a certeza da evidência em quatro níveis — alta, moderada, baixa ou muito baixa —, rebaixando-a diante de risco de viés, imprecisão, inconsistência entre estudos, evidência indireta ou suspeita de viés de publicação.
Como se lê um gráfico de floresta
É a figura-símbolo de quase toda metanálise, e decifrá-la é mais simples do que parece. Toque nos cartões para ver o que significa cada elemento:
Quando os estudos discordam entre si
Raramente os estudos apontam todos para o mesmo número. Parte dessa variação é só acaso amostral — o esperado. Mas parte pode refletir diferenças reais: outra faixa etária, outra dose, outro comparador, outro instrumento de medida, outra cultura. A essa variação além do acaso dá-se o nome de heterogeneidade, e ela é uma informação, não um defeito a ser escondido.
A medida mais divulgada para descrevê-la é o I², que estima que proporção da variação observada entre os estudos se deve a diferenças reais, e não ao acaso. O Cochrane Handbook oferece uma orientação aproximada — valores de 0% a 40% podem não ser importantes; de 30% a 60%, indicar heterogeneidade moderada; de 50% a 90%, substancial; e de 75% a 100%, considerável — e adverte que aplicar esses cortes mecanicamente pode enganar: a importância da inconsistência depende também da direção e da magnitude dos efeitos e da própria força da evidência de heterogeneidade.
Antes de combinar, é preciso decidir — no protocolo, e não depois de espiar os resultados — que premissa se adota sobre o que os estudos estimam:
- Modelo de efeito fixo — parte do princípio de que todos os estudos estimam o mesmo efeito verdadeiro e que só o acaso os separa. Ele não trata a heterogeneidade: assume que ela não existe.
- Modelo de efeitos aleatórios — admite que cada estudo estima um efeito ligeiramente diferente e calcula a média dessa distribuição. Produz intervalos mais largos do que os do modelo de efeito fixo nos mesmos dados — isto é, mais honestos quanto à incerteza — e é a premissa usual quando se espera que os estudos difiram entre si.
E convém não esperar da metanálise um ganho automático de precisão: quando a heterogeneidade é alta, o intervalo da estimativa combinada pode acabar não sendo mais estreito do que o do melhor estudo isolado.
Quando a discordância é grande, o passo produtivo não é escolher outro modelo: é investigar de onde ela vem, com análises de subgrupo previstas no protocolo (por idade, por gravidade, por intensidade da intervenção) ou por meta-regressão. A pergunta deixa de ser “funciona?” e passa a ser a mais útil de todas: “para quem, em que condições e com que intensidade?”
Nem tudo deve ser somadoSe os estudos mediram desfechos incompatíveis, usaram intervenções que só compartilham o nome ou populações muito distintas, calcular uma média deles produz um número sem significado — o famoso problema de somar maçãs com laranjas. Uma boa revisão diz por que não fez metanálise e apresenta uma síntese estruturada em vez de forçar a conta. Ausência de losango não é falha: muitas vezes é a decisão mais cuidadosa da revisão inteira.
Onde uma metanálise pode enganar
Estar no topo da hierarquia de evidências descreve o potencial do delineamento, não a qualidade do que foi feito. Estes são os pontos por onde o erro entra:
- Lixo entra, lixo sai. Combinar doze estudos com alto risco de viés não anula o viés — ele é herdado pela estimativa final, agora com uma aparência de precisão que o torna ainda mais persuasivo. Precisão e confiabilidade são coisas distintas.
- Viés de publicação. Se os estudos que não encontraram efeito ficaram na gaveta, a revisão só encontra a parte otimista da literatura. A ferramenta clássica para farejar isso é o gráfico de funil (funnel plot), em que os estudos deveriam se distribuir simetricamente: os grandes no topo, agrupados, e os pequenos espalhados na base. Uma assimetria — poucos estudos pequenos de um dos lados — sugere que algo não foi publicado. O teste de regressão proposto por Egger e colaboradores em 1997 avalia essa assimetria; mas os próprios autores dessa linha de pesquisa alertam que a assimetria também pode vir de heterogeneidade real, de diferenças de qualidade entre estudos pequenos e grandes, ou simplesmente do acaso.
- Amostras contadas duas vezes. Quando vários artigos relatam os mesmos participantes, incluir todos dá peso extra a um único conjunto de dados, como se fossem participantes independentes.
- Escolhas analíticas invisíveis. Que desfecho combinar, que estudos excluir, que modelo usar — cada decisão pode deslocar o resultado. É para isso que servem o protocolo registrado antes e as análises de sensibilidade, que refazem a conta sob outras premissas e mostram se a conclusão se sustenta.
- Excesso de revisões. O número de revisões sistemáticas e metanálises publicadas cresceu muito mais rápido do que a literatura científica em geral — e uma parte considerável é redundante ou de baixa qualidade, um problema documentado por John Ioannidis. Existir uma metanálise sobre o tema não encerra a discussão; é preciso olhar qual.
Ferramentas para julgar uma revisão
Você não precisa ser estatístico para avaliar uma revisão sistemática. Existem instrumentos públicos, e cada um responde a uma pergunta diferente:
- O PRISMA 2020 trata de como relatar. Publicado no BMJ em 2021 por Matthew Page e colaboradores, substituindo a versão de 2009, traz uma lista de 27 itens, um checklist específico para o resumo e diagramas de fluxo revisados. Quando o artigo não conta algo que o PRISMA pede — a estratégia de busca, os estudos excluídos, as fontes de financiamento —, a omissão já é um sinal.
- O AMSTAR 2 (Shea e colaboradores, BMJ, 2017) avalia como a revisão foi conduzida, em 16 itens, alguns considerados críticos — como o registro prévio do protocolo e a consideração do risco de viés ao interpretar os resultados. A ferramenta ROBIS cumpre papel semelhante, estimando o risco de viés da própria revisão.
- O GRADE responde à pergunta final: quanta confiança merece o conjunto da evidência, desfecho a desfecho? Ele classifica essa certeza em alta, moderada, baixa ou muito baixa — e uma mesma revisão pode sair com certeza alta para um desfecho e muito baixa para outro. É por isso que conclusões de revisões Cochrane costumam vir com fórmulas como “evidência de baixa certeza sugere que…”: essa cautela não é falta de convicção, é informação.
Vale lembrar de onde vem boa parte desse arsenal. A Cochrane, organização internacional fundada em 1993, leva o nome do epidemiologista escocês Archie Cochrane (1909–1988), que em seu livro Effectiveness and Efficiency, de 1972, argumentou que os recursos da saúde deveriam ir para aquilo que avaliações bem conduzidas mostrassem funcionar. Organizar o que já se sabe deixou de ser tarefa de fim de semana e virou uma disciplina metodológica própria.
Dois enganos comuns“Tem uma metanálise, então está provado.” O rótulo não diz nada sobre a qualidade dos estudos incluídos, sobre quanto ficou de fora da busca nem sobre quem financiou o trabalho. E o engano contrário: “metanálise é só juntar tudo numa média.” A parte difícil não é a conta — é a busca exaustiva, a decisão sobre o que é combinável, a avaliação do risco de viés e o julgamento explícito da certeza da evidência. A estatística é o passo mais visível e, quase sempre, o mais simples.
Teste seu entendimento
Quiz rápido
Três perguntas para fixar o conceito. Você vê a explicação na hora.
Para saber mais
- Page, M. J., McKenzie, J. E., Bossuyt, P. M. et al. “The PRISMA 2020 statement: an updated guideline for reporting systematic reviews”. BMJ, 2021;372:n71.
- Higgins, J. P. T., Thomas, J., Chandler, J. et al. (eds.). Cochrane Handbook for Systematic Reviews of Interventions. Cochrane. Disponível em training.cochrane.org.
- Shea, B. J., Reeves, B. C., Wells, G. et al. “AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both”. BMJ, 2017;358:j4008.
- Higgins, J. P. T., Thompson, S. G., Deeks, J. J., Altman, D. G. “Measuring inconsistency in meta-analyses”. BMJ, 2003;327:557–560.
- Egger, M., Davey Smith, G., Schneider, M., Minder, C. “Bias in meta-analysis detected by a simple, graphical test”. BMJ, 1997;315:629–634.
- Guyatt, G. H., Oxman, A. D., Vist, G. E. et al. “GRADE: an emerging consensus on rating quality of evidence and strength of recommendations”. BMJ, 2008;336:924–926.
- Ioannidis, J. P. A. “The mass production of redundant, misleading, and conflicted systematic reviews and meta-analyses”. The Milbank Quarterly, 2016.
- Glass, G. V. “Primary, secondary, and meta-analysis of research”. Educational Researcher, 1976;5:3–8.
- Pearson, K. “Report on certain enteric fever inoculation statistics”. British Medical Journal, 1904.
- Cochrane, A. L. Effectiveness and Efficiency: Random Reflections on Health Services. 1972.
- PROSPERO — International Prospective Register of Systematic Reviews. Centre for Reviews and Dissemination, University of York.
Este verbete tem caráter educativo e não substitui avaliação, diagnóstico ou tratamento por um profissional de saúde qualificado. Cada pessoa é única — para um caso específico, procure orientação individualizada.