O que a evidência não diz

“Mais estudos = melhor”

Ao lado de cada prática da lista de autismo há um número: quantos estudos a sustentam. É o dado mais fácil de ler e o mais fácil de ler errado. Esse número mede volume de investigação — quanta pesquisa foi feita sobre aquele procedimento na janela que a revisão cobriu, de 1990 a 2017. Ele não mede o tamanho do efeito, não mede a qualidade de cada estudo e não mede quanto aquela prática muda a vida de alguém.

Um exemplo concreto, tirado dessa revisão de autismo: Ajudas e dicas aparece com 140 estudos; Momento comportamental, com 12. A leitura intuitiva — “então uma é dez vezes melhor, e é por ela que se começa” — está errada por dois motivos.

O primeiro é o desenho do critério. Entrar na lista é atravessar um piso, uma pergunta de sim ou não: já dá para afirmar que isto foi replicado por mais de um grupo de pesquisa? Uma vez atravessado, o critério para de contar pontos. As duas práticas estão igualmente dentro; nenhuma está “mais dentro”.

O segundo motivo é história da pesquisa, não mérito. Um procedimento antigo, barato de aplicar, fácil de montar numa sessão curta e que já era assunto em 1990 teve três décadas para acumular publicações. Um procedimento que só passou a ser assunto frequente da pesquisa recentemente acumulou menos publicações dentro da mesma janela de 1990 a 2017 — e talvez exija equipamento, formação longa ou um desfecho trabalhoso de registrar. A pilha maior conta o que foi mais fácil e mais conveniente de estudar. Não conta o que funciona melhor.

Nada disso é peculiaridade do autismo. Em qualquer área vale o mesmo: um formato de atendimento que ganhou a atenção da pesquisa há pouco tempo tem uma pilha de artigos menor que a de outro discutido desde os anos 1990 — e o tamanho da pilha continua não sendo uma ordem de mérito.

“Se somar tudo dá 1.207, mas vocês disseram 972”

Este é o tipo de detalhe que faz um leitor atento desconfiar de tudo — e ele merece resposta direta, porque a resposta explica como o relatório inteiro é organizado.

Some os estudos das 28 práticas da revisão de autismo, uma a uma, e você chega a 1.207. Mas essa revisão sintetizou 972 artigos. A diferença não é erro de conta nem número inflado para impressionar: um mesmo estudo pode testar mais de uma prática ao mesmo tempo, e por isso é contado dentro de cada uma delas.

E ele quase sempre testa mais de uma. Uma intervenção real não é um procedimento isolado num tubo de ensaio. Ensinar alguém a pedir água costuma envolver, digamos, ajudas — o adulto modela o gesto e depois vai se retirando —, reforçamento — o pedido é atendido de imediato — e apoios visuais — uma figura na porta da geladeira. Quando esse estudo é catalogado, ele entra na prateleira das três, porque as três estavam ali funcionando juntas. Um artigo, três somas.

O mesmo acontece nos outros cortes do mesmo relatório, e pela mesma razão. Somados, os 13 domínios de resultado dão 1.573 estudos — porque um único estudo pode medir comunicação e comportamento no mesmo desenho. As faixas etárias dos participantes somam 1.449, porque um estudo com participantes de quatro a nove anos aparece em mais de uma faixa.

A regra para ler qualquer um desses números é curta: cada soma responde a uma pergunta diferente, e nenhuma delas é “quantos artigos existem”. O número de artigos é 972. O 1.207 é o número de vezes que um artigo apareceu na conta de alguma prática. São grandezas distintas — tratá-las como se fossem a mesma coisa é exatamente o que produz a impressão de inconsistência.

“Não está na lista, logo não funciona”

Ausência de evidência não é evidência de ausência. Uma prática pode estar fora da lista por motivos que nada têm a ver com ela produzir ou não algum efeito: ninguém a estudou ainda; foi estudada por um grupo só; os estudos existem mas não atenderam aos padrões metodológicos; ou ela é recente demais para ter atravessado o tempo de replicação que o critério exige. A lista mapeia onde já se olhou com método — não onde há algo para achar.

Há ainda um caso mais básico: nem toda área tem uma lista desse tipo à mão. Um catálogo assim exige que muitos grupos de pesquisa tenham estudado os mesmos procedimentos por muito tempo — a revisão de autismo cobre de 1990 a 2017. Onde não há catálogo para consultar, “não consta de uma lista de práticas com evidência” não diz nada sobre o procedimento: diz que não existe a lista. Nesses casos, a conversa muda de forma — em vez de conferir um catálogo, você pergunta diretamente à equipe que evidência existe para o que ela propõe.

Só que “ausência de evidência não é evidência de ausência” é usada, com muita frequência, como passe livre — e não é. Ela corta para os dois lados, e a contrapartida honesta precisa ser dita com a mesma clareza: “não está na lista” significa que ainda não há base para recomendar. Não é uma acusação; é um estado do conhecimento. E um estado assim pede cautela, não entusiasmo.

Daí decorre uma assimetria que protege quem vai receber o tratamento: o ônus de mostrar é de quem propõe. Não cabe a quem está sendo atendido provar que a novidade não funciona; cabe a quem a oferece mostrar que funciona, e mostrar de um jeito que outra equipe consiga verificar. A pergunta útil na reunião não é “isso tem evidência?”, que quase sempre recebe um sim vago — é “que evidência existe para isso, e quem a produziu além de vocês?”

A resposta honesta pode ser “ainda estamos estudando”. Isso é aceitável — desde que seja dito com todas as letras, desde que a pessoa atendida — e a família, quando ela participa da decisão — saiba que está participando de algo em teste, e desde que a conta de tempo, dinheiro e esperança seja feita com esse dado à vista.

“Tem evidência, logo vai funcionar neste caso”

A evidência é feita de médias e de repetições. Um estudo de grupo diz o que aconteceu, em média, com as pessoas que participaram dele. Um estudo de caso único diz que o efeito foi repetível naquelas pessoas, uma a uma. Nenhum dos dois consegue dizer o que vai acontecer com quem não estava lá — e quem interessa a você, seja você mesmo, um filho ou alguém de quem você cuida, não estava lá.

Uma média, em particular, esconde dentro de si tudo o que a compõe: quem avançou muito, quem mudou pouco, quem não mudou e quem piorou. Duas intervenções podem ter a mesma média e histórias completamente diferentes por trás dela. Duas pessoas em tratamento por ansiedade, digamos, podem fazer o mesmo percurso, com o mesmo profissional e no mesmo período, e sair dele com resultados bem diferentes — e a média das duas não descreve nenhuma delas. Quando alguém diz “essa prática tem evidência”, está falando do conjunto — e a pessoa atendida não é um conjunto.

Nada disso torna a evidência inútil. Torna-a o que ela é: o melhor ponto de partida disponível. Ela diz onde a chance de acertar é maior, e economiza o tempo que se perderia testando o que já se sabe que não se sustenta. O que ela não faz é substituir a verificação no caso concreto — e é por isso que o roteiro de cinco passos termina em acompanhar, e não em escolher: veja como usar a prática baseada em evidências.

“É uma receita”

Uma lista com 28 nomes, como a do autismo, parece um cardápio: escolha três, aplique, aguarde. Não é isso, e a distinção tem nome técnico.

O relatório cataloga práticas focadas: procedimentos, componentes de intervenção — peças. Ajudas e dicas é uma peça. Reforçamento é uma peça. Elas não vêm com dose, duração, sequência, nem com critério de quando mudar de estratégia. Um programa compreensivo é outra coisa: um pacote de tratamento completo, com currículo, carga horária, ordem de ensino e manual — construído combinando muitas dessas peças ao longo do tempo. Catalogar peças não é publicar o móvel montado, e a revisão de autismo do NCAEP catalogou peças. O mesmo se aplica a qualquer área: saber que um procedimento tem base de pesquisa não diz como montá-lo dentro de um tratamento inteiro.

Entre os dois extremos existe um caso intermediário: nessa revisão, dez intervenções com nome próprio e manual publicado atenderam aos critérios e foram contadas dentro de uma prática maior, não como categoria separada. Ter manual não as transforma em receita universal — significa apenas que o procedimento está descrito com detalhe suficiente para outra equipe repeti-lo do mesmo jeito.

“A lista é definitiva”

Ela nunca foi. A primeira geração da revisão de autismo, em 2010, reconheceu 24 práticas. A segunda, publicada em 2014 e 2015, chegou a 27. A terceira, a do NCAEP, chegou a 28. A próxima vai mudar de novo — e isso é sinal de que o processo está funcionando, não de que alguém errou antes.

E não é só o total que se move. De uma edição para outra, categorias se fundem, mudam de nome e trocam de lugar. Uma prática que “sumiu” pode simplesmente ter sido absorvida por outra maior: a evidência que a sustentava continua valendo, contada agora dentro de uma categoria mais ampla. É reorganização de prateleira, não desmentido. Vale conferir as 28 práticas uma a uma para ver como isso aparece na lista atual.

A cobertura dessa revisão também tem data de corte: 1990 a 2017. Pesquisa publicada depois disso não está contabilizada aqui. Uma prática pode já ter estudos novos suficientes hoje e ainda não aparecer — e o contrário também: um resultado antigo pode ter sido revisto por trabalhos que a revisão não alcançou.

Por fim, “a lista” não é a única lista possível. Outra revisão, com outros critérios de inclusão, outra nomenclatura e outra janela de tempo, pode chegar a outra contagem de práticas — e a divergência, nesse caso, está nas regras adotadas, não nos fatos. Por isso, diante de qualquer lista, a pergunta certa é: lista de quem, para qual população, com quais critérios, cobrindo qual período? Uma lista construída para uma população não se transfere automaticamente para outra.

Teste seu entendimento