Quando um estudo mostra que um tratamento funcionou, cabem duas perguntas, e elas são independentes. A primeira é de validade interna: a mudança foi mesmo causada pela intervenção, ou alguma outra coisa — o tempo, o amadurecimento, a atenção extra, a troca de quem media — explicaria o mesmo resultado? A segunda é de validade externa: esse efeito se sustenta fora dali, com outras pessoas, em outros contextos, nas mãos de outros aplicadores, medido de outro jeito? A ordem entre elas importa. Sem validade interna não existe efeito demonstrado — e não se generaliza o que não ficou estabelecido. Mas validade interna alta também não entrega generalidade de graça: isso quem dá é a replicação. Na prática, quem lê um estudo precisa fazer as duas perguntas: deu certo por causa do tratamento? e deu certo para alguém parecido com quem eu atendo?
A validade interna é o grau em que o delineamento de um estudo autoriza a inferência de que a variável independente — e não variáveis estranhas, incontroladas ou desconhecidas — produziu a mudança observada na variável dependente. Em Campbell e Stanley (1963), ela é o sine qua non da pesquisa experimental: “o mínimo básico sem o qual qualquer experimento é ininterpretável — os tratamentos experimentais fizeram, de fato, diferença nesta instância experimental específica?”. A validade externa é o grau em que a relação de causa e efeito demonstrada se mantém sob variação de pessoas, cenários, variáveis de tratamento e variáveis de medida; os mesmos autores a formulam como a pergunta “a que populações, cenários, variáveis de tratamento e variáveis de medida este efeito pode ser generalizado?”. Em Cooper, Heron & Heward, as duas definições chegam ao vocabulário da análise do comportamento quase intactas: validade interna é “a extensão em que um experimento mostra convincentemente que mudanças no comportamento são função da variável independente e não resultado de variáveis incontroladas ou desconhecidas”, e validade externa é “o grau em que os achados de um estudo têm generalidade para outros sujeitos, cenários e/ou comportamentos”. Shadish, Cook e Campbell (2002) encaixam as duas num sistema de quatro validades, ao lado da validade de conclusão estatística e da validade de constructo.
Duas perguntas que vivem sendo trocadas uma pela outra
Imagine uma escola que adota um novo programa de leitura em março e mede o desempenho da turma em novembro. Os resultados subiram. Pergunta 1: foi o programa? Entre março e novembro aconteceram outras coisas — as crianças ficaram oito meses mais velhas, houve uma feira do livro, a professora mudou, duas famílias saíram da escola, e o teste de novembro não foi exatamente o mesmo de março. Cada uma dessas coisas é uma explicação concorrente, e o trabalho do delineamento é fechar a porta para elas. Essa é a questão da validade interna.
Agora suponha que a porta tenha sido bem fechada: havia uma turma de comparação, as medidas eram equivalentes, ninguém saiu do estudo. Pergunta 2: isso vale na minha escola? O programa foi testado numa escola particular pequena, com professoras treinadas pelos próprios autores do programa e turmas de quinze alunos. A sua tem trinta e cinco. Nenhuma quantidade de rigor na pergunta 1 responde à pergunta 2 — e nenhuma semelhança de contexto na pergunta 2 resgata um estudo que falhou na pergunta 1.
São perguntas separadas porque exigem remédios separados. A primeira se resolve com controle: grupo de comparação, alocação aleatória, medição repetida, cegamento, linha de base estável, checagem de integridade procedural. A segunda se resolve com variação deliberada: repetir o estudo com outras pessoas, em outros lugares, com outros aplicadores — ou seja, com replicação.
O sistema das quatro validades
Campbell e Stanley abriram a discussão com duas validades. A tradição que os sucedeu foi desdobrando a questão, e Shadish, Cook e Campbell (2002) consolidaram a tipologia em quatro, separando o que antes vinha embrulhado junto. Toque nos cartões para ver a pergunta de cada uma:
Vale separar essas quatro da palavra “validade” em outros dois sentidos que circulam na mesma literatura, porque a confusão é frequente. Esta página trata da validade da inferência — o que o estudo autoriza concluir. A validade da medida é outra coisa: o número anotado diz respeito ao que interessa? E a validade social é outra ainda: a mudança importa na vida da pessoa? Um estudo pode acertar uma dessas perguntas e errar as outras duas.
O catálogo de ameaças
A grande contribuição prática dessa literatura não foram as definições, e sim as listas. Em vez de pedir ao leitor que desconfie em geral, ela nomeia uma a uma as maneiras conhecidas de um estudo enganar. Saber os nomes é o que transforma desconfiança difusa em leitura crítica:
As nove de Shadish, Cook e Campbell (2002)
- Precedência temporal ambígua: não se sabe o que veio primeiro. A criança melhorou porque o apoio chegou, ou o apoio chegou porque ela já estava melhorando?
- Seleção: os grupos já eram diferentes antes de começar — a ameaça que a alocação aleatória existe para neutralizar.
- História: algo fora do estudo aconteceu no mesmo período e mexeu no resultado.
- Maturação: as pessoas mudam só por passar o tempo — ficam mais velhas, mais experientes, mais cansadas.
- Regressão (à média): quem é selecionado por estar num extremo tende a se mover para o meio na medição seguinte, com tratamento ou sem.
- Atrito: quem desiste do estudo não desiste ao acaso. Se saem justamente os que não estavam melhorando, o resultado final fica artificialmente bom.
- Testagem: fazer o teste ensina a fazer o teste. A segunda aplicação sobe por treino, não por tratamento.
- Instrumentação: o que mudou foi o instrumento ou quem observa — um critério mais frouxo no fim do estudo produz “melhora” sem comportamento novo.
- Efeitos aditivos e interativos: as ameaças se combinam. Seleção interage com história, com maturação, com instrumentação — e a soma engana mais que cada parte.
Onde a generalização trava
Bracht e Glass (1968) desdobraram a validade externa em populacional e ecológica e catalogaram o que atrapalha cada uma. Alguns itens da lista:
- Amostra estreita — este é o item do lado populacional: quem entrou no estudo não se parece com quem procura atendimento. Os demais itens desta lista pertencem ao lado ecológico.
- Efeito Hawthorne: as pessoas mudam porque estão sendo observadas e recebendo atenção, não por causa do procedimento em si.
- Novidade e disrupção: o programa funciona enquanto é novidade; o entusiasmo inicial não sobrevive ao segundo ano.
- Efeito do experimentador: quem aplicou era o autor do método, altamente treinado e investido no resultado. Com outro aplicador, o efeito pode encolher.
- Interferência de múltiplos tratamentos: a pessoa recebeu várias coisas ao mesmo tempo; o resultado pode depender da combinação, não de um dos componentes isolado.
- Sensibilização pelo pré-teste: responder ao questionário inicial chamou atenção para o tema e preparou terreno para a intervenção — fora do estudo, esse preparo não acontece.
- Descrição insuficiente do tratamento: se o relato não permite reproduzir o que foi feito, não há o que generalizar. Daí a importância da descrição procedural detalhada.
O que muda quando o sujeito é seu próprio controle
Petursdottir e Carr (2018) aplicaram esse mesmo catálogo aos delineamentos de caso único da análise do comportamento, e o resultado é instrutivo: parte das ameaças simplesmente não se aplica.
- Seleção fica irrelevante: a comparação é dentro do participante, não entre participantes. Não há dois grupos para serem desiguais.
- História, maturação, testagem e instrumentação são bem controladas pela combinação de medição repetida em múltiplas condições com replicação do efeito — reversão, linha de base múltipla, tratamentos alternados.
- Regressão à média é ameaça mínima, justamente porque não se decide nada a partir de uma medida isolada: há uma série temporal inteira.
- Atrito importa pouco, exceto quando o relato agrega o desempenho de vários participantes num só número.
- O que sobra exigindo vigilância é o observador: deriva e viés de quem registra pedem checagem contínua de concordância. Veja registro e coleta de dados.
Em troca, a validade externa de um caso único começa desconhecida — e é construída por replicação sistemática, com variações planejadas de participantes, cenários e procedimentos, até se descobrir onde o efeito se mantém e onde deixa de se manter.
A tensão entre as duas — e por que ela não é uma lei
Há uma tensão real. Para blindar a pergunta 1, o pesquisador aperta o controle: aceita só participantes com um diagnóstico e nenhuma condição associada, padroniza o protocolo sessão por sessão, roda tudo numa clínica universitária com aplicadores supervisionados. Cada aperto desses afasta o estudo das condições em que o tratamento vai ser usado de verdade. É a diferença entre o ensaio explanatório — condições ideais, para dar ao tratamento sua melhor chance de mostrar efeito — e o ensaio pragmático, feito nas condições reais de serviço, para descobrir se o efeito sobrevive a elas.
O PRECIS-2 (Loudon e colegas, 2015a, no BMJ) transformou essa distinção em instrumento: nove domínios de um ensaio — elegibilidade, recrutamento, cenário, organização, flexibilidade na entrega, flexibilidade na adesão, acompanhamento, desfecho primário e análise primária — cada um pontuado de 1 (muito explanatório) a 5 (muito pragmático). Não existe pontuação “certa”: existe pontuação coerente com a pergunta que o ensaio quer responder.
Quanto a amostra pode encolherUma revisão sobre transtornos de ansiedade (Goldstein-Piekarski, Williams & Humphreys, 2016) levantou os critérios de exclusão mais usados nos estudos de tratamento: psicose em 80% deles, dependência de substâncias em 69%, transtorno bipolar em 47%, depressão maior comórbida em 39% e risco de suicídio em 36%. Somados, esses critérios podem excluir até 92% de quem efetivamente procura tratamento. Isso não invalida os estudos — invalida a leitura preguiçosa de que o resultado se aplica, sem mais, a qualquer pessoa que chegue à clínica.
Mas a tensão não é uma lei de conservação, em que ganhar de um lado obrigue a perder do outro. Afrouxar os critérios de elegibilidade amplia a população alcançada sem mexer na alocação aleatória, no cegamento ou na análise — e são essas as engrenagens que sustentam a validade interna. Num levantamento de ensaios cardiovasculares, a mesma equipe (Loudon e colegas, 2015b) comparou estudos mais explanatórios e mais pragmáticos pela ferramenta Cochrane de risco de viés e não encontrou diferença clara entre eles. É evidência limitada — um resumo de congresso, com poucos ensaios —, mas suficiente para desconfiar do automatismo. A troca existe em alguns domínios; em outros, é só falta de cuidado disfarçada de escolha metodológica.
Onde a leitura escorrega“O estudo é fraquinho, mas foi feito no mundo real, então vale mais na prática.” Não vale. Sem validade interna não há efeito estabelecido — e generalizar o que não ficou estabelecido é generalizar nada. Por isso Campbell e Stanley chamaram a validade interna de sine qua non: ela é condição de entrada, não um item a mais numa lista de qualidades. O inverso também engana: um experimento impecável com oito universitários num laboratório não autoriza, por si, recomendação para crianças numa escola pública.
O que isso muda na leitura de um estudo
Duas perguntas, feitas nessa ordem, dão conta de boa parte do trabalho:
- Havia com o que comparar? Um grupo de controle, uma linha de base estável, uma reversão de condição. Sem comparação, “melhorou depois do tratamento” é relato, não evidência.
- Quem saiu do estudo, e por quê? Perdas desiguais entre os grupos derrubam a comparação sem deixar rastro no resultado final — quem desistiu não aparece no número que você está lendo.
- Quem foi excluído na entrada? Os critérios de exclusão ficam na seção de métodos e dizem, em duas linhas, a quem o resultado se aplica.
- Quem aplicou? Os autores do método, uma equipe treinada por eles ou profissionais do serviço comum? Isso muda o que se pode esperar fora do estudo.
- O procedimento está descrito o suficiente para ser reproduzido? E houve checagem de que foi aplicado como descrito — ou seja, de integridade procedural?
- Houve replicação? Um estudo isolado é um começo. É a soma deles, reunida em revisões sistemáticas, que sustenta recomendação — e é dessa soma que se alimenta a prática baseada em evidências.
Para quem atende, a pergunta da validade externa tem uma versão bem concreta e inescapável: este estudo foi feito com alguém parecido com a pessoa que está na minha sala? Quando a resposta é não — e muitas vezes é —, o estudo não deixa de valer; ele passa a valer como hipótese, a ser testada naquele caso com medida própria e acompanhamento. A generalização do comportamento aprendido e a decisão baseada em dados fazem justamente essa ponte entre o que a literatura mostra e o que acontece aqui.
Teste seu entendimento
Quiz rápido
Três perguntas para fixar o conceito. Você vê a explicação na hora.
Para saber mais
- Campbell, D. T. & Stanley, J. C. “Experimental and quasi-experimental designs for research on teaching”. In: Gage, N. L. (org.) Handbook of Research on Teaching. Rand McNally, 1963, p. 171–246 — reeditado como monografia (Experimental and Quasi-Experimental Designs for Research, Rand McNally, 1966).
- Shadish, W. R.; Cook, T. D. & Campbell, D. T. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin, 2002 — o sistema das quatro validades e as nove ameaças à validade interna.
- Bracht, G. H. & Glass, G. V. “The external validity of experiments”. American Educational Research Journal, 5(4), 437–474, 1968. DOI 10.3102/00028312005004437 — distinção entre validade populacional e ecológica.
- Cooper, J. O.; Heron, T. E. & Heward, W. L. Applied Behavior Analysis. 3ª ed. Pearson, 2020 — definições de validade interna e externa no vocabulário da análise do comportamento.
- Petursdottir, A. I. & Carr, J. E. “Applying the taxonomy of validity threats from mainstream research design to single-case experiments in applied behavior analysis”. Behavior Analysis in Practice, 11(3), 228–240, 2018. DOI 10.1007/s40617-018-00294-6.
- Loudon, K.; Treweek, S.; Sullivan, F.; Donnan, P.; Thorpe, K. E. & Zwarenstein, M. “The PRECIS-2 tool: designing trials that are fit for purpose”. BMJ, 350:h2147, 2015 (2015a). DOI 10.1136/bmj.h2147.
- Loudon, K.; Zwarenstein, M.; Sullivan, F.; Donnan, P. & Treweek, S. “Do pragmatic trials trade-off internal validity for external validity?”. Trials, 16(Supl. 2):O81, 2015 (2015b; resumo de congresso). DOI 10.1186/1745-6215-16-S2-O81.
- Goldstein-Piekarski, A. N.; Williams, L. M. & Humphreys, K. “A trans-diagnostic review of anxiety disorder comorbidity and the impact of multiple exclusion criteria on studying clinical outcomes in anxiety disorders”. Translational Psychiatry, 6(6):e847, 2016. DOI 10.1038/tp.2016.108.
Este verbete tem caráter educativo e não substitui avaliação, diagnóstico ou tratamento por um profissional de saúde qualificado. Cada pessoa é única — para um caso específico, procure orientação individualizada.