assignmentAvaliação e Medidas

Tomada de Decisão Baseada em Dados

Continuar, mudar ou encerrar uma intervenção é uma decisão — e ela tem como ser tomada olhando os dados.

boltEm resumo

Toda intervenção chega, mais cedo ou mais tarde, a uma encruzilhada: seguir como está, ajustar ou encerrar. A tomada de decisão baseada em dados é o compromisso de responder a essa pergunta olhando para o desempenho medido da pessoa — registrado de forma contínua e representado em gráfico — em vez de confiar na impressão de quem está ensinando. Ela tem três peças: uma medida confiável do comportamento que realmente importa; um critério definido antes de começar (aonde se quer chegar, e até quando); e uma regra de decisão combinada com antecedência, que diz o que fazer quando os dados ficarem abaixo, acima ou em cima desse critério. Não é burocracia: na pesquisa educacional, acompanhar o desempenho de forma sistemática melhora os resultados — e a melhora é maior justamente quando os dados viram gráfico e são lidos com regras explícitas. Na Análise do Comportamento, isso não é só boa prática: é exigência ética.

Definição técnica

A tomada de decisão baseada em dados (data-based decision making) é o uso sistemático de dados de desempenho — obtidos por medida direta e repetida do comportamento-alvo, sob condições comparáveis — para decidir continuar, modificar ou encerrar um procedimento de ensino ou intervenção. É a forma prática que assumem duas das dimensões descritas por Baer, Wolf e Risley (1968): a analítica (demonstrar que a mudança se deve ao que foi feito) e a eficaz (produzir mudança de magnitude relevante para a vida da pessoa). Corresponde ao que a literatura educacional chama de avaliação formativa ou monitoramento de progresso: avaliação feita durante o processo, para corrigir o rumo, e não apenas ao final, para constatar o resultado. No Ethics Code for Behavior Analysts (BACB), os padrões 2.17 (“Collecting and Using Data”) e 2.18 (“Continual Evaluation of the Behavior-Change Intervention”) tornam a prática obrigatória: exibir os dados graficamente e usá-los para decidir sobre continuar, modificar ou encerrar os serviços, e tomar ação corretiva quando os dados indicarem que os resultados desejados não estão sendo alcançados.

Por que a impressão não basta

Ninguém precisa de má-fé para se enganar sobre o próprio trabalho. Uma intervenção que produz efeito ao longo de várias semanas simplesmente não é perceptível dia a dia — e uma que não produz efeito nenhum também não é. A memória guarda as sessões marcantes, não as típicas; a semana boa pesa mais na lembrança do que as três medianas que vieram antes; e a expectativa de quem planejou o procedimento inclina a leitura a favor dele. É por isso que “está indo bem” pode significar, sem que ninguém perceba, apenas “estou gostando do que estou fazendo”.

O problema tem dois lados, e os dois custam caro. De um lado, insistir por tempo demais em algo que não está funcionando: cada semana perdida é uma semana em que a pessoa poderia estar aprendendo com outro procedimento. De outro, abandonar cedo demais algo que estava funcionando devagar, trocando um ganho real por um recomeço. Sem medida, as duas coisas acontecem e ninguém fica sabendo.

O antídoto não é desconfiar do julgamento profissional — é dar a ele algo melhor para olhar. Como resumiram Bushell e Baer em 1994, no capítulo de título quase panfletário “Ensino comprovadamente superior significa contato próximo e contínuo com os dados de resultado relevantes. Revolucionário!”, o que separa a instrução que se sabe boa daquela que se supõe boa é a proximidade com os dados. Os dados não existem para provar que o profissional estava certo; existem para que o erro apareça cedo, enquanto ainda dá tempo de corrigir.

A Análise do Comportamento herdou essa postura de forma radical. No Ensino de Precisão (Precision Teaching), Ogden Lindsley resumiu a abordagem como “basear decisões educacionais em mudanças em frequências de desempenho automonitoradas continuamente, exibidas em gráficos padronizados de celeração”. Um dos seus princípios é a frase que melhor sintetiza o espírito de todo este verbete: “o aprendiz é quem sabe”. Se os dados mostram que a pessoa não está progredindo, o que precisa mudar é o procedimento — não o aluno.

O ciclo da decisão

A decisão baseada em dados não é um momento no fim do processo: é um ciclo que gira durante todo o acompanhamento, às vezes semanalmente, às vezes a cada sessão. Cada volta completa produz uma escolha explícita — e essa escolha é a entrada da volta seguinte.

Definir alvo e critério 1 Medir sempre igual 2 Pôr no gráfico 3 Comparar com o critério 4 Decidir e agir 5 O QUE OS DADOS ESTÃO DIZENDO? a decisão de hoje é o ponto de partida da próxima medida
O ciclo não tem fim natural: ele gira enquanto durar o acompanhamento. Repare que a etapa 1 vem antes de qualquer dado — é ali que se define o que vai contar como progresso, e é por isso que ela não pode ser escrita depois de ver o resultado. E que a etapa 5 é uma escolha registrada, com data: “mantivemos o procedimento”, “aumentamos a ajuda”, “trocamos o reforçador”. Decisão que não fica escrita não pode ser avaliada depois.

Cada etapa depende da anterior, e é comum que o ciclo trave em uma delas. Sem definição operacional, duas pessoas medem coisas diferentes e o gráfico vira ruído. Sem registro confiável, a comparação não se sustenta. Sem linha de base, não há contra o que comparar. E sem análise visual bem-feita, o gráfico pronto não produz decisão nenhuma — fica ali, bonito, sem ser lido.

A regra de decisão: combinada antes, aplicada depois

O ponto que mais distingue a prática séria da imitação dela é este: a regra de decisão é definida no início, junto com o objetivo — não quando os dados já estão na tela. Definir a regra antes significa responder, por escrito, a três perguntas:

  • Aonde queremos chegar, e até quando? — o critério de desempenho e o prazo. Disso nasce a linha de objetivo (aim line): o traço que liga o ponto de partida à meta na data prevista, mostrando o ritmo de progresso necessário.
  • Quantas medidas vamos olhar antes de concluir qualquer coisa? — porque um ponto ruim é um dia ruim, não um fracasso. Nos materiais do MTSS Center e do National Center on Intensive Intervention (NCII), reúnem-se de seis a nove medidas antes da primeira leitura formal.
  • O que faremos em cada resultado possível? — o que caracteriza progresso suficiente, progresso insuficiente e resultado inconclusivo, e qual ação corresponde a cada um.

Uma das regras mais difundidas no monitoramento de progresso escolar é a regra dos quatro pontos, atribuída a Lynn e Douglas Fuchs e amplamente adotada em programas de individualização baseada em dados. Depois de reunir medidas suficientes, olham-se os quatro pontos mais recentes em relação à linha de objetivo:

os 4 pontos mais recentes linha de objetivo mediana da linha de base meta desempenho → semanas → 4 pontos abaixo → mudar a intervenção
A linha de objetivo traduz a meta em ritmo: ela mostra onde o desempenho precisaria estar a cada semana para chegar ao alvo na data combinada. No começo, os pontos oscilam em volta dela — situação legitimamente inconclusiva. Quando as quatro medidas mais recentes ficam todas abaixo da linha, a regra já tinha dito o que fazer: mudar alguma coisa na intervenção. Note que a regra não diz o que mudar; ela diz apenas que continuar igual deixou de ser uma opção defensável.

Aplicada a esse gráfico, a regra dos quatro pontos tem três desfechos e nenhuma ambiguidade:

  • Os quatro pontos acima da linha — o progresso supera o previsto. Considera-se elevar a meta ou começar a esvanecer os apoios.
  • Os quatro pontos abaixo da linha — o progresso é insuficiente. É hora de mudar a intervenção.
  • Pontos dos dois lados — ainda não dá para concluir. Mantém-se o procedimento e coletam-se mais medidas.

Existem outras regras igualmente legítimas — comparar a linha de tendência dos dados com a linha de objetivo, ou usar a mediana das três últimas medidas, por exemplo —, e na prática clínica da Análise do Comportamento é comum que o critério assuma a forma de um critério de domínio (“certa porcentagem de acertos independentes ao longo de um número combinado de sessões consecutivas”). O que essas formas têm em comum não é a aritmética: é o fato de terem sido escritas antes, de modo que ninguém precise decidir, com o gráfico na tela, qual seria um resultado aceitável.

verified

O que a pesquisa mostraA metanálise clássica sobre o tema é de Lynn e Douglas Fuchs (1986), que reuniu 21 estudos controlados e 96 tamanhos de efeito sobre avaliação formativa sistemática em educação. O efeito médio ponderado sobre o aprendizado foi de cerca de 0,70 desvio-padrão — substantivo, para um procedimento que não muda o que se ensina, apenas como se acompanha o que está sendo ensinado. E o achado mais útil está nos moderadores identificados pelo próprio estudo: o tamanho do efeito dependia de como os dados eram exibidos e avaliados. Leituras secundárias desse conjunto de estudos descrevem esse padrão como uma escada, em valores aproximados — apenas coletar os dados renderia um efeito modesto, em torno de 0,26; transformá-los em gráfico levaria a algo próximo de 0,70 (degrau que praticamente coincide com a média geral do estudo, já que graficar era o caso típico); e acrescentar regras explícitas de decisão para analisar o gráfico chegaria a cerca de 0,90. A lição é direta: a pasta de planilhas não ensina ninguém. O ganho vem de ver e de decidir.

As quatro respostas possíveis

Toda volta do ciclo termina em uma destas quatro decisões. Elas não são equivalentes, e confundi-las é uma fonte comum de erro — sobretudo tratar um “ainda não dá para dizer” como se fosse um “mude alguma coisa”. Explore cada uma:

Continuar como está

Os dados acompanham a linha de objetivo: o progresso está no ritmo previsto. A decisão correta é não mexer — e isso é uma decisão de verdade, não ausência de decisão. Há uma tentação real de “melhorar” um procedimento que está funcionando, acrescentando componentes; cada acréscimo, porém, é uma variável a mais e um efeito a menos de se conseguir explicar.

Situação diferente é a de quem supera o previsto de forma consistente. Aí o próprio critério se revelou modesto, e o passo seguinte não é ficar parado: é elevar a meta ou começar a reduzir os apoios. Isso já é uma mudança planejada — e é o segundo caso tratado na aba “Mudar”.

Continuar e coletar mais dados

Os pontos estão dos dois lados da linha, ou variam demais para sustentar qualquer leitura. O veredito honesto é “ainda não dá para dizer”, e ele não é fracasso: é a constatação de que faltam medidas.

Essa é a decisão mais desconfortável, porque parece inação — e é justamente por isso que ela precisa estar prevista na regra. Sem isso, a pressão por “fazer alguma coisa” leva a mudar o procedimento a cada oscilação, e um procedimento que muda toda semana nunca chega a ser testado. Se a variabilidade for muito alta, a pergunta a fazer é sobre a medida e sobre a consistência da aplicação, não sobre a técnica.

Mudar a intervenção

Os dados indicam progresso insuficiente. A regra diz que continuar igual saiu de questão; ela não diz o que colocar no lugar. Essa parte vem da avaliação funcional, da literatura de evidências e do que já se sabe sobre a pessoa.

Nem toda mudança nasce de um resultado ruim. Quando os dados superam a linha de objetivo com consistência, a mudança é para cima: uma meta mais ambiciosa — que é um ajuste do critério, não da intervenção — ou o início do esvanecimento dos apoios, que é uma mudança de procedimento como qualquer outra e merece os mesmos cuidados.

Uma recomendação prática atravessa toda a área: mude uma coisa de cada vez. Se o reforçador, o nível de ajuda e o critério de acerto mudam todos na mesma semana, e o desempenho melhora, não há como saber a que atribuir a melhora — nem o que preservar quando algo voltar a emperrar. Antes de trocar a técnica, vale ainda checar o mais provável: o procedimento estava sendo aplicado como foi planejado?

Encerrar ou avançar

O critério foi atingido. Encerrar é uma decisão de dados como as outras — e uma que costuma ser adiada por insegurança, prolongando um ensino que já cumpriu sua função.

Encerrar bem raramente significa parar de medir. O passo seguinte é verificar se o comportamento se mantém sem o procedimento e se aparece nos lugares e com as pessoas que importam — o que é o tema da generalização e manutenção. Também é o momento de perguntar às pessoas envolvidas se o resultado fez diferença real na vida delas: a validade social é uma pergunta que o gráfico não responde sozinho.

Onde a decisão baseada em dados escorrega

Falar em “dados” confere uma aura de objetividade que nem sempre corresponde ao que está acontecendo. Vire os cartões para ver as maneiras mais comuns de manter toda a aparência do método e perder a substância:

warning

Um gráfico não escolhe o objetivoOs dados respondem bem a duas perguntas: mudou? e mudou por causa do que fizemos?. Eles não respondem à terceira, que é a mais importante: valia a pena mudar isso?. Um número pode subir de forma impecável rumo a um objetivo que a própria pessoa não escolheu, ou que serve mais à conveniência de quem está em volta do que à vida dela. Por isso a escolha dos alvos passa por consentimento e assentimento e pela validade social — e por isso reduzir manifestações de identidade, como as estereotipias, não vira objetivo legítimo só porque é fácil de contar. Dado bom com alvo errado continua sendo alvo errado.

avaliação formativa monitoramento de progresso regra de decisão linha de objetivo (aim line) critério de domínio regra dos quatro pontos

Teste seu entendimento

quiz

Quiz rápido

Três perguntas para fixar o conceito. Você vê a explicação na hora.

Para saber mais

  1. Cooper, J. O.; Heron, T. E.; Heward, W. L. Applied Behavior Analysis (Análise do Comportamento Aplicada). 3ª ed. Pearson, 2020 — medida contínua, representação gráfica e decisões sobre programas de ensino.
  2. Baer, D. M.; Wolf, M. M.; Risley, T. R. “Some current dimensions of applied behavior analysis”. Journal of Applied Behavior Analysis, 1(1), 91–97, 1968 — as dimensões analítica e eficaz.
  3. Behavior Analyst Certification Board (BACB). Ethics Code for Behavior Analysts, 2020 (em vigor desde 1º/1/2022) — padrões 2.17 (coleta e uso de dados) e 2.18 (avaliação contínua da intervenção).
  4. Fuchs, L. S.; Fuchs, D. “Effects of systematic formative evaluation: a meta-analysis”. Exceptional Children, 53(3), 199–208, 1986 — 21 estudos controlados; efeito médio em torno de 0,70, moderado pela exibição dos dados e pelas regras de avaliação.
  5. Lindsley, O. R. “Precision teaching: discoveries and effects”. Journal of Applied Behavior Analysis, 25(1), 51–57, 1992 — decisões educacionais a partir de frequências monitoradas continuamente.
  6. Bushell, D.; Baer, D. M. “Measurably superior instruction means close, continual contact with the relevant outcome data. Revolutionary!”. In: Gardner, R. III et al. (Eds.), Behavior Analysis in Education: Focus on Measurably Superior Instruction, pp. 3–10. Brooks/Cole, 1994.
  7. National Center on Intensive Intervention (NCII). Decision Rules for Analyzing Academic Progress Monitoring Data — regra dos quatro pontos, linha de tendência e mediana das três últimas medidas. Ver também MTSS Center, Better Instructional Decision Making With Progress Monitoring — os três desfechos da regra e o número de medidas antes da primeira leitura.
  8. The Wing Institute. What Is the Effect of Formative Evaluation on Student Achievement? — leitura por componentes dos resultados de Fuchs & Fuchs (1986): coletar, representar em gráfico e aplicar regras de decisão.
info

Este verbete tem caráter educativo e não substitui avaliação, diagnóstico ou tratamento por um profissional de saúde qualificado. Cada pessoa é única — para um caso específico, procure orientação individualizada.

campaignConheça o Instituto Walden4

Verbetes relacionados

Precisa de orientação profissional?

O Instituto Walden4 oferece avaliação e atendimento baseados em evidências para autismo (TEA), psicoterapia e desenvolvimento. Fale com nossa equipe.

chat Falar pelo WhatsApp
chat