Traducido del original en portugués. Leer el original (Português)
Toda medida de conducta responde a dos preguntas distintas. La primera es de fiabilidad: si mides el mismo evento otra vez, ¿sale el mismo número? La segunda es de validez: ¿ese número se refiere a lo que realmente importa? Son preguntas separadas, y el orden entre ellas importa: una báscula desajustada marca siempre los mismos 3 kg de más, con perfecta consistencia, y una báscula no mide altura por muy bien calibrada que esté. Entre las dos está la exactitud: cuánto se acerca el valor registrado al valor verdadero. En la práctica clínica y escolar, estas tres cualidades no aparecen solas: se construyen —con definiciones claras, observadores entrenados, comparación con un estándar externo y comprobación de concordancia— o simplemente no existen.
La fiabilidad (o confiabilidad) de una medida es el grado en que la medición repetida del mismo evento produce los mismos valores. La exactitud es el grado en que los valores observados corresponden a los valores verdaderos del evento, establecidos mediante un procedimiento de referencia independiente. La validez es el grado en que la medida —y la interpretación que se hace de ella— corresponde al fenómeno que se pretende investigar. En Cooper, Heron & Heward, las tres constituyen los indicadores de una medida digna de confianza, y la validez de la medida conductual exige tres elementos simultáneos: medir directamente una conducta socialmente significativa, medir la dimensión relevante para la pregunta en cuestión y garantizar que los datos sean representativos de las condiciones y los momentos que importan. En el marco psicométrico de los Standards for Educational and Psychological Testing (AERA, APA y NCME, 2014), la validez no es una propiedad fija del instrumento, sino el grado en que la evidencia y la teoría sostienen una interpretación específica de las puntuaciones para un uso específico.
Las preguntas que siempre se confunden
Imagina tres básculas. La primera está desajustada y marca siempre 3 kg de más: es consistente —pésate diez veces y saldrá el mismo número—, pero el número está sistemáticamente equivocado. La segunda tiene un defecto en el sensor y devuelve 61 kg, 68 kg, 64 kg para la misma persona en el mismo minuto: aquí el problema es otro, ninguna lectura aislada sirve de nada. La tercera es una báscula impecable usada para responder a la pregunta equivocada: nadie descubre la estatura de alguien pesándolo, por fina que sea la calibración.
Estas tres fallas tienen nombres distintos porque exigen remedios distintos. La primera es falta de exactitud (sesgo sistemático), y se resuelve comparando el instrumento con un estándar. La segunda es falta de fiabilidad, y se resuelve mejorando el sistema de medida y el entrenamiento de quien mide. La tercera es falta de validez, y ninguna cantidad de rigor técnico la arregla: hay que cambiar lo que se está midiendo.
La tríada de la medida que merece confianza
Las tres cualidades forman una jerarquía práctica: la validez define qué vale la pena medir, la exactitud dice si el número coincide con la realidad y la fiabilidad dice si se puede repetir el procedimiento. Explora cada una:
Validez: ¿el número se refiere a lo que importa?
Es la primera pregunta, y la más fácil de saltarse. Para que una medida conductual sea válida, tres condiciones deben cumplirse al mismo tiempo:
- Medida directa de la conducta que importa: observar la propia respuesta de interés, y no un sustituto conveniente. Contar cuántas fichas ganó el niño no es medir si aprendió a pedir; la nota de un cuestionario respondido por la escuela no es la frecuencia de la conducta en la escuela.
- Dimensión relevante: la propiedad medida tiene que corresponder a la preocupación real. Si la queja es que las crisis duran mucho, contar cuántas crisis hubo puede no mostrar ninguna mejora, aunque cada episodio haya bajado de cuarenta a cinco minutos. Mira dimensiones de la medida.
- Datos representativos: la observación necesita cubrir las condiciones y los horarios en que la conducta realmente ocurre. Medir la agresión solo en las dos primeras horas de la mañana, cuando los episodios se concentran en realidad al final de la tarde, produce un gráfico bonito y falso.
Exactitud: ¿el número coincide con el valor verdadero?
Una medida es exacta cuando el valor registrado coincide con el valor verdadero del evento. Y el valor verdadero no es la opinión del supervisor: es un número obtenido mediante un procedimiento independiente y más confiable que la medida que se está probando; un instrumento calibrado, el conteo de un producto permanente (los problemas realmente resueltos en la hoja) o el análisis cuidadoso de una grabación de la misma sesión.
Comprobar la exactitud significa, entonces, comparar con un estándar externo, y no comparar a dos observadores entre sí. Es la única comprobación capaz de detectar un error sistemático: si todos los implicados subestiman por igual, nada en la comparación interna va a delatar el problema. En la práctica, esto suele hacerse por muestreo: algunas sesiones a lo largo del seguimiento, no todas.
Fiabilidad: ¿la medida se repite?
La fiabilidad es consistencia: medir el mismo evento de nuevo y obtener el mismo valor. Es la cualidad más fácil de verificar y la más fácil de confundir con las otras dos, porque no dice nada sobre estar en lo cierto. Un reloj parado es extremadamente fiable.
Dos relaciones lógicas organizan el tema y vale la pena recordarlas:
- Una medida exacta es necesariamente fiable: si toda lectura coincide con el valor verdadero, las lecturas coinciden entre sí.
- Una medida fiable no es necesariamente exacta ni válida: puede fallar siempre igual, o medir con precisión lo que no toca.
De ahí el orden de prioridades: mejorar la consistencia de una medida que mide lo que no toca es invertir trabajo para equivocarse con más elegancia.
Por qué la confusión es tan comúnFiabilidad, confiabilidad y precisión se usan para la misma idea de fondo — y en el uso cotidiano, "fiable" sugiere "verdadero", que es justo lo que el término técnico no garantiza. Conviene desconfiar de dos frases: "este dato es fiable, así que puedes decidir con él" (fiable sin ser válido es basura consistente) y "la medida es súper detallada, así que es buena" (la riqueza de detalle sobre la variable equivocada no resuelve nada).
Qué corroe la validez del dato
Las amenazas a la validez de la medida no son accidentes raros: son decisiones de rutina, tomadas de buena fe, casi siempre por conveniencia.
- Medida indirecta: medir un sustituto en lugar de la conducta: escalas de impresión, informes retrospectivos, recuerdos de quien convivió con la persona. A veces es la única vía posible, y entonces hay que decir explícitamente qué se está midiendo: la impresión de alguien, y no la ocurrencia de la conducta.
- Dimensión equivocada: contar cuando lo que importa es la duración, cronometrar cuando lo que importa es la latencia, medir porcentaje de aciertos cuando el problema es la demora en empezar.
- Medición discontinua: los métodos por intervalo estiman la ocurrencia, y cada uno se equivoca en una dirección previsible. El problema no es usarlos; es tratar la estimación como un conteo exacto, o cambiar de método a mitad del seguimiento y leer la diferencia como progreso.
- Período de observación mal elegido: observar siempre a la misma hora, en el contexto más fácil o solo cuando hay personal suficiente produce datos sobre esa ventana, no sobre el día de la persona.
- Escala insensible o limitante: cuando la escala no tiene resolución suficiente para mostrar el cambio esperado, o impone techos y pisos artificiales. Es el caso del porcentaje calculado sobre pocos ensayos.
Qué corroe la exactitud y la fiabilidad
Aquí las amenazas viven en el sistema de medida y en quien lo opera, y casi nunca en la mala fe:
- Sistema de medida mal diseñado: definiciones vagas, demasiados códigos, demasiadas conductas monitoreadas a la vez, una hoja difícil de rellenar en medio de la acción. Cuanto más tiene que juzgar el observador, más depende el número de quién observa. El antídoto empieza con la definición operacional.
- Entrenamiento insuficiente: quien registra necesita practicar con ejemplos y contraejemplos y alcanzar un criterio de desempeño antes de que los datos cuenten. Los datos de un observador sin entrenar no se recuperan después.
- Deriva del observador (observer drift): la aplicación de la definición cambia poco a poco a lo largo de las semanas, sin que nadie lo note. Se combate con repasos periódicos y recalibración contra las grabaciones usadas en el entrenamiento original.
- Expectativa y sesgo: saber en qué fase está el programa, o qué resultado se espera, empuja las valoraciones. Ayuda mantener a quien registra ajeno a la fase y al resultado esperado, y no dejar que la misma persona aplique y evalúe por sí sola su propia intervención.
- Reactividad: ser observado altera la conducta observada, y saberse supervisado altera la forma de registrar. La observación menos intrusiva, los períodos de adaptación y las comprobaciones no anunciadas reducen el efecto.
Cómo se comprueba en la práctica: la concordancia entre observadores
La herramienta más usada en el análisis de la conducta aplicado es la concordancia entre observadores: IOA, de interobserver agreement. Dos personas registran la misma sesión de forma independiente y los dos registros se comparan. Independiente es la palabra decisiva: si conversan durante la sesión, o si una ve la hoja de la otra, la concordancia obtenida no significa nada.
El IOA responde a tres preguntas útiles: ¿la definición operacional está lo bastante clara como para producir el mismo número en manos distintas? ¿Los observadores nuevos ya están listos? ¿Hubo deriva a lo largo de las semanas? Por eso el IOA no es un ritual de una sola sesión: se recoge en muestras a lo largo de todas las fases del seguimiento, con parejas de observadores variadas.
Hay varias formas de calcularlo, y no son intercambiables: el mismo par de registros puede dar 95% por un método y 60% por otro. Voltea las tarjetas:
Para medidas de tiempo existen equivalentes: concordancia de la duración total (la duración menor dividida entre la mayor) y de la duración por ocurrencia, episodio a episodio; esta última, de nuevo, la más exigente y la más informativa.
Concordar no es acertar, y 80% no es un teoremaDos observadores entrenados juntos, con la misma definición imprecisa y la misma expectativa, se equivocan de la misma manera y muestran una concordancia altísima. El IOA muestra que la medida es reproducible, no que sea exacta; para eso hace falta el estándar externo. En cuanto al umbral: en la literatura se ha convenido reportar valores a partir del 80%, con 90% o más considerado deseable sobre todo cuando la decisión clínica depende de esos datos, pero eso es una convención del campo, no una ley de la naturaleza. Un número alto obtenido en una sola sesión, con el método más indulgente y siempre con la misma pareja de observadores, aporta muy poca información. Más detalles en registro y recolección de datos.
Cuando la medida es una prueba, una escala o un cuestionario
Las evaluaciones psicológicas y los instrumentos estandarizados —escalas de desarrollo, inventarios, cuestionarios de cribado— tienen el mismo problema con otro vocabulario, el de la psicometría. La fiabilidad suele estimarse de tres maneras complementarias:
- Test-retest: el mismo instrumento aplicado dos veces a la misma persona, con un intervalo en el que no se espera un cambio real, debe producir resultados cercanos.
- Entre evaluadores: aplicadores distintos, ante el mismo desempeño, deben llegar a puntuaciones cercanas. Es el pariente directo del IOA.
- Consistencia interna: los ítems que supuestamente miden lo mismo deben comportarse de forma coherente entre sí. Es lo que estiman índices como el alfa de Cronbach, y conviene recordar que un alfa alto indica ítems interrelacionados, no que el instrumento mida el constructo correcto.
Del lado de la validez, los Standards de 2014 (AERA, APA y NCME) trajeron un cambio de enfoque que vale la pena conocer: en vez de "tipos de validez", hoy se habla de un concepto unitario sostenido por distintas fuentes de evidencia: el contenido del instrumento, los procesos de respuesta de quien lo responde, la estructura interna de los ítems, las relaciones con otras variables (incluida la capacidad de predecir resultados) y las consecuencias de su uso. La pregunta deja de ser "¿esta prueba es válida?" y pasa a ser "¿hay evidencia suficiente para esta interpretación, con esta población, para esta finalidad?". Un instrumento bien validado para detectar riesgo a gran escala puede ser frágil para cerrar un diagnóstico individual, y un instrumento construido en otro país necesita adaptación cultural y normas locales antes de servir aquí.
En Brasil esto no es solo una recomendación técnica. La Resolución CFP n.º 31/2022, que regula el Sistema de Evaluación de Pruebas Psicológicas (SATEPSI) en Brasil y sustituyó a la resolución de 2018, condiciona el dictamen favorable de una prueba psicológica a la presentación de evidencia empírica de validez, de estimaciones de precisión de las interpretaciones y de un sistema de corrección e interpretación de las puntuaciones, y fija un plazo máximo de 15 años para los estudios de validez, precisión y normas, contados desde la aprobación por el Pleno del CFP. En la práctica, esto les da a las familias una pregunta legítima y sencilla: ¿este instrumento está aprobado y con estudios actualizados?
Otros dos sentidos de "validez"
La palabra circula en más de un sentido, y confundirlos genera equívocos. Además de la validez de la medida, que se trata aquí, se habla de validez interna y externa de un estudio: si el resultado puede atribuirse a la intervención y no a otra cosa, y si se generaliza a otras personas y contextos. Son preguntas sobre el diseño, no sobre el instrumento; y nada de esto se sostiene sin una medida decente, porque un experimento impecable que mide la variable equivocada responde con rigor a una pregunta que nadie hizo.
Existe además la validez social, propuesta por Montrose Wolf en 1978: preguntar a las personas directamente implicadas si los objetivos del programa tienen sentido, si los procedimientos son aceptables y si los efectos importan en la vida real. Es una medida declaradamente subjetiva, y esencial: un gráfico en descenso no significa nada si la familia, la escuela y sobre todo la propia persona no reconocen ahí alguna mejora que valga la pena.
Pon a prueba tu comprensión
Cuestionario rápido
Tres preguntas para fijar el concepto. Ves la explicación al momento.
Para saber más
- Cooper J. O., Heron T. E. & Heward W. L. Applied Behavior Analysis. 3.ª ed. Pearson, 2020 — cap. "Improving and Assessing the Quality of Behavioral Measurement".
- Johnston J. M. & Pennypacker H. S. Strategies and Tactics of Behavioral Research. Routledge — sobre valores verdaderos, calibración y las propiedades de la medida.
- American Educational Research Association, American Psychological Association & National Council on Measurement in Education. Standards for Educational and Psychological Testing. AERA, 2014.
- Conselho Federal de Psicologia. Resolução CFP nº 31/2022 — directrices para la evaluación psicológica y regulación del SATEPSI, en Brasil. satepsi.cfp.org.br
- Wolf M. M. "Social validity: the case for subjective measurement or how applied behavior analysis is finding its heart". Journal of Applied Behavior Analysis, 11(2), 203–214, 1978.
Esta entrada tiene carácter educativo y no sustituye la evaluación, el diagnóstico ni el tratamiento por parte de un profesional de la salud cualificado. Cada persona es única: para un caso concreto, busca orientación individualizada.