Saltar al contenido
verifiedPráctica Basada en la Evidencia

Validez Interna y Validez Externa

Dos preguntas distintas sobre el mismo estudio — y ninguna sustituye a la otra.

Traducido del original en portugués. Leer el original (Português)

boltEn resumen

Cuando un estudio muestra que un tratamiento funcionó, caben dos preguntas, y son independientes entre sí. La primera es de validez interna: ¿el cambio lo causó de verdad la intervención, o alguna otra cosa —el tiempo, la maduración, la atención extra, el cambio de quien medía— explicaría el mismo resultado? La segunda es de validez externa: ¿ese efecto se sostiene fuera de ahí, con otras personas, en otros contextos, en manos de otros aplicadores, medido de otra forma? El orden entre ellas importa. Sin validez interna no hay efecto demostrado —y no se generaliza lo que nunca quedó establecido—. Pero la validez interna alta tampoco entrega generalidad gratis: eso lo da la replicación. En la práctica, quien lee un estudio necesita hacerse las dos preguntas: ¿funcionó por causa del tratamiento? y ¿funcionó para alguien parecido a quien atiendo?

Definición técnica

La validez interna es el grado en que el diseño de un estudio autoriza la inferencia de que la variable independiente —y no variables extrañas, incontroladas o desconocidas— produjo el cambio observado en la variable dependiente. En Campbell y Stanley (1963), es el sine qua non de la investigación experimental: "el mínimo básico sin el cual cualquier experimento resulta ininterpretable —¿los tratamientos experimentales marcaron, de hecho, una diferencia en esta instancia experimental concreta?". La validez externa es el grado en que la relación de causa y efecto demostrada se mantiene ante la variación de personas, entornos, variables de tratamiento y variables de medida; los mismos autores la formulan como la pregunta "¿a qué poblaciones, entornos, variables de tratamiento y variables de medida puede generalizarse este efecto?". En Cooper, Heron & Heward, las dos definiciones llegan casi intactas al vocabulario del análisis de la conducta: la validez interna es "el grado en que un experimento muestra de forma convincente que los cambios en la conducta son función de la variable independiente y no resultado de variables incontroladas o desconocidas", y la validez externa es "el grado en que los hallazgos de un estudio tienen generalidad para otros sujetos, entornos y/o conductas". Shadish, Cook y Campbell (2002) encajan las dos en un sistema de cuatro valideces, junto a la validez de conclusión estadística y la validez de constructo.

Dos preguntas que se confunden todo el tiempo una con la otra

Imagina una escuela que adopta un nuevo programa de lectura en marzo y mide el rendimiento del grupo en noviembre. Los resultados subieron. Pregunta 1: ¿fue el programa? Entre marzo y noviembre pasaron otras cosas —los niños tuvieron ocho meses más, hubo una feria del libro, la maestra cambió, dos familias salieron de la escuela y la prueba de noviembre no fue exactamente la misma que la de marzo—. Cada una de esas cosas es una explicación alternativa, y el trabajo del diseño es cerrarles la puerta. Esa es la cuestión de la validez interna.

Ahora supón que la puerta quedó bien cerrada: había un grupo de comparación, las medidas eran equivalentes, nadie abandonó el estudio. Pregunta 2: ¿eso vale en mi escuela? El programa se probó en una escuela privada pequeña, con maestras entrenadas por los propios autores del programa y grupos de quince alumnos. La tuya tiene treinta y cinco. Ningún rigor en la pregunta 1 responde la pregunta 2 —y ninguna semejanza de contexto en la pregunta 2 rescata un estudio que falló en la pregunta 1—.

Son preguntas separadas porque exigen remedios separados. La primera se resuelve con control: grupo de comparación, asignación aleatoria, medición repetida, cegamiento, una línea base estable, verificación de integridad procedimental. La segunda se resuelve con variación deliberada: repetir el estudio con otras personas, en otros lugares, con otros aplicadores —es decir, con replicación.

Validez interna ¿fue de verdad el tratamiento? historia maduración regresión intervención cambio el diseño cierra la puerta a las explicaciones alternativas Validez externa ¿vale más allá de aquí? otras personas otros entornos otros aplicadores otras medidas efecto aquí ? ? ? ? solo la replicación responde a esos cuatro interrogantes
A la izquierda, el trabajo de la validez interna: bloquear las explicaciones alternativas hasta que quede solo una. A la derecha, el de la validez externa: descubrir hasta dónde viaja el efecto. Un lado no hace el trabajo del otro.

El sistema de las cuatro valideces

Campbell y Stanley abrieron la discusión con dos valideces. La tradición que los sucedió fue desglosando la cuestión, y Shadish, Cook y Campbell (2002) consolidaron la tipología en cuatro, separando lo que antes venía mezclado. Toca las tarjetas para ver la pregunta de cada una:

Vale la pena separar estas cuatro de otros dos sentidos de la palabra "validez" que circulan en la misma literatura, porque la confusión es frecuente. Esta página trata de la validez de la inferencia —lo que el estudio autoriza a concluir—. La validez de la medida es otra cosa: ¿el número anotado tiene que ver con lo que importa? Y la validez social es otra cosa más: ¿el cambio le importa a la vida de la persona? Un estudio puede acertar en una de estas preguntas y fallar en las otras dos.

El catálogo de amenazas

El gran aporte práctico de esta literatura no fueron las definiciones, sino las listas. En lugar de pedirle al lector que desconfíe en general, nombra una por una las formas conocidas en que un estudio puede engañar. Conocer los nombres es lo que convierte la desconfianza difusa en lectura crítica:

Las nueve de Shadish, Cook y Campbell (2002)

  • Precedencia temporal ambigua: no se sabe qué vino primero. ¿El niño mejoró porque llegó el apoyo, o el apoyo llegó porque el niño ya estaba mejorando?
  • Selección: los grupos ya eran distintos antes de empezar —la amenaza que la asignación aleatoria existe para neutralizar.
  • Historia: algo fuera del estudio ocurrió en el mismo período y afectó el resultado.
  • Maduración: las personas cambian solo porque pasa el tiempo —se vuelven mayores, más experimentadas, más cansadas.
  • Regresión (a la media): quien es seleccionado por estar en un extremo tiende a desplazarse hacia el medio en la siguiente medición, con tratamiento o sin él.
  • Mortalidad experimental: quien abandona el estudio no lo hace al azar. Si se van justo quienes no estaban mejorando, el resultado final queda artificialmente bueno.
  • Aplicación de pruebas: hacer la prueba enseña a hacer la prueba. La segunda aplicación sube por práctica, no por el tratamiento.
  • Instrumentación: lo que cambió fue el instrumento o quien observa —un criterio más laxo al final del estudio produce "mejora" sin conducta nueva.
  • Efectos aditivos e interactivos: las amenazas se combinan. La selección interactúa con la historia, con la maduración, con la instrumentación —y la suma engaña más que cada parte por separado.

Dónde se traba la generalización

Bracht y Glass (1968) desglosaron la validez externa en poblacional y ecológica y catalogaron lo que entorpece a cada una. Algunos puntos de la lista:

  • Muestra estrecha —este es el punto del lado poblacional: quien entró al estudio no se parece a quien busca atención. Los demás puntos de esta lista pertenecen al lado ecológico.
  • Efecto Hawthorne: las personas cambian porque están siendo observadas y reciben atención, no por el procedimiento en sí.
  • Novedad y disrupción: el programa funciona mientras es una novedad; el entusiasmo inicial no sobrevive al segundo año.
  • Efecto del experimentador: quien aplicó el procedimiento era el autor del método, muy entrenado e implicado en el resultado. Con otro aplicador, el efecto puede reducirse.
  • Interferencia de tratamientos múltiples: la persona recibió varias cosas al mismo tiempo; el resultado puede depender de la combinación, no de un componente aislado.
  • Sensibilización por el pretest: responder el cuestionario inicial llamó la atención sobre el tema y preparó el terreno para la intervención —fuera del estudio, esa preparación no ocurre.
  • Descripción insuficiente del tratamiento: si el relato no permite reproducir lo que se hizo, no hay nada que generalizar. De ahí la importancia de una descripción procedimental detallada.

Qué cambia cuando el sujeto es su propio control

Petursdottir y Carr (2018) aplicaron ese mismo catálogo a los diseños de caso único del análisis de la conducta, y el resultado es instructivo: parte de las amenazas simplemente no se aplican.

  • La selección se vuelve irrelevante: la comparación es dentro del participante, no entre participantes. No hay dos grupos que puedan ser desiguales.
  • La historia, la maduración, la aplicación de pruebas y la instrumentación quedan bien controladas por la combinación de medición repetida en múltiples condiciones con replicación del efecto —reversión, línea base múltiple, tratamientos alternados.
  • La regresión a la media es una amenaza mínima, justamente porque no se decide nada a partir de una medida aislada: hay toda una serie temporal.
  • La mortalidad experimental importa poco, excepto cuando el informe agrega el desempeño de varios participantes en un solo número.
  • Lo que queda exigiendo vigilancia es el observador: la deriva y el sesgo de quien registra piden una verificación continua de la concordancia. Ver registro y recolección de datos.

A cambio, la validez externa de un caso único empieza siendo desconocida —y se construye mediante replicación sistemática, con variaciones planeadas de participantes, entornos y procedimientos, hasta descubrir dónde se mantiene el efecto y dónde deja de mantenerse.

La tensión entre las dos — y por qué no es una ley

Hay una tensión real. Para blindar la pregunta 1, el investigador aprieta el control: acepta solo participantes con un diagnóstico único y ninguna condición asociada, estandariza el protocolo sesión por sesión, hace todo en una clínica universitaria con aplicadores supervisados. Cada uno de esos ajustes aleja el estudio de las condiciones en que el tratamiento se usará de verdad. Esa es la diferencia entre el ensayo explicativo —condiciones ideales, para darle al tratamiento su mejor oportunidad de mostrar efecto— y el ensayo pragmático, hecho en las condiciones reales del servicio, para descubrir si el efecto sobrevive a ellas.

El PRECIS-2 (Loudon y colegas, 2015a, en el BMJ) convirtió esa distinción en un instrumento: nueve dominios de un ensayo —elegibilidad, reclutamiento, entorno, organización, flexibilidad en la entrega, flexibilidad en la adherencia, seguimiento, desenlace primario y análisis primario— cada uno puntuado de 1 (muy explicativo) a 5 (muy pragmático). No existe una puntuación "correcta": existe una puntuación coherente con la pregunta que el ensayo quiere responder.

Continuo explicativo ↔ pragmático explicativo condiciones ideales pragmático condiciones reales de servicio Elegibilidad Entorno Adherencia 1 2 3 4 5 ensayo explicativo ensayo pragmático
Tres de los nueve dominios del PRECIS-2, con posiciones hipotéticas, elegidas solo para ilustrar —no son la puntuación de ningún ensayo real—. Ningún ensayo es del todo explicativo o pragmático: cada dominio se posiciona por su cuenta, y el diseño solo es bueno si es coherente con la pregunta que el estudio quiere responder.
verified

Cuánto puede encogerse la muestraUna revisión sobre trastornos de ansiedad (Goldstein-Piekarski, Williams & Humphreys, 2016) relevó los criterios de exclusión más usados en los estudios de tratamiento: psicosis en el 80% de ellos, dependencia de sustancias en el 69%, trastorno bipolar en el 47%, depresión mayor comórbida en el 39% y riesgo de suicidio en el 36%. Sumados, estos criterios pueden excluir hasta el 92% de quienes realmente buscan tratamiento. Esto no invalida los estudios —invalida la lectura perezosa de que el resultado se aplica, sin más, a cualquier persona que llegue a la clínica.

Pero la tensión no es una ley de conservación, donde ganar de un lado obligue a perder del otro. Relajar los criterios de elegibilidad amplía la población alcanzada sin tocar la asignación aleatoria, el cegamiento o el análisis —y son esos los engranajes que sostienen la validez interna. En un relevamiento de ensayos cardiovasculares, el mismo equipo (Loudon y colegas, 2015b) comparó estudios más explicativos y más pragmáticos con la herramienta Cochrane de riesgo de sesgo y no encontró una diferencia clara entre ellos. Es evidencia limitada —un resumen de congreso, con pocos ensayos—, pero suficiente para desconfiar del automatismo. El intercambio existe en algunos dominios; en otros, es solo falta de cuidado disfrazada de elección metodológica.

warning

Dónde se resbala la lectura"El estudio es flojo, pero se hizo en el mundo real, así que vale más en la práctica." No vale. Sin validez interna no hay efecto establecido —y generalizar lo que nunca quedó establecido es generalizar nada. Por eso Campbell y Stanley llamaron a la validez interna sine qua non: es una condición de entrada, no un punto más en una lista de cualidades. Lo contrario también engaña: un experimento impecable con ocho universitarios en un laboratorio no autoriza, por sí solo, una recomendación para niños de una escuela pública.

Qué cambia esto en la lectura de un estudio

Dos preguntas, hechas en este orden, resuelven buena parte del trabajo:

  • ¿Había con qué comparar? Un grupo control, una línea base estable, una reversión de condición. Sin comparación, "mejoró después del tratamiento" es un relato, no evidencia.
  • ¿Quién abandonó el estudio, y por qué? Las pérdidas desiguales entre grupos arruinan la comparación sin dejar rastro en el resultado final —quien abandonó no aparece en el número que estás leyendo.
  • ¿Quién fue excluido al entrar? Los criterios de exclusión están en la sección de métodos y dicen, en dos líneas, a quién se aplica el resultado.
  • ¿Quién lo aplicó? ¿Los autores del método, un equipo entrenado por ellos o profesionales del servicio habitual? Eso cambia lo que se puede esperar fuera del estudio.
  • ¿El procedimiento está descrito con el detalle suficiente para reproducirlo? ¿Y hubo verificación de que se aplicó tal como se describió —es decir, de integridad procedimental?
  • ¿Hubo replicación? Un estudio aislado es un comienzo. Es la suma de ellos, reunida en revisiones sistemáticas, la que sostiene una recomendación —y de esa suma se alimenta la práctica basada en la evidencia.

Para quien atiende, la pregunta de la validez externa tiene una versión muy concreta e ineludible: ¿este estudio se hizo con alguien parecido a la persona que tengo en mi consulta? Cuando la respuesta es no —y muchas veces lo es—, el estudio no deja de servir; pasa a valer como hipótesis, que hay que poner a prueba en ese caso con medida propia y seguimiento. La generalización de la conducta aprendida y la toma de decisiones basada en datos tienden justamente ese puente entre lo que muestra la literatura y lo que ocurre aquí.

variable de confusión explicación alternativa validez poblacional validez ecológica ensayo pragmático replicación sistemática

Pon a prueba lo que entendiste

quiz

Cuestionario rápido

Tres preguntas para fijar el concepto. Verás la explicación al momento.

Para saber más

  1. Campbell, D. T. & Stanley, J. C. “Experimental and quasi-experimental designs for research on teaching”. En: Gage, N. L. (ed.) Handbook of Research on Teaching. Rand McNally, 1963, p. 171–246 — reeditado como monografía (Experimental and Quasi-Experimental Designs for Research, Rand McNally, 1966).
  2. Shadish, W. R.; Cook, T. D. & Campbell, D. T. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin, 2002 — el sistema de las cuatro valideces y las nueve amenazas a la validez interna.
  3. Bracht, G. H. & Glass, G. V. “The external validity of experiments”. American Educational Research Journal, 5(4), 437–474, 1968. DOI 10.3102/00028312005004437 — distinción entre validez poblacional y ecológica.
  4. Cooper, J. O.; Heron, T. E. & Heward, W. L. Applied Behavior Analysis. 3ª ed. Pearson, 2020 — definiciones de validez interna y externa en el vocabulario del análisis de la conducta.
  5. Petursdottir, A. I. & Carr, J. E. “Applying the taxonomy of validity threats from mainstream research design to single-case experiments in applied behavior analysis”. Behavior Analysis in Practice, 11(3), 228–240, 2018. DOI 10.1007/s40617-018-00294-6.
  6. Loudon, K.; Treweek, S.; Sullivan, F.; Donnan, P.; Thorpe, K. E. & Zwarenstein, M. “The PRECIS-2 tool: designing trials that are fit for purpose”. BMJ, 350:h2147, 2015 (2015a). DOI 10.1136/bmj.h2147.
  7. Loudon, K.; Zwarenstein, M.; Sullivan, F.; Donnan, P. & Treweek, S. “Do pragmatic trials trade-off internal validity for external validity?”. Trials, 16(Supl. 2):O81, 2015 (2015b; resumen de congreso). DOI 10.1186/1745-6215-16-S2-O81.
  8. Goldstein-Piekarski, A. N.; Williams, L. M. & Humphreys, K. “A trans-diagnostic review of anxiety disorder comorbidity and the impact of multiple exclusion criteria on studying clinical outcomes in anxiety disorders”. Translational Psychiatry, 6(6):e847, 2016. DOI 10.1038/tp.2016.108.
info

Esta entrada tiene carácter educativo y no sustituye la evaluación, el diagnóstico ni el tratamiento por parte de un profesional de la salud cualificado. Cada persona es única: para un caso concreto, busca orientación individualizada.

¿Buscas orientación profesional?

El Instituto Walden4 es un centro de psicología y educación en Brasilia, Brasil, que ofrece evaluación y atención basadas en evidencia para autismo, psicoterapia y desarrollo, de forma presencial y en línea. Nuestro equipo atiende en portugués; escríbenos y buscaremos la mejor manera de ayudarte.

chat Escríbenos por WhatsApp
chat

Conta Walden4

Entrar

Use o e-mail e a senha da sua conta.