Identificación Parcial: Del Piloto a la Política
Ciclo de Políticas Públicas II, Trimestre Abr-Jun 2026
Introducción
Este ejercicio acompaña la sesión Del piloto a la política: retos de escalar intervenciones basadas en evidencia. Trabajamos con dos ejemplos aplicados y luego exploramos seis formas distintas de comunicar la misma incertidumbre visualmente.
Lo que aprenderás a hacer:
- Calcular cotas de Manski (Manski, 1990) para tasas con datos faltantes.
- Simular sesgo de selección y aplicar identificación parcial por capas (sin supuestos → MRT → MRT + MTS).
- Elegir la visualización más apropiada según la audiencia.
Fuentes principales:
- Manski, C.F. (1990). Nonparametric Bounds on Treatment Effects. AER, 80(3).
- Manski, C.F. (2011). Policy Analysis with Incredible Certitude. WP-10-07, IPR Northwestern.
- Mullahy, J. et al. (2021). Embracing Uncertainty. Am J Prev Med, 61(2): e103–e108.
Ejercicio 1: Tasas de vacunación y el problema MAR
El problema de fondo
En 2017, la Encuesta Nacional de Inmunización (NIS) de los CDC reportó una tasa de cobertura de la vacuna triple viral (MMR) del 92 % en niños de 19–35 meses. El problema: solo el 26.1 % de los hogares seleccionados respondió la encuesta.
El CDC publicó el 92 % como si fuera la tasa poblacional. Eso requiere asumir que el 73.9 % no entrevistado está vacunado exactamente al mismo ritmo que los entrevistados — un supuesto llamado MAR (Missing at Random, Faltante Completamente al Azar). MAR es fuerte e injustificado aquí: es razonable suponer que los hogares más difíciles de contactar también tienen menor acceso a servicios de salud.
La identificación parcial no exige ese supuesto. En cambio, pregunta: ¿qué rango de tasas poblacionales es consistente con lo que observamos?
1.1 Parámetros observados
1.2 Cotas sin supuestos adicionales
La lógica es simple: no sabemos nada sobre los no respondentes, así que consideramos los dos extremos. Si ninguno de los 73.9 % no entrevistados estuviera vacunado, la tasa real sería mínima; si todos lo estuvieran, sería máxima.
\[ \hat\theta_L = r \cdot \hat p_r + (1-r) \cdot 0 = r \cdot \hat p_r \] \[ \hat\theta_U = r \cdot \hat p_r + (1-r) \cdot 1 = r \cdot \hat p_r + (1-r) \]
¿Qué nos dicen estas cotas?
El intervalo [24.0 %, 97.9 %] es muy amplio, pero eso no es un fracaso del análisis: es información genuina sobre el estado del problema de datos. El 92 % reportado por el CDC cae cerca del extremo superior del intervalo — eso quiere decir que el CDC implícitamente asumió el escenario más optimista posible.
Si la tasa real estuviera cerca del 24 %, la cobertura estaría muy por debajo del umbral de inmunidad de rebaño para sarampión (≈ 95 %), lo que representa un riesgo de salud pública significativo.
1.3 Supuesto MTS: estrechar las cotas con una restricción creíble
El supuesto de Selección Monótona (MTS) postula que los no respondentes tienen una tasa de vacunación igual o menor a la de los respondentes. Esto es plausible: quienes no contestan la encuesta suelen tener menor acceso a servicios de salud. MTS no requiere saber exactamente cuál es su tasa — solo que no es mayor que la de quienes sí respondieron.
Bajo MTS: la cota superior se reduce a \(\hat p_r = 92.0\,\%\), eliminando los escenarios en que los no respondentes tienen cobertura superior a los respondentes.
El intervalo [24.0 %, 92.0 %] bajo MTS sigue siendo amplio — pero es defendible. Nótese que el CDC reporta exactamente la cota superior del intervalo MTS, lo que equivale a asumir el caso más favorable dentro de un supuesto ya razonablemente optimista.
1.4 Análisis de sensibilidad: ¿cómo dependen las cotas de la tasa de respuesta?
Hasta ahora usamos \(r = 26.1\,\%\). Pero ¿qué pasaría si la tasa de respuesta fuera mayor? Este análisis muestra cómo las cotas cambian en función de \(r\), manteniendo fija la tasa observada entre respondentes.
Cómo leer esta gráfica:
- La región sombreada es el intervalo de identificación: para cada nivel de tasa de respuesta (eje horizontal), el rango de tasas poblacionales consistentes con los datos va desde la línea inferior hasta la superior.
- Conforme la tasa de respuesta se acerca al 100 %, el intervalo colapsa al punto en el estimador MAR (línea punteada roja) — que es exactamente cuando MAR deja de ser cuestionable.
- El segmento naranja muestra el intervalo real de la NIS 2017 (r = 26.1 %). Su amplitud revela que la declaración del CDC de “92 % de cobertura” es una elección de supuesto, no un hecho medido.
- La solución no es más encuestas con la misma tasa de respuesta, sino mejores datos: seguimiento a no respondentes, vinculación con registros administrativos.
Ejercicio 2: Capacitación laboral y sesgo de selección
El problema causal
Queremos saber si un programa de capacitación laboral causa un aumento en salarios. El Efecto Promedio del Tratamiento (ATE) es:
\[ \text{ATE} = E[Y(1) - Y(0)] \]
donde \(Y(1)\) es el salario que tendría la persona con el programa y \(Y(0)\) el salario sin él. El problema: nunca observamos ambos para la misma persona.
Si comparamos ingenuamente los salarios de quienes participaron contra quienes no participaron, obtenemos un estimador naive que mezcla el efecto causal con diferencias preexistentes entre grupos. Ese sesgo de selección puede ser positivo (los más capaces se inscriben) o negativo (los más desesperados buscan el programa).
2.1 Simulando datos con sesgo conocido
La ventaja de simular es que conocemos la verdad: sabemos exactamente cuánto vale el ATE verdadero y podemos verificar si las cotas lo contienen. En datos reales nunca tenemos ese lujo.
La simulación genera selección positiva: los más hábiles tienen mayor probabilidad de inscribirse. Esto hará que el estimador naive sobreestime el efecto del programa.
2.2 El sesgo del estimador naive
El sesgo proviene de que los participantes habrían ganado más de todos modos gracias a su mayor habilidad. La diferencia simple de medias confunde “el efecto del programa” con “diferencias preexistentes en habilidad”.
2.3 Cotas de Manski sin supuestos adicionales
Con el soporte acotado de \(Y \in [y_L, y_U]\) y sin ningún supuesto sobre el mecanismo de selección, las cotas de Manski son:
\[ \hat\theta_L = (\bar Y_1 - y_U)\,p + (y_L - \bar Y_0)\,(1-p) \] \[ \hat\theta_U = (\bar Y_1 - y_L)\,p + (y_U - \bar Y_0)\,(1-p) \]
Estas cotas son las más amplias posibles — no asumen nada. Por eso en datos observacionales sin aleatorización, el intervalo suele cruzar el cero.
Que el intervalo cruce el cero no significa que el programa no funcione — significa que los datos observacionales, por sí solos y sin restricciones adicionales, son compatibles con efectos positivos y negativos.
2.4 Capa 1 — MRT: Respuesta Monótona al Tratamiento
El supuesto MRT dice que el programa no puede reducir salarios: \(Y_i(1) \geq Y_i(0)\) para todos los individuos. Si el programa enseña habilidades productivas y la participación es voluntaria, esto es creíble.
Bajo MRT, la cota inferior queda acotada desde abajo por cero:
\[ \hat\theta_L^{\text{MRT}} = \max\left(0,\; \hat\theta_L^{\text{sin sup.}}\right) \]
2.5 Capa 2 — MRT + MTS
El supuesto MTS agrega que los participantes tienen mayor potencial salarial que los no participantes, aun sin el programa: \(E[Y(d)|D=1] \geq E[Y(d)|D=0]\) para \(d \in \{0,1\}\).
Esto captura la selección positiva que observamos en los datos simulados. Bajo MRT + MTS, la cota superior se estrecha:
\[ \hat\theta_U^{\text{MRT+MTS}} = \bar Y_1 \cdot p + y_U \cdot (1-p) - \bar Y_0 \]
Las cotas contienen el ATE verdadero, como deberían. Eso es la verificación de que el método funciona correctamente en la simulación.
2.6 Tabla resumen por capas
Cada fila añade un supuesto más restrictivo y a cambio obtiene un intervalo más estrecho. El decisor elige hasta qué capa llegar según qué supuestos considera defensibles en su contexto.
2.7 Gráfica del análisis por capas
Cómo leer esta gráfica:
- Cada fila es un conjunto de supuestos; la longitud de la barra es la amplitud del intervalo.
- Sin supuestos: el intervalo cruza el cero — no podemos decir ni si el efecto es positivo o negativo.
- MRT: la cota inferior sube a cero, identificando el signo pero no la magnitud.
- MRT + MTS: el intervalo se estrecha significativamente. Sabemos que el efecto es no-negativo, pero la magnitud sigue siendo incierta.
- El rombo rojo (ATE verdadero = +2.5) cae dentro de todos los intervalos — confirmación de que el método es válido.
- La línea punteada naranja (naive = +3.98) está por encima del ATE verdadero: la diferencia simple de medias sobreestima el efecto.
Ejercicio 3: Seis formas de comunicar la misma incertidumbre
Motivación
La identificación parcial produce un intervalo. Pero cómo presentamos ese intervalo importa tanto como su amplitud. Esta sección replica el enfoque visual de Mullahy et al. (2021) aplicado a cuatro estados de México, mostrando seis codificaciones visuales de la misma información.
3.1 Datos: cuatro evaluaciones del programa de capacitación
Los datos representan el resultado de aplicar el análisis del Ejercicio 2 a cuatro contextos estatales con diferente contexto institucional. La métrica es la diferencia en ingreso laboral estandarizado (escala comparable entre estados).
Los cuatro estados representan un gradiente de resultados:
- CDMX: el intervalo MTS excluye el cero → el efecto es probablemente positivo.
- Jalisco: intervalo cerca de cero, alta incertidumbre.
- Oaxaca: el intervalo cruza el cero → el efecto es ambiguo.
- Chiapas: el intervalo MTS sugiere efecto negativo → revisar el diseño antes de escalar.
3.2 Distribuciones bootstrap: ¿por qué y para qué?
El bootstrap simula la incertidumbre de muestreo alrededor del estimador naive. La idea es: si hubiéramos tomado una muestra distinta de la misma población, ¿qué tan diferentes serían nuestros resultados?
Simular muchas muestras “como si” nos da una distribución del estimador. Esta distribución (paneles e y f) muestra cuánta variabilidad esperamos — incluso antes de considerar la incertidumbre de identificación (los bounds).
Distinción clave: el bootstrap captura incertidumbre estadística (resuelta con más datos del mismo tipo). Las cotas capturan incertidumbre de identificación (resuelta solo con mejores datos o supuestos adicionales). Son dos fuentes distintas de incertidumbre y nunca deben confundirse.
3.3 Construcción de los seis paneles
Definimos los parámetros comunes de escala y tema:
Panel a — Dos capas: intervalo amplio (sin supuestos) + intervalo estrecho (MTS)
La capa exterior (azul claro) muestra el rango sin restricciones; la interior (azul oscuro) muestra lo que ganamos con MTS. El punto naranja es el estimador naive.
Panel b — Incertidumbre de muestreo sobre las cotas MTS
La capa exterior ahora es el intervalo de confianza del 95 % sobre las propias cotas (incertidumbre estadística), y la interior son las cotas puntuales.
Paneles c y d — Barras de error clásicas
La forma más común en la literatura. El panel c tiene ticks en ambos extremos (convencional); el d solo en el extremo superior, útil cuando la cota inferior es menos informativa o tiene mayor incertidumbre.
Panel e — Gradiente de opacidad
La opacidad de cada píxel es proporcional a la densidad gaussiana centrada en el estimador naive. Transmite la idea de que el punto central es más probable y la incertidumbre se difumina hacia los extremos.
Panel f — Distribuciones bootstrap completas (ridgeline)
Muestra la distribución muestral del estimador para cada estado. La barra naranja marca el estimador naive. Este panel es el que más información transmite pero también el que más requiere alfabetización estadística de la audiencia.
3.4 La figura completa
Cuándo usar cada panel:
| Panel | Ideal para | Requiere en la audiencia |
|---|---|---|
| a | Comunicar la ganancia de añadir MTS vs. no asumir nada | Familiaridad con cotas |
| b | Mostrar que las propias cotas tienen incertidumbre estadística | Estadística básica |
| c | Publicaciones técnicas, comparaciones múltiples | Lectura de CI |
| d | Cuando la cota inferior es poco informativa o abierta | Lectura de CI |
| e | Presentaciones a decisores: sugiere “probabilidad” sin asumirla | Ninguno especial |
| f | Comunicar distribución completa, análisis bayesiano | Mayor alfabetización |
Conclusiones y lecciones aprendidas
Lo que aprendimos en los tres ejercicios
Ejercicio 1 (vacunación): El supuesto MAR transforma una tasa de respuesta del 26 % en una declaración de cobertura del 92 % con falsa precisión. El intervalo [24 %, 97.9 %] no es un fracaso del análisis — es evidencia de que el problema de datos no puede ocultarse detrás de un supuesto conveniente. La solución es invertir en mejores datos, no en supuestos más fuertes.
Ejercicio 2 (capacitación): El estimador naive sobreestima el ATE en aproximadamente 1.5 mil MXN por selección positiva. Sin supuestos adicionales, los datos observacionales son compatibles con efectos positivos y negativos. Cada supuesto adicional (MRT, MTS) estrecha el intervalo a cambio de una restricción que debemos defender sustantivamente.
Ejercicio 3 (visualización): La misma incertidumbre puede comunicarse de seis formas distintas. La elección depende de la audiencia, no de cuál presenta los resultados de manera más favorable. Suprimir la incertidumbre para facilitar la comunicación es un error ético, no solo metodológico.
Tres reglas para llevar al trabajo
Reporta siempre el intervalo, no solo el punto. Si solo tienes el punto, pregunta qué supuesto lo genera y si ese supuesto es defendible.
Distingue incertidumbre estadística de incertidumbre de identificación. La primera se resuelve con más datos del mismo tipo. La segunda requiere mejores datos o supuestos adicionales.
Haz explícito el análisis por capas. Muestra qué conclusiones se siguen de qué supuestos. El tomador de decisiones elige la capa; el analista documenta honestamente qué supone cada una.
Material de apoyo para la sesión “Del piloto a la política: retos de escalar intervenciones basadas en evidencia”. MPP — Escuela de Gobierno y Transformación Pública.