Tarea 5: Poder Estadístico y Diseño por Conglomerados

Métodos Cuantitativos para Políticas Públicas — Primavera 2026

Instrucciones generales

  • Trabajo individual. Tiempo estimado: 90 minutos.
  • Ejecuta cada bloque de código en orden con el botón ▶ Run Code.
  • Algunos bloques requieren que modifiques un valor antes de ejecutar. Estas instrucciones están marcadas con 🔧.
  • Cuando veas (→ Canvas Pregunta X), registra tu respuesta en Canvas.

Contexto

El Ministerio de Trabajo de El Salvador planea implementar EmpleoJoven, un programa de capacitación laboral dirigido a jóvenes de 18 a 29 años (curso intensivo de 12 semanas en habilidades técnicas y socioemocionales). Antes de lanzar el programa a escala nacional, el equipo de evaluación necesita diseñar la evaluación de impacto: ¿cuántas personas reclutar? ¿Cómo asignar el tratamiento?

Un estudio previo sugiere que el efecto esperado del programa es de $40 USD mensuales en el salario de los participantes.

Tu trabajo es ayudar al equipo a tomar estas decisiones usando conceptos de poder estadístico y aleatorización por conglomerados.

BLOQUE A: El piloto y sus limitaciones

Parte 1: Datos del piloto

Se realizó un piloto pequeño en el municipio de Soyapango con 200 jóvenes (100 tratamiento, 100 control).

La distribución de los salarios

Los salarios no siguen una distribución normal — están sesgados a la derecha (unos pocos jóvenes ganan mucho más que el resto). Esto es típico de variables de ingreso.

(→ Canvas Pregunta 1): Observa los histogramas. La distribución de los salarios individuales es:

  1. Simétrica (forma de campana)
  2. Sesgada a la derecha (cola larga hacia salarios altos)
  3. Sesgada a la izquierda
  4. Uniforme

El Teorema del Límite Central en acción

Aunque los salarios individuales no son normales, el Teorema del Límite Central nos dice que la distribución de las medias muestrales sí se aproxima a una normal. Verifiquemos esto con una simulación.

(→ Canvas Pregunta 2): ¿Qué nos permite el Teorema del Límite Central en este contexto?

  1. Garantiza que los salarios individuales sean normales
  2. Permite usar la prueba t (que asume normalidad de las medias) aunque los salarios individuales sean sesgados, porque con n=100 la media muestral se distribuye aproximadamente normal
  3. Solo funciona si los datos originales son simétricos
  4. Requiere que el tamaño de muestra sea mayor a 1,000

(→ Canvas Pregunta 3): ¿Cuál es la diferencia de medias (Tratamiento − Control), redondeada al dólar?

(→ Canvas Pregunta 4): ¿Cuál es el p-value? Selecciona el rango correcto.

  1. Menor a 0.01
  2. Entre 0.01 y 0.05
  3. Entre 0.05 y 0.10
  4. Mayor a 0.10

De la prueba t al valor p con pt

La función t.test() nos dio el estadístico t y el p-value directamente. Pero, ¿de dónde sale ese p-value? El valor p se calcula a partir de la distribución acumulada del estadístico de prueba. Bajo \(H_0\), el estadístico t sigue una distribución \(t\) de Student con ciertos grados de libertad. La función pt() nos da la probabilidad acumulada de esa distribución.

Recuerda: para una prueba bilateral (dos colas), el p-value es \(2 \times P(t > |t_{obs}|) = 2 \times (1 - F_t(|t_{obs}|))\), donde \(F_t\) es la CDF de la distribución \(t\).

(→ Canvas Pregunta 5): En la fórmula 2 * (1 - pt(abs(t), df)), ¿por qué multiplicamos por 2?

  1. Porque siempre se multiplica por 2 en estadística
  2. Porque es una prueba bilateral: el efecto podría ser positivo o negativo, y debemos considerar ambas colas
  3. Porque hay dos grupos (tratamiento y control)
  4. Porque la distribución t tiene dos mitades

(→ Canvas Pregunta 6): Si el estadístico t fuera \(t = -1.5\) con \(df = 198\), ¿cuál sería el p-value aproximado? Usa la lógica: 2 * (1 - pt(1.5, df = 198)).

  1. Aproximadamente 0.14 — NO se rechaza \(H_0\)
  2. Aproximadamente 0.07 — NO se rechaza \(H_0\)
  3. Aproximadamente 0.03 — Sí se rechaza \(H_0\)
  4. Aproximadamente 0.01 — Sí se rechaza \(H_0\)

Parte 2: ¿Por qué importa el poder estadístico?

El poder estadístico es la probabilidad de detectar un efecto cuando este realmente existe:

\[\text{Poder} = P(\text{rechazar } H_0 \mid H_0 \text{ es falsa}) = 1 - \beta\]

Un estudio con bajo poder puede no encontrar un efecto real — no porque el programa no funcione, sino porque el estudio no fue diseñado para detectarlo.

(→ Canvas Pregunta 7): Si un estudio tiene poder de 60%, ¿qué significa?

  1. El programa funciona 60% de las veces
  2. Hay 60% de probabilidad de que \(H_0\) sea falsa
  3. Si el efecto existe, hay 60% de probabilidad de detectarlo (rechazar \(H_0\))
  4. El 60% de los participantes se benefician

(→ Canvas Pregunta 8): Un error de Tipo II ocurre cuando:

  1. Rechazamos \(H_0\) cuando es verdadera (falso positivo)
  2. No rechazamos \(H_0\) cuando es falsa (falso negativo)
  3. El p-value es exactamente 0.05
  4. El intervalo de confianza incluye el cero por error de cálculo

BLOQUE B: Efecto Mínimo Detectable (MDE)

Parte 3: La fórmula del MDE

El Efecto Mínimo Detectable es el efecto más pequeño que un diseño puede detectar con cierto nivel de poder. Para un experimento con dos grupos iguales:

\[MDE = (z_{\alpha/2} + z_{\beta}) \times \sigma \times \sqrt{\frac{4}{N}}\]

donde \(z_{\alpha/2} = 1.96\) (para \(\alpha = 0.05\)) y \(z_{\beta} = 0.84\) (para poder = 80%).

Los ingredientes son: el nivel de significancia (\(\alpha\)), el poder deseado (\(1-\beta\)), la variabilidad del outcome (\(\sigma\)) y el tamaño de muestra (\(N\)).

(→ Canvas Pregunta 9): ¿Cuál es la desviación estándar del salario en el piloto? (al dólar)

(→ Canvas Pregunta 10): ¿Cuál es el MDE del piloto? (al dólar)

(→ Canvas Pregunta 11): El efecto esperado es $40 USD. Comparando con el MDE:

  1. El MDE es menor que $40: el piloto sí podía detectar el efecto
  2. El MDE es mayor que $40: el piloto NO podía detectar un efecto de esa magnitud

Parte 4: MDE y tamaño de muestra

(→ Canvas Pregunta 12): ¿Cuál es el N mínimo (de las opciones) para que el MDE sea menor a $40?

  1. 200
  2. 500
  3. 1,000
  4. 2,000

(→ Canvas Pregunta 13): Observa: cuando N pasa de 500 a 2,000 (se cuadruplica), el MDE:

  1. Se reduce a la cuarta parte
  2. Se reduce a la mitad
  3. Se reduce, pero menos que a la mitad
  4. No cambia

(→ Canvas Pregunta 14): Esto ocurre porque en la fórmula del MDE, \(N\) aparece dentro de una raíz cuadrada. Para reducir el MDE a la mitad, necesitamos multiplicar \(N\) por:

  1. 2
  2. 4
  3. 8
  4. 10

Parte 5: ¿Qué pasa si reducimos la variabilidad?

El equipo propone medir el salario base antes del programa y usarlo como variable de control. Esto reduciría la varianza residual del outcome. ¿Cuánto ayudaría?

(→ Canvas Pregunta 15): Si la desviación estándar se reduce de $120 a $80 (controlando por salario previo), ¿cuál es el nuevo MDE con N = 1,000? (al dólar)

(→ Canvas Pregunta 16): Reducir \(\sigma\) de $120 a $80 tiene un efecto sobre el MDE equivalente a:

  1. Reducir la variabilidad es irrelevante; solo importa el tamaño de muestra
  2. Es como multiplicar el tamaño de muestra, porque \(\sigma\) entra linealmente en la fórmula
  3. Solo ayuda si el efecto del programa también cambia

🔧 Instrucción: En el siguiente bloque, modifica el valor de sigma_nuevo para encontrar la desviación estándar máxima que permitiría detectar un efecto de $40 con solo N = 500. Prueba distintos valores hasta que el MDE quede justo por debajo de $40.

(→ Canvas Pregunta 17): ¿Cuál es (aproximadamente) la \(\sigma\) máxima para detectar un efecto de $40 con N = 500?

  1. Alrededor de $80
  2. Alrededor de $160
  3. Alrededor de $240
  4. Alrededor de $320

BLOQUE C: Aleatorización por conglomerados

Parte 6: ¿Por qué conglomerados?

EmpleoJoven se ofrecerá a través de casas comunales municipales. Por razones logísticas, todos los jóvenes de un mismo municipio reciben (o no) la capacitación. Esto se llama aleatorización por conglomerados (cluster randomization).

El problema: las personas dentro del mismo municipio tienden a parecerse (misma zona geográfica, condiciones económicas similares). Esto reduce la información independiente que aporta cada observación adicional dentro del mismo conglomerado.

(→ Canvas Pregunta 18): ¿Cuál es la razón principal para aleatorizar por conglomerados?

  1. Es estadísticamente más eficiente
  2. Razones logísticas: el programa se implementa por municipio, no por persona
  3. Produce estimaciones más precisas
  4. Permite usar muestras más pequeñas

Parte 7: Correlación Intraconglomerado (ICC)

El ICC (\(\rho\)) mide qué tan parecidas son las personas dentro del mismo conglomerado.

  • \(\rho = 0\): no se parecen más que cualesquiera dos personas al azar
  • \(\rho = 1\): todos en el conglomerado son idénticos

Simulemos datos con estructura de conglomerados para estimar el ICC.

Calcular el ICC

(→ Canvas Pregunta 19): ¿Cuál es el ICC estimado? (a 3 decimales)

(→ Canvas Pregunta 20): Este valor indica que:

  1. La mayoría de la variación se explica por diferencias entre municipios
  2. Una proporción modesta se debe al municipio; la mayor parte es individual
  3. No existe ninguna similitud entre jóvenes del mismo municipio

Parte 8: Efecto de Diseño (DEFF) y N efectivo

El efecto de diseño cuantifica cuánto se “infla” la varianza al usar conglomerados:

\[DEFF = 1 + (m - 1) \times \rho\]

El tamaño de muestra efectivo es: \(N_{ef} = N / DEFF\)

(→ Canvas Pregunta 21): ¿Cuál es el DEFF con \(m = 40\)? (a 2 decimales)

(→ Canvas Pregunta 22): Nuestras 1,200 observaciones en conglomerados equivalen a ______ observaciones independientes.

Parte 9: MDE con y sin conglomerados

(→ Canvas Pregunta 23): El MDE con conglomerados es:

  1. Mayor que con aleatorización individual (más difícil detectar efectos)
  2. Menor (más fácil detectar efectos)

BLOQUE D: Explorando el diseño

Parte 10: Modificar el tamaño del conglomerado

¿Qué pasa si cada municipio tuviera menos jóvenes? Mantenemos \(N = 1{,}200\) y el mismo ICC.

(→ Canvas Pregunta 24): ¿Con qué configuración el MDE es más bajo?

  1. 10 jóvenes en 120 municipios
  2. 20 jóvenes en 60 municipios
  3. 40 jóvenes en 30 municipios
  4. 120 jóvenes en 10 municipios

🔧 Instrucción: En el siguiente bloque, cambia m_elegido de 40 a 10. Ejecuta y compara el DEFF y MDE con los de la Parte 8.

(→ Canvas Pregunta 25): Cuando cambias \(m\) de 40 a 10 (manteniendo \(N = 1{,}200\)), ¿qué pasa con el DEFF?

  1. Baja (se acerca a 1)
  2. Sube
  3. No cambia

(→ Canvas Pregunta 26): ¿Y qué pasa con el MDE?

  1. Baja (mejora el poder)
  2. Sube (empeora el poder)
  3. No cambia

Parte 11: Más conglomerados (aumentar J)

Otra opción: en vez de redistribuir los 1,200 jóvenes, reclutar más municipios y por lo tanto más jóvenes en total.

(→ Canvas Pregunta 27): ¿Cuántos municipios se necesitan (con \(m = 40\)) para que el MDE sea menor a $40?

  1. 30 municipios (N = 1,200)
  2. 50 municipios (N = 2,000)
  3. 80 municipios (N = 3,200)
  4. Ninguno de los anteriores

(→ Canvas Pregunta 28): Observa que el DEFF no cambia cuando aumentamos \(J\). ¿Por qué?

  1. Porque el DEFF solo depende de \(m\) y \(\rho\), no de cuántos conglomerados haya
  2. Porque \(J\) y \(m\) siempre se compensan
  3. Porque el DEFF es una constante universal
  4. Porque el ICC cambia al agregar más municipios

Parte 12: ¿Qué pasa si el ICC es diferente?

En la práctica, el ICC depende del contexto. En municipios urbanos homogéneos podría ser alto; en municipios diversos podría ser bajo.

(→ Canvas Pregunta 29): Cuando el ICC pasa de 0.01 a 0.20 (con \(m = 40\), \(N = 1{,}200\)), el MDE aproximadamente:

  1. Aumenta ligeramente (menos de 50%)
  2. Más que se duplica
  3. No cambia mucho
  4. Se reduce

(→ Canvas Pregunta 30): ¿Con cuál ICC el diseño de 1,200 personas podría detectar un efecto de $40?

  1. \(\rho = 0.01\)
  2. \(\rho = 0.05\)
  3. \(\rho = 0.10\)
  4. \(\rho = 0.20\)

🔧 Instrucción: En el siguiente bloque, modifica rho_prueba para que valga 0.01 y luego 0.20. Compara los dos resultados.

(→ Canvas Pregunta 31): ¿Cuántas observaciones efectivas se pierden al pasar de \(\rho = 0.01\) a \(\rho = 0.20\)? (resta los dos N efectivos)

BLOQUE E: Restricción presupuestal

Parte 13: El costo importa

En la realidad, reclutar más municipios tiene un costo. Supongamos:

  • Costo fijo por municipio: $400 USD (logística, instalación, coordinador local)
  • Costo variable por joven: $16 USD (materiales, seguimiento)
  • Presupuesto total: $40,000 USD

El costo total es: \(\text{Costo} = J \times (400 + 16 \times m)\)

Esto limita cuántos municipios (\(J\)) y jóvenes por municipio (\(m\)) podemos tener.

(→ Canvas Pregunta 32): Observa la columna N: ¿siempre conviene tener conglomerados más grandes porque así el N total es mayor?

  1. Sí, un N total mayor siempre significa mejor poder
  2. No, porque aunque N suba, el DEFF también sube y puede anular la ganancia

(→ Canvas Pregunta 33): Según la tabla, ¿cuál valor de \(m\) produce el MDE más bajo?

  1. \(m = 10\)
  2. \(m = 20\)
  3. \(m = 30\)
  4. \(m = 40\)
  5. \(m = 50\)

(→ Canvas Pregunta 34): ¿Por qué el MDE no sigue bajando cuando \(m\) aumenta de 30 a 50?

  1. El N total deja de crecer
  2. El DEFF crece más rápido de lo que crece \(N\), así que \(N_{ef}\) empieza a bajar
  3. La fórmula del MDE deja de funcionar con conglomerados grandes
  4. El presupuesto se agota antes

BLOQUE F: Decisiones de diseño

Parte 14: Comparación de diseños

El equipo tiene presupuesto para 1,200 jóvenes y considera dos opciones.

(→ Canvas Pregunta 35): ¿Cuál diseño puede detectar un efecto de $40?

  1. Solo el Diseño A
  2. Solo el Diseño B
  3. Ambos
  4. Ninguno

(→ Canvas Pregunta 36): Si el Diseño A es mejor estadísticamente, ¿por qué el equipo podría aun así elegir el Diseño B?

  1. Porque el Diseño B es más barato
  2. Porque la implementación del programa requiere que todos en un municipio reciban o no la capacitación
  3. Porque los conglomerados eliminan el sesgo de selección
  4. Porque el Diseño A requiere más municipios

Parte 15: Mejora el Diseño B

El equipo necesita usar conglomerados. ¿Cómo mejorar el diseño para que pueda detectar el efecto de $40?

🔧 Instrucción: El siguiente bloque es un “simulador de diseño”. Modifica los tres valores marcados para intentar que el MDE baje de $40. Puedes:

  • Reducir \(m\) (menos jóvenes por municipio, más municipios)
  • Aumentar \(J\) (más municipios)
  • Reducir \(\sigma\) (controlar por salario base, etc.)

Experimenta con distintas combinaciones.

(→ Canvas Pregunta 37): Reporta UNA combinación de \(m\), \(J\) y \(\sigma\) que logre un MDE menor a $40. ¿Cuáles valores usaste?

  1. \(m = 15\), \(J = 80\), \(\sigma = 120\)
  2. \(m = 15\), \(J = 80\), \(\sigma = 96\)
  3. \(m = 40\), \(J = 30\), \(\sigma = 120\)
  4. \(m = 40\), \(J = 30\), \(\sigma = 80\)

(→ Canvas Pregunta 38): De las tres “palancas” (\(m\), \(J\), \(\sigma\)), ¿cuál tiene el efecto más grande sobre el MDE?

  1. Reducir \(m\) (conglomerados más pequeños)
  2. Aumentar \(J\) (más conglomerados)
  3. Reducir \(\sigma\) (menos variabilidad)
  4. Las tres tienen el mismo efecto

Parte 16: El diseño final

Después de analizar costos, logística y poder estadístico, el equipo propone el siguiente diseño:

  • 60 municipios (\(J = 60\))
  • 20 jóvenes por municipio (\(m = 20\))
  • Medición de salario base para reducir varianza (\(\sigma \approx 96\))

(→ Canvas Pregunta 39): ¿Este diseño final puede detectar un efecto de $40?

  1. Sí
  2. No

BLOQUE G: Reflexión

(→ Canvas Pregunta 40): ¿Cuál de las siguientes afirmaciones es correcta?

  1. Si un estudio no rechaza \(H_0\), eso prueba que el programa no funciona
  2. Si un estudio no rechaza \(H_0\) pero tenía bajo poder, no podemos concluir si el programa funciona o no
  3. El poder estadístico solo importa si usamos conglomerados
  4. Un p-value alto siempre significa que el efecto es cero

(→ Canvas Pregunta 41): ¿Por qué es importante calcular el poder antes de iniciar el estudio?

  1. Para cumplir un requisito administrativo del gobierno
  2. Para saber si el diseño tiene capacidad de detectar el efecto esperado y, si no, ajustar el diseño a tiempo
  3. Porque después del estudio ya no se puede calcular
  4. Para garantizar que el programa funcione

(→ Canvas Pregunta 42): Los conglomerados reducen el poder porque:

  1. Las personas en el mismo grupo se parecen, así que cada nueva observación aporta menos información independiente
  2. Los municipios son de mala calidad
  3. La fórmula del MDE tiene un error cuando se usan conglomerados
  4. El ICC siempre es mayor a 0.50

(→ Canvas Pregunta 43): ¿Cuál es la principal estrategia para compensar la pérdida de poder por conglomerados?

  1. Aumentar el número de conglomerados (más municipios)
  2. Aumentar el tamaño de cada conglomerado (más personas por municipio)
  3. Usar un nivel de significancia de \(\alpha = 0.50\)
  4. No hacer la evaluación

(→ Canvas Pregunta 44): ¿Cuál afirmación resume mejor la lección de esta tarea?

  1. Los conglomerados siempre son peores; nunca deben usarse
  2. Solo importa tener un p-value menor a 0.05; el diseño es secundario
  3. El poder depende de \(N\), \(\sigma\), el efecto esperado y la estructura del diseño; un buen evaluador ajusta estos elementos antes de iniciar el estudio
  4. Un cálculo de poder es innecesario si el programa tiene buena teoría de cambio

Fin de la tarea

Verifica que hayas registrado tus 44 respuestas en Canvas. ¡Éxito!