La función de esperanza condicional (CEF, por sus siglas en inglés), \(m(x)=\E[Y\mid X=x]\), asigna a cada valor \(x\) de una variable \(X\) el promedio de \(Y\) entre las unidades que tienen ese valor. Por ejemplo, el salario promedio de quienes tienen 12 años de escolaridad. Es el mejor predictor de \(Y\) que se puede construir con \(X\), y es el objeto que la regresión intenta aproximar. Saber qué es y qué no es la CEF permite distinguir una descripción de los datos de un efecto causal.
Muchas preguntas de política empiezan comparando promedios entre grupos: salario por escolaridad, gasto en salud por tipo de seguro, aprendizaje por tamaño de grupo. La CEF es la versión exacta de esas comparaciones. La regresión lineal es una forma de resumirla, y la inferencia causal pregunta cuándo una diferencia en la CEF mide un efecto.
| Pestaña | Pregunta que responde |
|---|---|
| 1. Probabilidad condicional | ¿Cómo se calcula el promedio de \(Y\) dentro de un grupo? |
| 2. Predecir sin información | Si sólo puedo dar un número para todos, ¿cuál conviene? |
| 3. Predecir con información | ¿Cuánto mejora la predicción si conozco \(X\)? |
| 4. Esperanzas iteradas | ¿Cómo se relaciona el promedio general con los promedios por grupo? |
| 5. Mejor predictor | ¿Hay alguna función de \(X\) que prediga mejor que la CEF? |
| 6. El error de la CEF | ¿Qué propiedades tiene lo que la CEF no predice? |
| 7. Estimar la CEF | ¿Cómo se estima con una muestra cuando \(X\) es continua? |
| 8. Lo que la CEF no dice | ¿Por qué comparar grupos no es lo mismo que medir un efecto? |
La tabla da la probabilidad conjunta \(\P(X=x,\,Y=y)\) de que una persona tenga \(x\) años de escolaridad y gane \(y\) pesos por hora. Hay tres niveles de escolaridad y tres niveles de salario, para que las cuentas se puedan hacer a mano.
La probabilidad marginal de \(X\) suma cada renglón: \(\P(X=x)=\sum_y\P(X=x,Y=y)\). La probabilidad condicional divide cada celda del renglón entre ese total:
\[\P(Y=y\mid X=x)=\frac{\P(X=x,\ Y=y)}{\P(X=x)}.\]
Es la distribución de \(Y\) dentro del grupo \(X=x\): las probabilidades del renglón, reescaladas para que sumen 1. Su media es la media condicional:
\[m(x)=\E[Y\mid X=x]=\sum_y y\ \P(Y=y\mid X=x).\]
\(m(x)\) es una función: a cada \(x\) le asigna un número. Si en lugar de un valor fijo \(x\) ponemos la variable aleatoria \(X\), \(m(X)\) es una variable aleatoria: el promedio del grupo al que pertenece una persona elegida al azar.
Para \(X\) continua se hace lo mismo con densidades: \(f_{Y\mid X}(y\mid x)=f_{XY}(x,y)/f_X(x)\) y \(m(x)=\int y\,f_{Y\mid X}(y\mid x)\,dy\).
Hay que predecir el salario por hora de una persona elegida al azar sin saber nada de ella: un solo número \(c\) para todos. Un criterio razonable es el error cuadrático medio de la predicción, \(\E[(Y-c)^2]\), el promedio de los errores al cuadrado.
Población simulada de 20,000 personas. Salario por hora en pesos.
Sumando y restando \(\E[Y]\):
\[\E[(Y-c)^2]=\Var(Y)+\big(\E[Y]-c\big)^2.\]
El primer término no depende de \(c\); el segundo es cero sólo si \(c=\E[Y]\). La media es el mejor predictor constante, y su error cuadrático medio es la varianza de \(Y\). Es el modelo mental más común: "un trabajador típico gana el promedio". La pregunta de las pestañas siguientes es cuánto mejora la predicción si usamos información sobre cada persona.
Ahora conocemos la escolaridad \(X\) de cada persona. En lugar de un solo número, predecimos con el promedio de su grupo, \(m(x)=\E[Y\mid X=x]\). Cada punto gris es una persona; cada punto ocre, el promedio de su grupo. Las barras de abajo muestran el tamaño de cada grupo.
Sin información, el error cuadrático medio es \(\Var(Y)\). Con el promedio del grupo, es el promedio de las varianzas dentro de cada grupo, \(\E[\Var(Y\mid X)]\). Lo que se gana es la varianza de los promedios entre grupos:
\[\underbrace{\Var(Y)}_{\text{total}}=\underbrace{\E\big[\Var(Y\mid X)\big]}_{\text{dentro de grupos}}+\underbrace{\Var\big(\E[Y\mid X]\big)}_{\text{entre grupos}}.\]
Es la descomposición de la varianza total. La fracción entre grupos es la parte de la variación del salario asociada a la escolaridad.
El promedio de todos es el promedio de los promedios de cada grupo, ponderado por el tamaño de cada grupo:
\[\E[Y]=\sum_x \E[Y\mid X=x]\;\P(X=x)=\sum_x m(x)\,\P(X=x).\]
La misma idea se escribe en forma compacta como \(\E[Y]=\E\big[\E[Y\mid X]\big]\). La esperanza de adentro, \(\E[Y\mid X]=m(X)\), promedia \(Y\) dentro de cada grupo; la de afuera promedia esos resultados sobre la distribución de \(X\).
Mueve la composición: pasa una fracción de quienes tienen secundaria (9 años) a preparatoria (12). Los promedios de cada grupo, \(m(x)\), no cambian; cambian los pesos \(\P(X=x)\), y con ellos \(\E[Y]\).
Barras: \(\P(X=x)\). Encima de cada barra grande, el promedio del grupo \(m(x)\) en pesos por hora.
La media ignora \(X\); la CEF usa el promedio de cada grupo. Entre las dos hay predictores intermedios, y también más allá. La curva azul es
\[g_\lambda(x)=\E[Y]+\lambda\,\big(m(x)-\E[Y]\big).\]
Con \(\lambda=0\) es la media para todos; con \(\lambda=1\) es la CEF; con \(\lambda>1\) exagera las diferencias entre grupos. El error cuadrático medio es mínimo exactamente en \(\lambda=1\).
El resultado general: para cualquier función \(g\),
\[\begin{aligned}\E\big[(Y-g(X))^2\big]&=\E\big[(Y-m(X))^2\big]+\E\big[(m(X)-g(X))^2\big]\\&\ge\ \E\big[(Y-m(X))^2\big].\end{aligned}\]
Sumar y restar \(m(X)\): \(Y-g=(Y-m)+(m-g)\). Al elevar al cuadrado aparece el término cruzado \(2\E[(Y-m)(m-g)]\). Por la ley de esperanzas iteradas, \(\E[(Y-m)(m-g)]=\E\big[(m-g)\,\E[Y-m\mid X]\big]\), y \(\E[Y-m(X)\mid X]=0\) porque \(m(X)\) es justamente el promedio de \(Y\) en cada grupo. Quedan dos términos no negativos.
Es la misma idea de la pestaña 2, grupo por grupo: dentro de cada grupo la mejor constante es el promedio del grupo.
El error de la CEF, \(e=Y-m(X)\), es la distancia de cada persona al promedio de su grupo. Con él, cualquier \(Y\) se escribe como
\[Y=m(X)+e,\qquad \E[e\mid X]=0.\]
No es un supuesto: se cumple por construcción, porque dentro de cada grupo las desviaciones respecto al promedio del grupo promedian cero. Lo que sí puede cambiar entre grupos es la dispersión del error; cuando cambia se dice que hay heterocedasticidad.
| Propiedad | Valor en la población |
|---|
Que el error tenga media cero en cada grupo implica que no está correlacionado con ninguna función de \(X\):
\[\E[e\,h(X)]=0.\]
Esto vale para cualquier función \(h\): \(h(X)=X\), \(h(X)=X^2\), o un indicador de que \(X\ge 12\).
\[\E[e\,h(X)]=\E\big[\E[e\,h(X)\mid X]\big]=\E\big[h(X)\,\E[e\mid X]\big]=\E[h(X)\cdot 0]=0.\]
La primera igualdad es la ley de esperanzas iteradas; la segunda usa que, dentro de un grupo, \(h(X)\) es una constante.
En palabras: conociendo \(X\), no hay forma de anticipar si una persona quedará por arriba o por abajo del promedio de su grupo.
Hasta aquí conocíamos la población. Con una muestra hay que estimar \(m(x)\). Si \(X\) es continua, por ejemplo la experiencia laboral de 0 a 40 años, casi nadie comparte exactamente el mismo valor. Una solución es dividir \(X\) en \(K\) intervalos y promediar \(Y\) dentro de cada uno.
Curva ocre: la CEF verdadera. Escalones azules: 30 estimaciones con 30 muestras distintas de \(n=200\) (una resaltada). Puntos: la muestra resaltada.
Pocos intervalos: cada promedio mezcla a personas con experiencia muy distinta y no sigue la curva (sesgo). Muchos intervalos: cada promedio usa pocas observaciones y cambia mucho de una muestra a otra (varianza). El número de intervalos que minimiza el ECM equilibra las dos fuentes de error.
Hay dos preguntas que suenan parecidas:
Las dos respuestas coinciden sólo si los dos grupos son iguales en todo lo demás. Abajo, una población simulada en la que sí vemos una característica que en los datos reales no se observa: la habilidad de cada persona. Recorre los tres pasos.
\[\underbrace{m(16)-m(12)}_{\text{diferencia observada}}=\underbrace{f(16)-f(12)}_{\text{misma habilidad}}+\underbrace{\gamma\,\big(\E[A\mid X=16]-\E[A\mid X=12]\big)}_{\text{diferencia de habilidad entre grupos}}.\]
Aquí \(f(x)\) es el salario promedio con \(x\) años de escolaridad y habilidad media; \(f(16)-f(12)\) es el efecto de estudiar 4 años más sin cambiar la habilidad.
Con la primera perilla en 0, los dos grupos tienen la misma habilidad y la diferencia observada coincide con el efecto. Al subirla, quienes estudian más son en promedio más hábiles y la diferencia observada suma las dos cosas. Si \(\gamma=0\), la habilidad no afecta el salario y tampoco hay problema. El problema aparece sólo cuando la variable omitida se relaciona con \(X\) y con \(Y\).
Con wage1 (Wooldridge): salario por hora promedio por años de escolaridad, la ley de esperanzas iteradas y la descomposición de la varianza.