La esperanza condicional en R

Sesión de estudio del 20 de octubre · Estadística Matemática, Maestría en Economía Aplicada

Sesión de estudio del 20 de octubre

Hoy no hay sesión por Zoom. Esta página la sustituye: trabájala por tu cuenta. Toma unas dos horas y media. Sigue la numeración del handout de la sesión (secciones 1 a 11.3). Al final hay un adelanto de la tarea.

Cómo usar esta página

La página alterna dos tipos de bloque, igual que en clase:

Pizarrón (recuadros con título “Pizarrón”): lo que se escribiría en el pizarrón. Cópialo a mano en tu cuaderno; las cuentas se entienden mejor escribiéndolas.
R: el mismo resultado con números y una gráfica. Esta página corre R directamente en tu navegador (vía webR); no necesitas instalar nada. Presiona Run Code en cada bloque. La primera vez, R tarda unos segundos en cargar. Cada bloque es editable: cambia los valores marcados con # <- y vuelve a correrlo. Si prefieres RStudio, descarga el script completo.

Todo lo que va después de un # es un comentario: R lo ignora. El símbolo <- guarda lo de la derecha en el objeto de la izquierda; si escribes sólo el nombre del objeto, R lo imprime. Cada bloque corre por sí solo.

Las preguntas de Comprueba tienen una respuesta única; intenta resolverlas antes de abrir la respuesta.

Notación: \(X\) es lo que conocemos (escolaridad, en años) y \(Y\) lo que queremos predecir (salario por hora, en pesos). Trabajamos en pesos, no en logaritmos.

1 De la media a la media condicional

Pizarrón: La pregunta de hoy

Hasta ahora: un solo número para toda la población, \(\mathbb{E}[Y]\).

Hoy: un número para cada valor de otra variable, \[m(x)=\mathbb{E}[Y\mid X=x],\] el promedio de \(Y\) entre quienes tienen \(X=x\).

Ejemplos: la brecha salarial entre mujeres y hombres con licenciatura; una tabla de mortalidad (probabilidad de morir en el año, por edad); el gasto de bolsillo con y sin seguro.

Dos preguntas para empezar. ¿Cuánto gana en promedio alguien con preparatoria? ¿Y si no supieras nada de la persona, qué número dirías? La primera es una esperanza condicional; la segunda, la esperanza de siempre. La CEF (función de esperanza condicional, por sus siglas en inglés) es el mejor predictor de una variable a partir de otra. También es el punto de partida para hablar de efectos causales, aunque no es lo mismo que un efecto causal.

2 Repaso: probabilidad condicional

Pizarrón: La tabla (tenla a la vista toda la sesión)

\(\mathbb{P}(X=x,\,Y=y)\):

	\(Y=40\)	\(Y=70\)	\(Y=120\)	\(\mathbb{P}(X=x)\)
\(X=6\)	0.12	0.10	0.03	0.25
\(X=9\)	0.10	0.18	0.07	0.35
\(X=12\)	0.05	0.17	0.18	0.40
\(\mathbb{P}(Y=y)\)	0.27	0.45	0.28	1

Marginal de \(X\): sumar cada renglón. Marginal de \(Y\): sumar cada columna.

Condicional: cada renglón entre su total, \[\mathbb{P}(Y=y\mid X=x)=\frac{\mathbb{P}(X=x,\,Y=y)}{\mathbb{P}(X=x)}.\] Cada renglón de la condicional es una distribución: la de \(Y\) dentro del grupo \(X=x\).

Independencia: \(\mathbb{P}(X=x,Y=y)=\mathbb{P}(X=x)\,\mathbb{P}(Y=y)\) para todo \(x,y\). En la tabla, \(0.25\times0.27=0.0675\neq0.12\): no hay independencia.

A mayor escolaridad, la distribución de salarios se recorre hacia arriba: la probabilidad de ganar 120 pasa de 0.12 a 0.20 y a 0.45.

En sentido inverso está Bayes: entre quienes ganan 120, ¿qué fracción tiene 12 años? Es la celda entre el total de su columna, \(0.18/0.28=0.643\). El denominador de la fórmula de Bayes, \[\mathbb{P}(Y=y)=\sum_x \mathbb{P}(Y=y\mid X=x)\,\mathbb{P}(X=x),\] es la primera aparición de la idea central de hoy: un total es un promedio de lo que pasa dentro de cada grupo, ponderado por el tamaño del grupo.

Comprueba. Con la tabla, calcula \(\mathbb{P}(Y=40\mid X=6)\) y \(\mathbb{P}(X=6\mid Y=40)\).

Respuesta

\(\mathbb{P}(Y=40\mid X=6)=0.12/0.25=0.48\) (renglón). \(\mathbb{P}(X=6\mid Y=40)=0.12/0.27=0.444\) (columna). Son preguntas distintas: entre quienes tienen 6 años, casi la mitad gana 40; entre quienes ganan 40, 44% tiene 6 años.

3 Predecir sin información

Pizarrón: La mejor constante

Predecir \(Y\) con un mismo número \(c\) para todos. Criterio: el error cuadrático medio \(\mathbb{E}[(Y-c)^2]\).

Sumo y resto \(\mathbb{E}[Y]\), desarrollo el cuadrado; el término cruzado es cero porque \(\mathbb{E}\big[Y-\mathbb{E}[Y]\big]=0\): \[\mathbb{E}[(Y-c)^2]=\operatorname{Var}(Y)+(\mathbb{E}[Y]-c)^2.\] El primer término no depende de \(c\). El segundo es el costo de equivocarse de centro, y vale cero sólo si \(c=\mathbb{E}[Y]\).

Mejor constante: \(\mathbb{E}[Y]\). Error que queda: \(\operatorname{Var}(Y)\).

En la tabla: \[\mathbb{E}[Y]=40(0.27)+70(0.45)+120(0.28)=75.9,\qquad \operatorname{Var}(Y)=908.2.\]

La media es el modelo mental más común (“un trabajador típico gana el promedio”), y su error es toda la varianza de \(Y\). La pregunta del resto de la sesión es cuánto baja ese error si usamos información sobre cada persona.

El resultado depende del criterio: si el costo de equivocarse es proporcional al tamaño del error y no a su cuadrado, la mejor constante es la mediana (sección 3.1 del handout, sólo como lectura). En adelante nos quedamos con el error cuadrático y la media.

Comprueba. ¿Cuál es el error cuadrático medio de predecir \(c=100\) para todos?

Respuesta

\(908.2+(75.9-100)^2=908.2+580.8=1489.0\). En R: ecm(100).

4 Predecir con información: la CEF

Pizarrón: Definición

Con \(X\) discreta y \(\mathbb{P}(X=x)>0\): \[m(x)=\mathbb{E}[Y\mid X=x]=\sum_y y\;\mathbb{P}(Y=y\mid X=x).\] Es la media de la distribución condicional: el promedio de \(Y\) dentro del grupo \(X=x\).

Dos objetos con nombre parecido:

\(m(x)\) es una función: para cada \(x\), un número fijo.
\(m(X)=\mathbb{E}[Y\mid X]\) es una variable aleatoria: el promedio del grupo de una persona elegida al azar.

Pizarrón: La CEF en la tabla

\[m(6)=\frac{40(0.12)+70(0.10)+120(0.03)}{0.25}=\frac{15.4}{0.25}=61.6\] \[m(9)=\frac{25}{0.35}=71.43\qquad m(12)=\frac{35.5}{0.40}=88.75\]

valor de \(m(X)\)	61.6	71.43	88.75
probabilidad	0.25	0.35	0.40

\(m(X)\) toma tantos valores como grupos, cada uno con la probabilidad de su grupo.

Haz tú la cuenta de \(m(9)\) antes de correr el bloque.

Las dos funciones contestan preguntas distintas: quienes tienen 12 años ganan en promedio 88.75, y quienes ganan 120 tienen en promedio 10.6 años. Una no se obtiene despejando la otra.

Pizarrón: Más de una variable

Con escolaridad (\(X_1\)) y sexo (\(X_2\)): \[m(x_1,x_2)=\mathbb{E}[Y\mid X_1=x_1,\,X_2=x_2],\] un promedio por cada combinación. Todo lo de hoy vale igual con \(X\) vector.

Con \(X\) discreta, la CEF es una lista de promedios: cuatro niveles de escolaridad son cuatro números. No hay que suponer nada sobre cómo están acomodados; en la gráfica no hay curva ni recta.

5 La ley de esperanzas iteradas

Pizarrón: El promedio de los promedios

\[\mathbb{E}[Y]=\sum_x m(x)\,\mathbb{P}(X=x)\qquad\text{es decir}\qquad \mathbb{E}[Y]=\mathbb{E}\big[\mathbb{E}[Y\mid X]\big]\]

Demostración (discreta): sustituye la definición de \(m(x)\); los \(\mathbb{P}(X=x)\) se cancelan; cambia el orden de las sumas; la suma sobre \(x\) de la conjunta es la marginal de \(Y\).

En la tabla: \[61.6(0.25)+71.43(0.35)+88.75(0.40)=15.4+25+35.5=75.9\]

En palabras: el promedio de todos es el promedio de los promedios de los grupos, ponderado por el tamaño de cada grupo. La esperanza de adentro promedia \(Y\) dentro de cada grupo; la de afuera promedia esos resultados sobre la distribución de \(X\).

La composición importa: paradoja de Simpson

Como el promedio general mezcla promedios de grupos con pesos que pueden ser distintos, una comparación puede ir en un sentido dentro de cada grupo y en el sentido opuesto en el agregado.

Dentro de cada nivel, las mujeres ganan más (+2 y +4); en el agregado ganan 21.6 menos, porque muchas menos llegaron a la universidad.

Comprueba. Cambia pM <- c(0.4, 0.6) (la misma escolaridad que los hombres). ¿Cuánto vale ahora la brecha EM - EH?

Respuesta

\(0.4(62)+0.6(124)=99.2\) contra \(96\): la brecha es \(+3.2\). La parte de composición se vuelve cero y la brecha cambia de signo.

6 Propiedades de la esperanza condicional

Pizarrón: Las herramientas de todo lo que sigue

Linealidad: \(\mathbb{E}[aY+bZ\mid X]=a\,\mathbb{E}[Y\mid X]+b\,\mathbb{E}[Z\mid X]\).
Las funciones de \(X\) son constantes: \(\mathbb{E}[g(X)\mid X]=g(X)\).
Sacar lo conocido: \(\mathbb{E}[g(X)\,Y\mid X]=g(X)\,\mathbb{E}[Y\mid X]\).
Independencia: si \(Y\) y \(X\) son independientes, \(\mathbb{E}[Y\mid X]=\mathbb{E}[Y]\).
\(\mathbb{E}[g(X)\,Y]=\mathbb{E}[g(X)\,m(X)]\) (ley de esperanzas iteradas, luego la 3).

Dentro del grupo \(X=x\), \(g(X)=g(x)\) es un número fijo: por eso sale de la esperanza.

Pizarrón: Varianza condicional

\[\sigma^2(x)=\operatorname{Var}(Y\mid X=x)=\mathbb{E}[Y^2\mid X=x]-m(x)^2\] En la tabla: \(\sigma^2(6)=4456-61.6^2=661.4\); \(\sigma^2(9)=755.1\); \(\sigma^2(12)=885.9\). La dispersión crece con la escolaridad.

La propiedad 5 se usa una y otra vez: para calcular un promedio que involucra a \(Y\) y a funciones de \(X\), puedes reemplazar \(Y\) por su promedio condicional.

7 Varianza total

Pizarrón: Dentro más entre

\[\operatorname{Var}(Y)=\underbrace{\mathbb{E}\big[\operatorname{Var}(Y\mid X)\big]}_{\text{dentro}}+\underbrace{\operatorname{Var}\big(\mathbb{E}[Y\mid X]\big)}_{\text{entre}}\]

Idea de la demostración: sumo y resto \(m(X)\) en \(Y-\mathbb{E}[Y]\), desarrollo el cuadrado y el término cruzado es cero (condicionar en \(X\), sacar lo conocido, y el promedio de \(Y-m(X)\) dentro de cada grupo es cero).

	error
sin información (predigo con la media)	\(\operatorname{Var}(Y)=908.2\)
con el promedio de cada grupo	\(\mathbb{E}[\operatorname{Var}(Y\mid X)]=784.0\)
lo que gano al conocer \(X\)	\(\operatorname{Var}(m(X))=124.2\)

\(\eta^2=\operatorname{Var}(m(X))/\operatorname{Var}(Y)\): la fracción de la varianza de \(Y\) asociada a \(X\).

En esta tabla, la escolaridad está asociada con 13.7% de la varianza del salario: la mayor parte de la variación salarial ocurre entre personas con la misma escolaridad. Lo mismo pasa en datos reales, como vas a ver en la tarea.

8 La CEF es el mejor predictor

Pizarrón: El teorema

Para cualquier regla \(g(X)\): \[\mathbb{E}\big[(Y-g(X))^2\big]=\mathbb{E}\big[(Y-m(X))^2\big]+\mathbb{E}\big[(m(X)-g(X))^2\big].\] El primer término no depende de \(g\). El segundo es lo que se pierde por usar \(g\) en lugar de la CEF, y vale cero sólo si \(g=m\).

Es la mejor constante aplicada dentro de cada grupo: en cada grupo, la mejor constante es el promedio del grupo.

Lectura geométrica: el error \(Y-m(X)\) es ortogonal a cualquier función de \(X\), así que la igualdad es un teorema de Pitágoras. \(m(X)\) es el punto más cercano a \(Y\) entre todas las funciones de \(X\).

Ninguna regla baja de 784. Una familia útil para ver por qué: \(g_\lambda(x)=\mathbb{E}[Y]+\lambda\,(m(x)-\mathbb{E}[Y])\) va de la media (\(\lambda=0\)) a la CEF (\(\lambda=1\)). Su error es \(784+(1-\lambda)^2\,124.2\).

Comprueba. ¿Por qué \(\lambda=0\) y \(\lambda=2\) dan el mismo error? ¿Cuánto vale el error con \(\lambda=0.5\)?

Respuesta

Porque \((1-\lambda)^2\) es simétrico alrededor de 1: exagerar al doble las diferencias entre grupos es tan malo como ignorarlas. Con \(\lambda=0.5\): \(784+0.25(124.2)=815.05\).

9 El error de la CEF

Pizarrón: Definición y propiedades

\[e=Y-m(X)\qquad\Longrightarrow\qquad Y=m(X)+e\quad\text{(por construcción)}\]

\(\mathbb{E}[e\mid X]=0\). No es un supuesto: se cumple para cualquier par \((Y,X)\).
\(\mathbb{E}[e]=0\) (ley de esperanzas iteradas).
\(\mathbb{E}[h(X)\,e]=0\) para toda función \(h\): \(X\), \(X^2\), \(\log X\), \(\mathbf{1}\{X\ge 12\}\).
\(\operatorname{Var}(e\mid X=x)=\sigma^2(x)\). Si no depende de \(x\): homocedástico. Si depende: heterocedástico.

En la tabla: \(\sigma(6)=25.7\), \(\sigma(9)=27.5\), \(\sigma(12)=29.8\). Heterocedástico.

Cuidado: media condicional cero no es independencia. El promedio del error no depende de \(X\), pero su tamaño sí puede depender. En el ejemplo de abajo, con \(X=0\) el error vale \(\pm1\) y con \(X=1\) vale \(\pm3\): conocer \(X\) dice exactamente qué tan grande es el error.

10 La CEF de una variable binaria

Pizarrón: Promedio de una binaria = probabilidad

Si \(D\) vale 0 o 1: \(\;\mathbb{E}[D\mid X=x]=\mathbb{P}(D=1\mid X=x)\).

Ejemplo: \(D=1\) si la persona trabaja. Trabaja si su salario potencial supera su salario de reserva \(r\). Si el salario potencial es normal con media \(m(x)\) y desviación \(\sigma\): \[\mathbb{P}(D=1\mid X=x)=\Phi\!\left(\frac{m(x)-r}{\sigma}\right),\] donde \(\Phi\) es la acumulada de la normal estándar (pnorm() en R). La CEF de \(D\) tiene forma de S.

El error de una CEF binaria, \(D-p(X)\), tiene varianza condicional \(p(x)(1-p(x))\): es heterocedástico salvo que \(p(x)\) sea constante.

11 Estimar la CEF

Hasta aquí conocíamos la población. Con datos, hay que estimar \(m(x)\).

11.1 Con \(X\) discreta: un promedio por grupo

Pizarrón: Un promedio por grupo

Muestra \((Y_i,X_i)\), \(i=1,\dots,n\). En el grupo \(x\) hay \(n_x\) observaciones. \[\hat m(x)=\frac{1}{n_x}\sum_{i:\,X_i=x}Y_i\] Es la media muestral, dentro del grupo. Todo lo que ya sabemos de \(\bar X\) aplica: \[\mathbb{E}[\hat m(x)]=m(x),\qquad \operatorname{se}=\frac{s_x}{\sqrt{n_x}},\qquad \text{IC 95\%: }\hat m(x)\pm 1.96\,\frac{s_x}{\sqrt{n_x}}.\] Lo único nuevo: el tamaño de muestra que importa es el del grupo, \(n_x\), no el total.

Ejemplo: \(\sigma(x)=30\) y \(n_x=25\) dan \(\operatorname{se}=30/5=6\) pesos.

Una población simulada: cuatro niveles de escolaridad, una habilidad que crece en promedio con \(X\), y un ruido cuya dispersión crece con \(X\).

Corre el bloque otra vez con n <- 200. Los intervalos se ensanchan, sobre todo en el grupo de 16 años, que es el más chico y el más disperso.

Comprueba. Si \(\sigma(x)=30\), ¿cuántas observaciones necesita el grupo para que el error estándar sea de 2 pesos?

Respuesta

\(30/\sqrt{n_x}=2\), así que \(\sqrt{n_x}=15\) y \(n_x=225\).

11.2 Con \(X\) continua: sesgo contra varianza

Pizarrón: Promediar por intervalos

Con \(X\) continua (experiencia, edad) casi nadie comparte el mismo valor. Se divide el rango de \(X\) en \(K\) intervalos y se promedia \(Y\) en cada uno.

Pocos intervalos: cada promedio mezcla valores de \(X\) muy distintos. Sesgo.
Muchos intervalos: cada promedio usa pocas observaciones. Varianza.

El error total es sesgo\(^2\) + varianza, y hay un \(K\) intermedio que lo minimiza.

Corre el bloque con K <- 2, 8 y 40. Con 2, las 30 estimaciones coinciden entre sí pero no siguen la curva (sesgo). Con 40, siguen la curva pero brincan mucho (varianza). El siguiente bloque calcula el error para muchos valores de \(K\); en el navegador tarda alrededor de medio minuto.

11.3 Muchas variables: la maldición de la dimensionalidad

Pizarrón: Las celdas se vacían

Con \(k\) variables de 10 valores cada una hay \(10^k\) combinaciones (celdas), y la CEF es un promedio por celda.

\(k\)	celdas	hogares por celda, en promedio, con \(n=10{,}000\)
1	10	1,000
2	100	100
3	1,000	10
4	10,000	1

Con cuatro variables, más de la mitad de las celdas ocupadas ya tiene un solo hogar; con cinco o más, casi todas. Un “promedio” de una sola observación.

La salida es suponer algo sobre la forma de \(m\) y usar todas las observaciones a la vez. Qué forma suponer, y qué se estima cuando la forma supuesta no es la correcta, son las preguntas que siguen en el curso.

Pizarrón: Lo que hay que llevarse

\(m(x)=\mathbb{E}[Y\mid X=x]\) es el promedio de \(Y\) en cada grupo; \(m(X)\) es una variable aleatoria.
Ley de esperanzas iteradas: \(\mathbb{E}[Y]=\mathbb{E}\big[\mathbb{E}[Y\mid X]\big]\) (promedio de promedios).
Sacar lo conocido: \(\mathbb{E}[g(X)Y\mid X]=g(X)\,m(X)\).
\(\operatorname{Var}(Y)=\mathbb{E}[\operatorname{Var}(Y\mid X)]+\operatorname{Var}(m(X))\) (dentro + entre).
La CEF es el mejor predictor de \(Y\) con \(X\); su error cumple \(\mathbb{E}[e\mid X]=0\) y \(\mathbb{E}[h(X)e]=0\) para toda \(h\).
Estimar: un promedio por grupo; con \(X\) continua o muchas variables, sesgo contra varianza.

Hacia la tarea: la CEF en la ENOE

Lo que vas a hacer

La tarea de esta sesión repite lo que hiciste en esta página, ahora con datos reales: la Encuesta Nacional de Ocupación y Empleo (ENOE) del INEGI. Cada persona trabaja con una submuestra distinta, sacada con su matrícula como semilla, así que nadie tiene los mismos números.

Con tu submuestra de personas ocupadas vas a:

Estimar \(\hat m(x)\) del ingreso por hora para cada nivel de escolaridad, con su intervalo de 95% (sección 11.1).
Comprobar en tus datos la ley de esperanzas iteradas y la descomposición dentro + entre, y reportar tu \(\eta^2\) (secciones 5 y 7).
Tratar la edad como \(X\) continua y comparar dos valores de \(K\) (sección 11.2).

Las instrucciones completas y la fecha de entrega se publican en Canvas. Para ir adelantando: descarga de Canvas > Archivos el archivo enoe_sdem_2t2026.csv (segundo trimestre de 2026, unos 10 MB), guárdalo en la carpeta datos/ de tu proyecto de RStudio y prueba que puedes leerlo con el bloque de abajo. Si todavía no tienes R instalado, sigue la guía para instalar R y RStudio.

# Lee el archivo de Canvas (guárdalo en la carpeta datos/ de tu proyecto).
enoe <- read.csv("datos/enoe_sdem_2t2026.csv")
dim(enoe)                                     # 324,081 personas y 11 variables

# Ocupados (clase2 = 1) con ingreso por hora positivo y escolaridad conocida.
ocupados <- subset(enoe, clase2 == 1 & ing_x_hrs > 0 & anios_esc != 99)
nrow(ocupados)                                # 119,315

# Tu submuestra: los dígitos de tu matrícula como semilla (A01234567 -> 1234567).
set.seed(1234567)                             # <- tu matrícula
mi_muestra <- ocupados[sample(nrow(ocupados), 5000), ]

# Primer vistazo: ingreso por hora promedio por años de escolaridad.
round(tapply(mi_muestra$ing_x_hrs, mi_muestra$anios_esc, mean), 1)

# ¿Cuántas personas hay en cada grupo? Fíjate en los grupos chicos.
table(mi_muestra$anios_esc)

El archivo es la tabla sociodemográfica (SDEMT) de la ENOE del segundo trimestre de 2026, ya filtrada a residentes de 15 años o más con entrevista completa. Sus variables:

Variable	Qué es
`cve_ent`	entidad federativa (1 a 32)
`sex`	sexo: 1 hombre, 2 mujer
`eda`	edad en años
`anios_esc`	años de escolaridad (99 = no especificado)
`clase1`	1 población económicamente activa, 2 no activa
`clase2`	1 ocupada, 2 desocupada, 3 disponible, 4 no disponible
`pos_ocu`	posición en la ocupación
`hrsocup`	horas trabajadas en la semana
`ingocup`	ingreso mensual, en pesos (0 si no tiene o no lo reportó)
`ing_x_hrs`	ingreso promedio por hora trabajada, en pesos
`fac_tri`	factor de expansión trimestral

Fuente: INEGI, Encuesta Nacional de Ocupación y Empleo, segundo trimestre de 2026, y su descripción de la base de datos.