Un estimador es una regla que, aplicada a una muestra, produce un número que aproxima un parámetro de la población. La media muestral \(\bar X_n=\tfrac1n\sum_{i=1}^n X_i\) estima la media poblacional \(\mu\). Antes de levantar la muestra, \(\bar X_n\) es una variable aleatoria con su propia distribución; por eso tiene sentido preguntar si está centrada en \(\mu\) (sesgo), cuánto varía de una muestra a otra (varianza) y si se acerca a \(\mu\) cuando la muestra crece (convergencia). Las mismas preguntas se hacen después a cualquier estimador, incluidos los coeficientes de una regresión.
Un número calculado con una muestra sólo es útil si sabemos qué tan lejos puede estar del valor que buscamos. La media muestral es el estimador más simple y el que tiene las propiedades más fáciles de demostrar; las herramientas que se usan para estudiarla (linealidad de la esperanza, varianza de una suma, error cuadrático medio) son las mismas que se usan para estudiar la regresión.
| Pestaña | Pregunta que responde |
|---|---|
| 1. Sumatorias y esperanza | ¿Qué reglas de cálculo se usan para obtener la media y la varianza de un promedio? |
| 2. Vocabulario | ¿Qué es fijo, qué es aleatorio y qué es observado? |
| 3. Estimador y estimado | ¿Por qué la misma regla da números distintos en encuestas distintas? |
| 4. Distribución muestral | ¿Dónde está centrada \(\bar X_n\), cuánto varía y qué pasa cuando \(n\) crece? |
| 5. Error cuadrático medio | ¿Cómo se comparan dos estimadores, y cuándo conviene aceptar sesgo? |
| 6. Observaciones correlacionadas | ¿Cuánta precisión se pierde si las observaciones no son independientes? |
| 7. Sesgo de \(S_n^2\) | ¿Por qué la varianza muestral divide entre \(n-1\)? |
\(\sum_{i=1}^n x_i=x_1+x_2+\dots+x_n\). Tres reglas bastan para casi todo el curso:
\[\sum_{i=1}^n c\,x_i=c\sum_{i=1}^n x_i,\qquad \sum_{i=1}^n (x_i+y_i)=\sum_{i=1}^n x_i+\sum_{i=1}^n y_i,\qquad \sum_{i=1}^n c=n\,c.\]
Con ellas se ve, por ejemplo, que las desviaciones respecto al promedio suman cero: \(\sum_i(x_i-\bar x)=\sum_i x_i-n\bar x=0\).
\[\E[aX+b]=a\E[X]+b,\qquad \E[X+Y]=\E[X]+\E[Y].\]
La segunda vale siempre, aunque \(X\) y \(Y\) estén relacionadas. Combinada con las reglas de la sumatoria: \(\E\big[\sum_i X_i\big]=\sum_i\E[X_i]\).
La varianza no es lineal. Para dos variables, \(\Var(X+Y)=\Var(X)+\Var(Y)+2\Cov(X,Y)\), y \(\Var(aX)=a^2\Var(X)\). Para \(n\) variables:
\[\Var\Big(\sum_{i=1}^n X_i\Big)=\sum_{i=1}^n\sum_{j=1}^n\Cov(X_i,X_j)=\sum_{i=1}^n\Var(X_i)+\sum_{i\neq j}\Cov(X_i,X_j).\]
La figura acomoda los \(n^2\) términos en una tabla: la diagonal tiene las \(n\) varianzas y fuera de la diagonal están las \(n(n-1)\) covarianzas. La varianza de la suma es la suma de todas las celdas.
Con observaciones no correlacionadas (\(\rho=0\)) sólo queda la diagonal: \(\Var(\sum_iX_i)=n\sigma^2\) y \(\Var(\bar X_n)=n\sigma^2/n^2=\sigma^2/n\). Con \(\rho>0\) las \(n(n-1)\) celdas de covarianza se acumulan rápido.
En probabilidad la distribución \(F\) es conocida y preguntamos qué datos puede producir. En estadística observamos datos \(x_1,\dots,x_n\) y queremos decir algo sobre la \(F\) que los generó: su media, su varianza, un coeficiente de regresión.
| Término | Qué es |
|---|---|
| Población | Todas las unidades sobre las que queremos aprender: los asalariados de México este mes. |
| Parámetro | Un número fijo, casi siempre desconocido, que resume la población: \(\mu=\E[X]\). |
| Proceso generador (DGP) | La distribución \(F\) de la que salen las observaciones: \(X_i\sim F\). |
| Muestra iid | \(X_1,\dots,X_n\) independientes y con la misma \(F\). Es el supuesto más común y el punto de partida. |
| Estadístico | Cualquier función de la muestra que no requiere conocer \(F\): \(\bar X_n\), \(\max_i X_i\). |
| Estimador / estimado | La regla \(\bar X_n\), aleatoria; el número \(\bar x_n=13{,}698\), fijo una vez observado. |
“Los salarios de una población tienen media \(\mu\) y varianza \(\sigma^2\). Encuestamos al azar a \(n=100\) trabajadores y calculamos su salario promedio. Nos dio 13,698 pesos.”
Elige una opción en cada renglón; debajo aparece por qué es correcta o no.
Hacer clic equivale a levantar una encuesta nueva: se sortean 10 personas de la misma población y se calcula su promedio. La regla \(\bar X_n=\tfrac1n\sum_iX_i\) es siempre la misma (el estimador); el número que produce en cada encuesta, \(\bar x_n\), cambia (el estimado).
Población simulada de salarios mensuales: log-normal con media \(\mu=13{,}698\) pesos y desviación estándar \(\sigma=7{,}300\) pesos.
Arriba: cada punto es el \(\bar x_n\) de una encuesta. Abajo: el promedio de todas las \(\bar x_n\) acumuladas hasta ese momento. Se acerca a \(\mu\) porque la distribución de \(\bar X_n\) está centrada en \(\mu\): el estimador es insesgado.
La distribución muestral de \(\bar X_n\) es la distribución de los valores que tomaría si repitiéramos la encuesta muchas veces. Arriba, 2,000 encuestas simuladas de tamaño \(n\). La franja ocre marca los valores a menos de \(\varepsilon\) pesos de \(\mu\).
Abajo, seis personas que encuestan con paciencia: cada una agrega una observación a la vez y recalcula su promedio. Las líneas punteadas marcan \(\mu\pm1.96\,\sigma/\sqrt n\).
Población log-normal (asimétrica) con \(\mu=13{,}698\) y \(\sigma=7{,}300\) pesos. El eje horizontal de la figura de abajo está en escala logarítmica.
Supuesto. \(X_1,\dots,X_n\) iid con \(\E[X_i]=\mu\) y \(\Var(X_i)=\sigma^2<\infty\).
\[\text{(i)}\ \E[\bar X_n]=\mu,\qquad \text{(ii)}\ \Var(\bar X_n)=\frac{\sigma^2}{n}.\]
\[\E[\bar X_n]=\E\Big[\frac1n\sum_{i=1}^n X_i\Big]=\frac1n\sum_{i=1}^n\E[X_i]=\frac1n\,n\mu=\mu.\]
Sólo usa la linealidad de la esperanza. Vale aunque las observaciones estén correlacionadas.
\[\Var\Big(\sum_i X_i\Big)=\sum_i\Var(X_i)+\sum_{i\neq j}\Cov(X_i,X_j)=n\sigma^2+0.\]
Aquí, y sólo aquí, se usa que las covarianzas entre observaciones son cero. Basta con que no estén correlacionadas.
\[\Var(\bar X_n)=\frac{1}{n^2}\Var\Big(\sum_i X_i\Big)=\frac{n\sigma^2}{n^2}=\frac{\sigma^2}{n}.\]
El resultado (ii) explica la convergencia: si la varianza de \(\bar X_n\) tiende a cero y su centro está en \(\mu\), la distribución se concentra alrededor de \(\mu\).
Hasta aquí tenemos dos medidas de dispersión. Para comparar estimadores hace falta una tercera, que mide la distancia al valor verdadero.
| Medida | Mide la distancia entre | Fórmula |
|---|---|---|
| Desviación estándar de los datos | cada dato \(X_i\) y la media poblacional \(\mu\) | \(\sigma=\sqrt{\E[(X_i-\mu)^2]}\) |
| Error estándar de un estimador | el estimador \(\hat\theta\) y su propio centro \(\E[\hat\theta]\) | \(\se(\hat\theta)=\sqrt{\E[(\hat\theta-\E[\hat\theta])^2]}\) |
| Error cuadrático medio (ECM) | el estimador \(\hat\theta\) y el valor verdadero \(\theta\) | \(\MSE(\hat\theta)=\E[(\hat\theta-\theta)^2]\) |
Si el estimador está centrado en el valor verdadero (\(\E[\hat\theta]=\theta\), sin sesgo), las dos últimas coinciden: \(\MSE=\se^2\). Si no, el ECM suma las dos formas de equivocarse:
\[\MSE(\hat\theta)=\underbrace{\big(\E[\hat\theta]-\theta\big)^2}_{\text{sesgo}^2}+\underbrace{\Var(\hat\theta)}_{\se^2}.\]
| Estimador | Sesgo | Error estándar | \(\sqrt{\text{ECM}}\) |
|---|
Cada nube son 300 encuestas simuladas de un estimador; la barra negra va de \(\E[\hat\theta]-\se\) a \(\E[\hat\theta]+\se\). La tabla usa las fórmulas exactas. Cifras en pesos.
El estimador \(c\,\bar X_n\) con \(c<1\) acerca la media muestral hacia cero. Introduce sesgo, \((c-1)\mu\), pero reduce la varianza a \(c^2\sigma^2/n\). Cuando la muestra es chica la reducción de varianza puede pesar más que el sesgo, y el ECM baja. Acercar un estimador hacia un valor fijo para reducir su varianza se llama regularización; es la idea detrás de métodos de regresión como ridge y lasso.
Si \(\Corr(X_i,X_j)=\rho\) para todo \(i\neq j\), por ejemplo alumnos de la misma escuela o hogares del mismo municipio,
\[\Var(\bar X_n)=\frac{\sigma^2}{n}\big[1+(n-1)\rho\big],\qquad n_{\text{efectiva}}=\frac{n}{1+(n-1)\rho}.\]
Eje vertical: \(\Var(\bar X_n)/\sigma^2\), en escala logarítmica. Gris: \(\rho=0\). Azul: el \(\rho\) elegido.
\[S_n^2=\frac1n\sum_i(X_i-\bar X_n)^2,\qquad \E[S_n^2]=\frac{n-1}{n}\sigma^2,\qquad s^2=\frac{1}{n-1}\sum_i(X_i-\bar X_n)^2,\quad \E[s^2]=\sigma^2.\]
\(\bar X_n\) es el número que minimiza \(\sum_i(X_i-a)^2\). Por eso \(\sum_i(X_i-\bar X_n)^2\le\sum_i(X_i-\mu)^2\): medir desde \(\bar X_n\) acerca el centro a los datos y achica la suma. Además los \(n\) desvíos suman cero, así que sólo \(n-1\) son libres.
\[\sum_i(X_i-\bar X_n)^2=\sum_i(X_i-\mu)^2-n(\bar X_n-\mu)^2\ \Rightarrow\ \E\Big[\sum_i(X_i-\bar X_n)^2\Big]=n\sigma^2-\sigma^2.\]
Simula muchas encuestas, guarda la media de cada una y compara su desviación estándar con \(\sigma/\sqrt n\). Es el mismo ejercicio de la pestaña 4.