Estimator og estimat

La $X_1,\dots,X_n$ være et tilfeldig utvalg fra en fordeling som avhenger av en ukjent parameter $\theta$. En punktestimator $\hat{\theta}=g(X_1,\dots,X_n)$ er en funksjon av observasjonene og er dermed selv en stokastisk variabel. Når vi setter inn konkrete tall får vi estimatet — et fast tall. Vanlige estimatorer er gjennomsnittet $\bar{X}=\frac{1}{n}\sum X_i$ for $\mu$ og utvalgsvariansen $S^2=\frac{1}{n-1}\sum(X_i-\bar X)^2$ for $\sigma^2$.

Grunnregel — egenskaper ved en god estimator:

1) Forventningsrett: $E[\hat\theta]=\theta$. 2) Effektiv: lav varians $\text{Var}(\hat\theta)$. 3) Konsistent: $\hat\theta_n\to\theta$ når $n\to\infty$. Samlet mål: minimer $\text{MSE}(\hat\theta)=\text{Var}(\hat\theta)+[\text{bias}(\hat\theta)]^2$.

Forventningsretthet

Estimatoren er forventningsrett dersom $E[\hat{\theta}]=\theta$. Avviket $\text{bias}(\hat\theta)=E[\hat\theta]-\theta$ måler systematisk skjevhet. Gjennomsnittet er alltid forventningsrett for $\mu$. For variansen må vi dele på $n-1$ for å få $E[S^2]=\sigma^2$; deler vi på $n$ (som MLE gjør) undervurderer vi $\sigma^2$ med faktor $\frac{n-1}{n}$.

Sannsynlighetsmaksimering (MLE)

MLE velger parameterverdien som gjør de observerte dataene mest sannsynlige, ved å maksimere rimelighetsfunksjonen $L(\theta)=\prod f(x_i;\theta)$. I praksis maksimerer vi log-rimelighet $\ell(\theta)=\sum\ln f(x_i;\theta)$ ved å sette $\ell'(\theta)=0$. Husk å sjekke at det er et maksimum, og at randpunkter (som i uniform-fordelingen) behandles separat.

Eksempel 1 — MLE for Poisson:

$X_1,\dots,X_n\sim\text{Poisson}(\lambda)$. Da er $\ell(\lambda)=(\sum x_i)\ln\lambda-n\lambda-\sum\ln(x_i!)$. Vi deriverer:

$$\ell'(\lambda)=\frac{\sum x_i}{\lambda}-n=0\;\Rightarrow\;\hat{\lambda}=\frac{\sum x_i}{n}=\bar{X}.$$

Med data $2,3,1,4,5$: $\hat\lambda=\frac{15}{5}=3$. Sjekk: $\ell''(\lambda)=-\frac{\sum x_i}{\lambda^2}<0$, så det er et maksimum.

Momentmetoden

Momentmetoden setter teoretiske momenter lik empiriske: $E[X^k]=\frac{1}{n}\sum X_i^k$. Man trenger like mange momentlikninger som parametere. Metoden er ofte enklere enn MLE, men gir vanligvis mindre effektive estimatorer.

Eksempel 2 — Moment vs. MLE for Uniform$(0,\theta)$:

Momentmetoden: $E[X]=\theta/2$ settes lik $\bar X$, så $\tilde\theta=2\bar X$.

MLE: $L(\theta)=\theta^{-n}$ for $\theta\geq\max x_i$ og $0$ ellers. $L$ er avtagende, så $\hat\theta=\max(X_i)$.

De er ulike! MLE er forventningsskjev: $E[\max X_i]=\frac{n}{n+1}\theta$. Korrigert: $\frac{n+1}{n}\max X_i$ er forventningsrett.

Effektivitet

Blant forventningsrette estimatorer foretrekkes den med minst varians. Relativ effektivitet av $\hat\theta_1$ mot $\hat\theta_2$ er $\frac{\text{Var}(\hat\theta_2)}{\text{Var}(\hat\theta_1)}$. Cramér–Rao-ulikheten gir en nedre grense $\text{Var}(\hat\theta)\geq 1/I(\theta)$; når den nås er estimatoren effektiv. Når man sammenligner estimatorer med ulik bias bruker man MSE, slik at en liten bias kan aksepteres om variansen blir betydelig mindre.

Studieguide: Punktestimering

Studieguide: Punktestimering