Loven om store tall (LLN)

La $X_1,X_2,\dots$ være uavhengige og identisk fordelte (u.i.f.) med forventning $E[X_i]=\mu$ og endelig varians $\sigma^2$. Gjennomsnittet $\bar{X}_n=\frac{1}{n}\sum_{i=1}^n X_i$ konvergerer i sannsynlighet mot $\mu$:

$$\bar{X}_n \xrightarrow{P} \mu \quad\text{når}\quad n\to\infty.$$

Intuisjonen: $E[\bar{X}_n]=\mu$ og $\operatorname{Var}(\bar{X}_n)=\sigma^2/n\to 0$. Når spredningen krymper mot null, må $\bar{X}_n$ klumpe seg rundt $\mu$. Dette kan bevises med Chebyshevs ulikhet: $P(|\bar{X}_n-\mu|\geq\varepsilon)\leq \frac{\sigma^2}{n\varepsilon^2}\to 0$.

Grunnregel — LLN vs. CLT:

LLN sier hvor $\bar{X}_n$ havner: ved $\mu$. CLT sier hvordan $\bar{X}_n$ er spredt rundt $\mu$: tilnærmet normalt med standardavvik $\sigma/\sqrt{n}$. LLN er konvergens i sannsynlighet (mot et tall); CLT er konvergens i fordeling (mot $N(0,1)$).

Sentralgrenseteoremet (CLT)

For u.i.f. $X_1,\dots,X_n$ med forventning $\mu$ og endelig varians $\sigma^2$ gjelder at den standardiserte summen konvergerer mot standardnormalfordelingen:

$$Z_n=\frac{S_n-n\mu}{\sigma\sqrt{n}}=\frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \xrightarrow{d} N(0,1).$$

Praktisk betyr dette at for stor $n$:

$$S_n \approx N(n\mu,\,n\sigma^2), \qquad \bar{X}\approx N\!\left(\mu,\frac{\sigma^2}{n}\right).$$

Den opprinnelige fordelingen spiller ingen rolle — det eneste kravet er endelig varians. Tommelfingerregel: $n\geq 30$ gir ofte god tilnærming; ved sterkt skjev opphavsfordeling trengs større $n$, ved symmetrisk holder mindre.

Fordelingen til gjennomsnittet $\bar{X}$

Uansett $n$ gjelder (for u.i.f. med endelig varians):

$$E[\bar{X}]=\mu, \qquad \operatorname{Var}(\bar{X})=\frac{\sigma^2}{n}, \qquad \sigma_{\bar X}=\frac{\sigma}{\sqrt{n}}.$$

Standardfeilen $\sigma/\sqrt{n}$ avtar som $1/\sqrt{n}$: for å halvere den må man firedoble $n$. Er $X_i$ selv normalfordelte, er $\bar{X}\sim N(\mu,\sigma^2/n)$ eksakt. Når $\sigma$ er ukjent og erstattes med utvalgsstandardavviket $S$, følger $\frac{\bar{X}-\mu}{S/\sqrt{n}}$ en $t$-fordeling med $n-1$ frihetsgrader.

Eksempel 1 — Gjennomsnitt:

Et utvalg på $n=36$ målinger har $\mu=50$ og $\sigma=12$. Finn $P(\bar{X}>53)$.

Standardfeil: $\sigma_{\bar X}=\frac{12}{\sqrt{36}}=2$.

$$z=\frac{53-50}{2}=1{,}5$$

$$P(\bar{X}>53)=P(Z>1{,}5)=1-\Phi(1{,}5)=1-0{,}9332=0{,}0668.$$

Det er altså ca. $6{,}7\%$ sannsynlighet for at gjennomsnittet overstiger $53$.

Normaltilnærming av binomisk og Poisson

En binomisk variabel $X\sim\text{Bin}(n,p)$ er en sum av $n$ u.i.f. indikatorer, så ved CLT er $X\approx N(np,\,np(1-p))$ når $np\geq 5$ og $n(1-p)\geq 5$. En Poisson$(\lambda)$-variabel kan ses som en sum og tilnærmes med $N(\lambda,\lambda)$ for stor $\lambda$.

Siden disse er diskrete (heltallige) men normalfordelingen er kontinuerlig, brukes kontinuitetskorreksjon:

$$P(X\leq k)\approx P\!\left(Y\leq k+\tfrac{1}{2}\right),\qquad P(X\geq k)\approx P\!\left(Y\geq k-\tfrac{1}{2}\right).$$

Eksempel 2 — Binomisk med kontinuitetskorreksjon:

En mynt kastes $n=100$ ganger. La $X$ = antall kron, $X\sim\text{Bin}(100;0{,}5)$. Finn $P(X\geq 60)$.

$\mu=np=50$, $\sigma=\sqrt{np(1-p)}=\sqrt{100\cdot 0{,}25}=5$.

Med kontinuitetskorreksjon (nedre grense $60-0{,}5=59{,}5$):

$$z=\frac{59{,}5-50}{5}=1{,}9$$

$$P(X\geq 60)\approx P(Z>1{,}9)=1-\Phi(1{,}9)=1-0{,}9713=0{,}0287.$$

Eksempel 3 — Poisson-normaltilnærming:

Antall kunder i en kø følger Poisson$(\lambda=64)$. Finn $P(X\leq 70)$.

$\mu=\lambda=64$, $\sigma=\sqrt{64}=8$.

Med kontinuitetskorreksjon (øvre grense $70+0{,}5=70{,}5$):

$$z=\frac{70{,}5-64}{8}=0{,}8125\approx 0{,}81$$

$$P(X\leq 70)\approx \Phi(0{,}81)\approx 0{,}791.$$

Estimering av andeler

En estimert andel $\hat{p}=X/n$ er et gjennomsnitt av indikatorvariabler med varians $p(1-p)$. Ved CLT er $\hat{p}\approx N\!\left(p,\frac{p(1-p)}{n}\right)$, med standardfeil $\operatorname{SE}(\hat{p})=\sqrt{p(1-p)/n}$. Dette er grunnlaget for konfidensintervall for andeler i meningsmålinger.

Studieguide: Sentralgrenseteoremet

Studieguide: Sentralgrenseteoremet