Oversikt

Sentralgrenseteoremet er broen mellom sannsynlighetsdelen og statistikkdelen av kurset. På eksamen opptrer det sjelden med navnet sitt i en overskrift, men nesten alltid som et deloppgave-spørsmål: «forklar kort hvorfor \(\hat p\) er tilnærmet normalfordelt», «forklar hvorfor du kan bruke tilnærmingen \(\hat\lambda\sim N(4;\,4/50)\)», «vær klar på hvilke forutsetninger du gjør». Det er også forutsetningen som gjør konfidensintervaller og hypotesetester gyldige uten at man antar noe om formen på dataene.

Utvalgsfordelingen til gjennomsnittet

La \(X_1,\dots,X_n\) være uavhengige og identisk fordelte med forventning \(\mu\) og endelig varians \(\sigma^{2}\). Vi vet fra regnereglene at

\[ E(\bar X)=\mu,\qquad \mathrm{Var}(\bar X)=\frac{\sigma^{2}}{n}. \]

Dette gjelder uansett fordeling. Sentralgrenseteoremet legger til formen: når \(n\) blir stor, er

\[ \bar X \approx N\!\left(\mu,\ \frac{\sigma^{2}}{n}\right),\qquad\text{ekvivalent}\qquad Z=\frac{\bar X-\mu}{\sigma/\sqrt n}\approx N(0,1). \]

Det avgjørende poenget: det er fordelingen til estimatoren som blir normal, ikke fordelingen til dataene. Inntektsdata kan være svært høyreskjeve, men gjennomsnittet av 200 inntekter er likevel tilnærmet normalfordelt. Det er en av de mest misforståtte tingene i kurset.

Hvorfor det virker

Intuisjonen: \(\bar X\) er en sum av mange uavhengige bidrag, hver skalert ned med \(1/n\). Ekstreme verdier i én retning blir jevnet ut av verdier i motsatt retning, og resultatet konsentreres symmetrisk rundt \(\mu\). Jo flere ledd, jo mer symmetrisk og klokkeformet blir fordelingen.

Kravene er beskjedne: (i) observasjonene er uavhengige, (ii) de har samme fordeling, (iii) variansen er endelig. Særlig punkt (i) er verdt å sjekke — er observasjonene gruppert eller korrelert over tid, holder teoremet ikke i den formen vi bruker det.

Hvor stor må \(n\) være?

Det finnes ingen absolutt grense, men tre tommelfingerregler:

Er dataene tilnærmet symmetriske, holder \(n\approx 15\text{–}20\).
Er dataene moderat skjeve, trenger man \(n\approx 30\text{–}50\).
Er dataene sterkt skjeve eller har tunge haler (typisk inntekt og formue), kan man trenge flere hundre.

Eksamen tester dette direkte. En oppgave gir \(n=25\) og krever at antall arbeidstimer er normalfordelt for at \(t\)-testen skal være gyldig. Så sier «en venn» at med \(n=60\) trenger man ikke lenger antakelsen. Det er i hovedsak riktig: med \(n=60\) gjør sentralgrenseteoremet at \(\bar X\) er tilnærmet normalfordelt, så konklusjonen holder også uten normalitetsantakelsen — men forbeholdet er at dataene ikke må være ekstremt skjeve.

Andeler

En andel \(\hat p=X/n\) med \(X\sim\mathrm{bin}(n,p)\) er ikke annet enn et gjennomsnitt av \(n\) uavhengige 0/1-variabler. Hver av dem har forventning \(p\) og varians \(p(1-p)\), så

\[ E(\hat p)=p,\qquad \mathrm{Var}(\hat p)=\frac{p(1-p)}{n},\qquad \hat p\approx N\!\left(p,\ \frac{p(1-p)}{n}\right). \]

Gjennomregnet eksempel. Du kaster en mynt \(n=200\) ganger og estimerer \(p\) med \(\hat p=X/n\). Hvis \(p=0{,}5\), er

\[ \mathrm{Var}(\hat p)=\frac{0{,}25}{200}=0{,}00125,\qquad SD(\hat p)=0{,}035355. \]

Da er

\[ P(\hat p\ge 0{,}6)\approx P\!\left(Z\ge\frac{0{,}6-0{,}5}{0{,}035355}\right)=P(Z\ge 2{,}83)=1-0{,}9977=0{,}0023. \]

Den eksakte verdien får du i R med 1 - pbinom(119, 200, 0.5), som gir 0,0028. Tilnærmingen treffer godt.

Hvor mange kast trengs for at \(P(\hat p\ge 0{,}6)\le 0{,}01\) når \(p=0{,}5\)? Vi krever

\[ \frac{0{,}6-0{,}5}{0{,}5/\sqrt n}\ge z_{0{,}01}=2{,}326 \;\Longrightarrow\; \sqrt n\ge \frac{2{,}326\cdot 0{,}5}{0{,}1}=11{,}63 \;\Longrightarrow\; n\ge 136. \]

Normaltilnærming til diskrete fordelinger

Binomisk. \(X\sim\mathrm{bin}(n,p)\) kan tilnærmes med \(N(np,\ np(1-p))\) når både \(np\) og \(n(1-p)\) er tilstrekkelig store (vanlig krav: minst 5–10 av hver). Er \(np\) liten mens \(n\) er stor, er Poisson en bedre tilnærming.

Poisson. For \(X_i\sim\mathrm{Poisson}(\lambda)\) og \(\hat\lambda=\bar X\) er \(E(\hat\lambda)=\lambda\) og \(\mathrm{Var}(\hat\lambda)=\lambda/n\), så

\[ \hat\lambda\approx N\!\left(\lambda,\ \frac{\lambda}{n}\right). \]

Gjennomregnet eksempel. Du drar på \(n=50\) fisketurer, og antall fisk per tur er Poisson med \(\lambda=4\). Da er \(\hat\lambda\approx N(4;\,0{,}08)\) med \(SD=0{,}2828\), og

\[ P(\hat\lambda\le 3{,}5)\approx P\!\left(Z\le\frac{3{,}5-4}{0{,}2828}\right)=P(Z\le -1{,}77)=0{,}0384. \]

Eksakt: \(\sum_{i}X_i\sim\mathrm{Poisson}(200)\), og \(\hat\lambda\le 3{,}5\) svarer til \(\sum X_i\le 175\). I R: ppois(175, 200), som gir 0,0394. Tilnærmingen er god.

Simulering som verktøy

Sentralgrenseteoremet er lett å demonstrere i R, og eksamen har spurt om nettopp dette:

set.seed(2130)
sim <- replicate(10000, mean(rnorm(169, mean = 5.5, sd = 1.3)))
var(sim)

Her er det teoretiske svaret \(\mathrm{Var}(\bar X)=1{,}3^{2}/169=0{,}01\), og simuleringen gir noe nær det (for eksempel 0,00989). Poenget er å kunne si hva det teoretiske motstykket til et simulert tall er, og om avviket ligger innenfor simuleringsstøyen. For et variansestimat basert på \(M\) gjentakelser er den relative usikkerheten omtrent \(\sqrt{2/M}\), altså 1,4 % ved \(M=10\,000\).

Hva sentralgrenseteoremet ikke gir deg

Det sier ingenting om enkeltobservasjoner. Skal du finne sannsynligheten for at én tilfeldig husholdning har inntekt over 800 000, må du kjenne fordelingen til inntekt — sentralgrenseteoremet hjelper ikke. Det sier heller ingenting om medianen eller andre kvantiler, og det redder deg ikke fra avhengighet mellom observasjonene.

Studieguide: Sentralgrenseteoremet

Studieguide: Sentralgrenseteoremet