Hva er en pivotal størrelse?

En pivotal størrelse $Q(X_1,\dots,X_n;\theta)$ er en funksjon av BÅDE data og parameter der fordelingen til $Q$ ikke avhenger av $\theta$ (eller noen annen ukjent størrelse). Begge kravene er nødvendige: uten $\theta$ i uttrykket kan vi ikke løse ut for den, og med ukjente parametre i fordelingen kan vi ikke slå opp kvantilene.

Standardpivotalene:

$\dfrac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$; $\dfrac{\bar{X}-\mu}{S/\sqrt{n}}\sim t_{n-1}$; $\dfrac{(n-1)S^2}{\sigma^2}\sim\chi^2_{n-1}$; $2\lambda\sum X_i\sim\chi^2_{2n}$ for eksponentialfordelte data; $\dfrac{\hat{\beta}_1-\beta_1}{S/\sqrt{S_{xx}}}\sim t_{n-2}$.

Å bygge en pivotal fra bunnen

Dette er den mest karakteristiske oppgavetypen på TMA4245. Mønsteret er alltid det samme:

1) Finn en transformasjon av ÉN observasjon som gir $\chi^2_2$. For eksponentialfordeling: $2\lambda X\sim\chi^2_2$. For en levetid med $F(t)=1-e^{-zt^2/\theta}$: $V=2zT^2/\theta\sim\chi^2_2$, siden $P(V\le v)=1-e^{-v/2}$.

2) Summer over de $n$ uavhengige observasjonene. Frihetsgrader adderes, så $U=\sum_{i=1}^n V_i\sim\chi^2_{2n}$.

3) Snu sannsynlighetsutsagnet til et intervall.

Fra pivotal til konfidensintervall

Med konvensjonen at $\chi^2_{\alpha,\nu}$ har areal $\alpha$ til HØYRE:

$$P\left(\chi^2_{1-\alpha/2,\,2n}\le \frac{2\sum z_iT_i^2}{\theta}\le \chi^2_{\alpha/2,\,2n}\right)=1-\alpha.$$

Her står $\theta$ i NEVNEREN, så ulikhetene snur når vi isolerer den:

$$\left(\frac{2\sum z_it_i^2}{\chi^2_{\alpha/2,\,2n}},\ \frac{2\sum z_it_i^2}{\chi^2_{1-\alpha/2,\,2n}}\right).$$

For $\sigma^2$ i normalfordelingen blir resultatet tilsvarende $\left(\frac{(n-1)s^2}{\chi^2_{\alpha/2,n-1}},\ \frac{(n-1)s^2}{\chi^2_{1-\alpha/2,n-1}}\right)$. Med $n=10$ og $s=4{,}5$ er $(n-1)s^2=182{,}25$, og med $\chi^2_{0{,}025,9}=19{,}023$, $\chi^2_{0{,}975,9}=2{,}700$ får vi $(9{,}58;\ 67{,}50)$, altså $\sigma\in(3{,}10;\ 8{,}22)$.

Intervallet er IKKE symmetrisk om $s^2$, fordi $\chi^2$-fordelingen er høyreskjev. Et intervall for en monoton funksjon av parameteren fås ved å transformere grensene — men husk at grensene BYTTER plass ved en avtakende funksjon (f.eks. medianen $\ln 2/\lambda$).

Eksakt kontra tilnærmet

Finnes en pivotal med kjent fordeling, gir den EKSAKT dekning $1-\alpha$ for alle $n$. Finnes ingen, brukes sentralgrenseteoremet: $(\hat\theta-\theta)/\widehat{\text{SE}}\approx N(0,1)$, som gir $\hat\theta\pm z_{\alpha/2}\widehat{\text{SE}}$. Det tilnærmede intervallet kan underdekke kraftig for små $n$ — noe som selv kan undersøkes ved simulering.

Dualitet med hypotesetest

Konfidensintervallet består nøyaktig av de $\theta_0$-verdiene som IKKE forkastes av den tosidige testen på nivå $\alpha$. Begge bygger på samme pivotal og samme to kvantiler, så konklusjonene kan aldri motsi hverandre.

Prediksjonsintervall

Et konfidensintervall dekker en fast, ukjent PARAMETER. Et prediksjonsintervall dekker en framtidig, STOKASTISK observasjon, og må derfor ta høyde for to kilder til usikkerhet:

$$\text{Var}(X_0-\bar{X})=\sigma^2+\frac{\sigma^2}{n}=\sigma^2\left(1+\frac{1}{n}\right).$$

Med $X_0-\bar{X}$ uavhengig av $S^2$ blir pivotalen $t$-fordelt, og intervallet er

$$\bar{x}\pm t_{\alpha/2,\,n-1}\,s\sqrt{1+\frac{1}{n}}.$$

For $n=12$, $\bar{x}=248{,}5$ og $s=6{,}2$ blir prediksjonsintervallet $[234{,}30;\ 262{,}70]$ mot konfidensintervallet $[244{,}56;\ 252{,}44]$ — en faktor $\sqrt{n+1}=\sqrt{13}=3{,}6$ i bredde. Når $n\to\infty$ krymper konfidensintervallet mot null, mens prediksjonsintervallet nærmer seg $\pm z_{\alpha/2}\sigma$ og forblir bredt.

Prediksjon i regresjon

$$\text{Var}(\hat{Y}_0-Y_0)=\sigma^2\left(1+\frac{1}{n}+\frac{(x_0-\bar{x})^2}{S_{xx}}\right),$$

som gir $\hat{y}_0\pm t_{\alpha/2,n-2}\,s\sqrt{1+\frac1n+\frac{(x_0-\bar{x})^2}{S_{xx}}}$. Uten ettallet er dette konfidensintervallet for forventet respons $\mu_{Y\mid x_0}$. Begge båndene er smalest i $\bar{x}$ og utvider seg utover — derav timeglassformen i figurer. Konfidensbåndet ligger tett inntil linja og inneholder få datapunkter; prediksjonsbåndet omslutter om lag $95\,\%$ av dem.

Studieguide: Pivotale størrelser og prediksjonsintervall