Empiriske mål

Deskriptiv statistikk beskriver DATA, ikke populasjonen. Sentraltendens måles med

$$\bar{x}=\frac{1}{n}\sum_{i=1}^n x_i \qquad\text{og medianen (den midterste verdien)},$$

og spredning med den empiriske variansen, der regneformelen sparer mye tid:

$$s^2=\frac{1}{n-1}\left(\sum x_i^2-\frac{\left(\sum x_i\right)^2}{n}\right).$$

Regneeksempel:

Data $3,7,4,9,5,4,12$: $\sum x_i=44$, $\sum x_i^2=340$, $n=7$. Da er $\bar{x}=6{,}29$, $s^2=(340-276{,}57)/6=10{,}57$ og $s=3{,}25$. Sortert: $3,4,4,5,7,9,12$, så medianen er $x_{(4)}=5$.

Divisoren $n-1$ skyldes at avvikene $x_i-\bar{x}$ summerer til null: bare $n-1$ av dem er frie. Uten korreksjonen ville $S^2$ vært systematisk for lav.

Ved lineære transformasjoner: $\overline{a+bx}=a+b\bar{x}$, $s_{a+bx}=|b|s_x$ og $s^2_{a+bx}=b^2s^2_x$. Forskyvning påvirker altså bare sentraltendensen, skalering bare spredningen.

Kvantiler, ordningsvariabler og robusthet

$x_{(k)}$ er den $k$-te minste observasjonen. Medianen er $x_{((n+1)/2)}$ for odde $n$, og gjennomsnittet av de to midterste for like $n$. Kvartilene $q_{0{,}25}$ og $q_{0{,}75}$ gir kvartilbredden $\text{IQR}=q_{0{,}75}-q_{0{,}25}$, som dekker de midtre $50\,\%$.

Gjennomsnitt og standardavvik er svært følsomme for uteliggere (de veier alle observasjoner, og standardavviket kvadrerer avvikene). Median, kvartiler og IQR er robuste. Endrer man den største verdien i eksempelet over fra 12 til 120, stiger gjennomsnittet fra $6{,}29$ til $21{,}71$ mens medianen står urokket på 5.

Den empiriske fordelingsfunksjonen $\hat{F}(x)=\frac{1}{n}\#\{i: x_i\le x\}$ er en trappefunksjon som er forventningsrett for $F(x)$, siden $n\hat{F}(x)\sim\text{bin}(n,F(x))$.

Boksplott

De fem elementene er: nedre værhår, nedre kvartil, median, øvre kvartil og øvre værhår. Punkter utenfor $q_{0{,}25}-1{,}5\,\text{IQR}$ og $q_{0{,}75}+1{,}5\,\text{IQR}$ markeres som mulige uteliggere. Ligger medianstreken nær bunnen av boksen og den øvre halen er lang, er fordelingen HØYRESKJEV — og da er typisk $\bar{x}>$ median.

Med parallelle boksplott kan du sammenligne sentraltendens, spredning, skjevhet og uteliggere mellom grupper. Du kan IKKE lese av antall observasjoner, og du kan ikke avgjøre statistisk signifikans — det krever en formell test eller et konfidensintervall.

Histogram og anslag fra figur

Histogrammet er den empiriske motsvarigheten til tettheten. Symmetrisk og klokkeformet peker mot normalfordeling; monotont avtakende fra null med lang høyrehale peker mot eksponentialfordeling; to topper peker mot en blanding av to delpopulasjoner.

Anslagsregelen:

Nesten all masse i en normalfordeling ligger innenfor $\mu\pm 3\sigma$. Dekker et histogram om lag 12 enheter, er $6\sigma\approx 12$ og $\sigma\approx 2$. Denne begrunnelsen MÅ skrives ned — et anslag uten begrunnelse gir lite uttelling.

Spredningsplott og korrelasjon

Empirisk korrelasjon $r=S_{xy}/\sqrt{S_{xx}S_{yy}}$ måler bare LINEÆR samvariasjon. Den er $\pm 1$ hvis og bare hvis punktene ligger på en rett linje, med fortegn lik stigningstallets. En symmetrisk parabelsammenheng gir $r\approx 0$ til tross for full avhengighet — derfor må man alltid plotte. Og samvariasjon er aldri i seg selv bevis for årsakssammenheng.

Residualplott og modellsjekk

Residualplottet (residualene $e_i=y_i-\hat{y}_i$ mot $\hat{y}_i$ eller $x_i$) er det viktigste diagnoseverktøyet i regresjon:

Strukturløs sky $\Rightarrow$ modellen passer. Tydelig U-form $\Rightarrow$ gjennomsnittsstrukturen er feil (legg til $x^2$-ledd eller transformer). Traktform $\Rightarrow$ variansen er ikke konstant (transformer responsen eller bruk veid regresjon). Lange perioder over og under null når residualene plottes mot tid $\Rightarrow$ avhengighet.

Normalantakelsen sjekkes med et normalsannsynlighetsplott (QQ-plott): de sorterte residualene mot normalkvantilene $\Phi^{-1}\!\left(\frac{i-0{,}5}{n}\right)$. Rett linje betyr normalitet; krumning i én ende betyr skjevhet, S-form betyr tunge haler.

Deskriptivt kontra teoretisk

Skill konsekvent mellom parameteren ($\mu$, $\sigma^2$ — faste og ukjente), estimatoren ($\bar{X}$, $S^2$ — stokastiske variabler) og estimatet ($\bar{x}$, $s^2$ — konkrete tall). Å skrive «$\bar{x}=52{,}3$, altså er $\mu=52{,}3$» skjuler hele usikkerheten; riktig er «punktestimatet er $\hat\mu=52{,}3$ med standardfeil $s/\sqrt{n}$».

Studieguide: Deskriptiv statistikk og dataplott

Studieguide: Deskriptiv statistikk og dataplott