Oversikt

Fra og med 2021 er R den eneste tillatte kalkulatoren på ECON2130-eksamen: personlige vitenskapelige kalkulatorer er ikke lenger tillatt, og oppgavesettet er åpen bok. Dette har endret oppgavesettene grunnleggende. I 13 av de 14 settene fra 2018 til 2026 forekommer R-kode eller R-utskrift, og i flere av dem utgjør R-relaterte deloppgaver en stor del av settet. Emnebeskrivelsen har «statistiske beregninger» som et av tre hovedtemaer, med databehandling, simulering, Monte Carlo-analyse og grafisk framstilling.

Å lese en summary()-utskrift

> summary(inntekt)
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max.
  220.0   303.8   352.5   433.6   455.0  1400.0
> var(inntekt)
[1] 55210.24
> length(inntekt)
[1] 40

Hva du kan lese ut: minste og største observasjon; medianen (50 % ligger under 352,5); kvartilene (25 % under 303,8, 75 % under 455,0); og gjennomsnittet 433,6.

Kvartilbredde: \(IQR=455{,}0-303{,}8=151{,}2\). De midterste 50 % ligger innenfor et spenn på 151 200 kr.

Form: gjennomsnittet ligger klart over medianen, og avstanden opp til maksimum (1047,5) er langt større enn ned til minimum (132,5). Fordelingen er tydelig høyreskjev — et typisk mønster for inntekt. Konsekvensen er at normalfordelingen er en dårlig tilnærming til fordelingen av enkeltobservasjonene.

Videre til inferens: \(s=\sqrt{55\,210{,}24}=234{,}97\) og \(\widehat{SE}(\bar X)=234{,}97/\sqrt{40}=37{,}15\). Med \(t_{0{,}025;39}=2{,}0227\) blir 95 %-intervallet \(433{,}6\pm 75{,}14=[358{,}5;\ 508{,}7]\).

Skill \(s\) fra \(SE\): \(s=234{,}97\) sier at en tilfeldig husholdning typisk avviker 235 000 kr fra gjennomsnittet. \(SE=37{,}15\) sier at gjennomsnittet av 40 husholdninger typisk varierer 37 000 kr fra utvalg til utvalg. \(s\) krymper ikke med \(n\); \(SE\) gjør det, som \(1/\sqrt n\).

Persentiler og ulikhetsmål

> quantile(d[["inntekt"]][d[["aar"]] == 2010], p = c(.2, .8))
 20%  80%
 230  560

Tallet 560 er 80-persentilen: 80 % ligger under, 20 % over. Forholdstallet \(P_{80}/P_{20}=560/230=2{,}435\) sier hvor mange ganger høyere inntekt man har ved grensen til den øvre femtedelen enn ved grensen til den nedre.

Persentilforhold er relative mål og upåvirket av at alle inntekter skaleres med samme faktor. \(P_{90}/P_{10}\) er mer informativt om halene, men estimeres mer usikkert fordi ytterpersentiler bygger på færre nærliggende observasjoner.

Figurer og hva de viser

Histogram viser formen: antall topper, skjevhet, hvor massen ligger.

hist(d[["inntekt"]], breaks = 15,
     main = "Fordeling av inntekt", xlab = "Inntekt (1000 kr)")

Boksplott viser kvartiler og uteliggere. Boksen går fra \(Q_1\) til \(Q_3\), streken er medianen, og værhårene når den mest ekstreme observasjonen innenfor \(1{,}5\cdot IQR\) fra boksenden. Punkter utenfor tegnes enkeltvis. Ved høyreskjevhet ligger medianstreken nær bunnen av boksen. Boksplottet skjuler antall topper — to helt ulike fordelinger kan ha nesten identiske boksplott.

boxplot(inntekt ~ region, data = d,
        xlab = "Region", ylab = "Inntekt (1000 kr)")

Spredningsdiagram viser sammenhengen mellom to variabler, og avslører om den er lineær eller buet, og om ett punkt dominerer.

plot(d[["utdanning"]], d[["inntekt"]],
     xlab = "Utdanning (aar)", ylab = "Inntekt (1000 kr)", pch = 20)
cor(d[["utdanning"]], d[["inntekt"]])

Median eller gjennomsnitt?

Medianen påvirkes bare av rangeringen, gjennomsnittet av tallverdiene. Får den rikeste husholdningen i et utvalg på 40 en engangsgevinst på 50 millioner, endres medianen ikke i det hele tatt, mens gjennomsnittet øker med \(50\,000/40=1250\) (i tusen kroner) — altså 1,25 millioner.

Medianen er derfor best til å beskrive «typisk» nivå i skjeve fordelinger, og er det offentlig statistikk normalt rapporterer. Men bare gjennomsnittet kan brukes til å regne totaler (\(\text{total}=n\bar x\)), og bare for gjennomsnittet har vi enkel inferensteori (\(SE\), konfidensintervall, \(t\)-test). For medianen bruker man gjerne simulering. En eksamensoppgave har spurt eksplisitt om å drøfte om en test basert på medianer er bedre eller dårligere enn en basert på gjennomsnitt, og om å finne forkastningsgrensen for medianen ved simulering.

Simulering og Monte Carlo

Oppskriften er fast:

set.seed(2130)
sim <- replicate(10000, mean(rnorm(25, 10, 3)))
var(sim)
mean(sim > 11)

set.seed gjør resultatet reproduserbart. rnorm(25, 10, 3) trekker 25 verdier fra \(N(10;\,9)\) — tredje argument er standardavvik. replicate gjentar og samler, så sim er en simulert utvalgsfordeling for \(\bar X\) ved \(n=25\).

Teoretiske motstykker. \(\mathrm{Var}(\bar X)=\sigma^{2}/n=9/25=0{,}36\), og \(SD(\bar X)=0{,}6\). Videre er

\[ P(\bar X>11)=P\!\left(Z>\frac{11-10}{0{,}6}\right)=1-\Phi(1{,}667)=0{,}0478. \]

mean(sim > 11) gir andelen TRUE i en logisk vektor, altså et estimat på denne sannsynligheten. Presisjonen er \(SE=\sqrt{p(1-p)/M}\); med \(M=100\,000\) og \(p\approx 0{,}048\) blir det 0,00068. Nøyaktigheten forbedres som \(1/\sqrt M\), så \(M\) må firedobles for å halvere usikkerheten.

Simulering av teststyrke er en gjenganger. Nøkkelen er at den kritiske grensen beregnes under \(H_0\), mens dataene trekkes under den sanne verdien:

set.seed(2130)
krit <- 10 + qnorm(0.95) * 3 / sqrt(25)
forkast <- replicate(10000, mean(rnorm(25, mean = 11, sd = 3)) > krit)
mean(forkast)

Her er den analytiske styrken 0,509, og simuleringen bør treffe det med usikkerhet 0,005.

Gruppevis statistikk

> dstats <- function(x) c(mean = mean(x), sd = sd(x), n = length(x))
> aggregate(timer ~ student, data = d, FUN = dstats)
  student timer.mean timer.sd  timer.n
1       0   36.40000  8.20000 240.0000
2       1   14.75000  6.50000 160.0000

Formelen timer ~ student betyr «timer gruppert etter student». Totalgjennomsnittet må vektes med gruppestørrelsene:

\[ \bar x=\frac{240\cdot 36{,}40+160\cdot 14{,}75}{400}=\frac{11\,096}{400}=27{,}74. \]

Det uvektede snittet 25,575 er feil. Fra denne utskriften kan du gå direkte videre til en test:

\[ SE=\sqrt{\frac{67{,}24}{240}+\frac{42{,}25}{160}}=\sqrt{0{,}54423}=0{,}7377,\qquad z=\frac{21{,}65}{0{,}7377}=29{,}35. \]

Nyttige kommandoer

read.csv("fil.csv") — les inn data. Kolonner hentes med d[["navn"]].
ifelse(x >= 30, 1, 0) — elementvis indikatorvariabel. mean() av den gir andelen.
table(x) og table(x, y) — opptelling og krysstabell. barplot(table(x)) gir søylediagram.
pnorm, qnorm, pbinom, ppois, pt, qt — fordelinger og kvantiler.
rnorm, rbinom, rpois, sample — trekking av tilfeldige verdier.
t.test(x, mu = 15) og t.test(x, y, var.equal = TRUE) — ferdige tester.

Fra beskrivelse til inferens

Deskriptiv statistikk beskriver utvalget. Spørsmålet på eksamen er nesten alltid om mønsteret også gjelder i populasjonen, og til det trengs standardfeilen. Rekkefølgen er alltid: les utskriften, trekk ut \(\bar x\), \(s\) og \(n\), regn \(SE\), og gå så til konfidensintervall eller test. Er observasjonene ikke uavhengige — gruppert, gjentatte målinger, tett i tid — holder ikke \(s/\sqrt n\), og standardfeilen blir systematisk for liten.

Studieguide: Deskriptiv statistikk og R