STK1110 · UiO

Studieguide for STK1110 Statistiske metoder og dataanalyse

Komplett pensumoversikt for statistiske metoder og dataanalyse ved UiO — med forklaringer, sentrale begreper, eksamenstips og vanlige fallgruver. Eksamensoptimalisert basert på tidligere eksamener.

Introduksjon

STK1110 Statistiske metoder og dataanalyse avsluttes med en skriftlig eksamen i desember: 4 timer, godkjent kalkulator og Formelsamling for STK1110 (H2022–H2025). Denne guiden er bygd på alle 22 eksamenssett fra H2004 til H2025 og UiOs løsningsforslag for H2007–H2025, og alle frekvenser under er talt i settene.

Eksamen har hatt samme skjelett i 9 av 9 sett siden 2017:

Estimering — en tetthet er oppgitt, og du skal finne momentestimator, sannsynlighetsmaksimeringsestimator (MLE), Fisher-informasjon og den tilnærmede fordelingen til MLE, ofte med et konfidensintervall eller en sammenligning av estimatorer til slutt. H2022 og H2025 avsluttet med en bayesiansk analyse.
Regresjon med R-utskrift — du får summary(lm(...)) og residualplott, skal tolke estimatene, lage konfidensintervall for $\beta_1$ , vurdere modellantakelsene og forklare hva som skjer når en ny forklaringsvariabel eller et kvadratisk ledd tas med.
Konfidensintervall og test for én forventning (t-intervall, t-test, P-verdi avgrenset fra en t-tabell) eller sammenligning av to grupper (to-utvalg t, F-test for varianser, Welch, enveis variansanalyse).

42 % av deloppgavene siden 2017 er utledninger («Vis at», «Utled»), 32 % regning og 25 % tolkning («Forklar», «Kommenter»). Guiden har én seksjon per tema, ordnet etter dette skjelettet, med eksempler i eksamensform og egne data.

Estimering: moment- og ML-estimatorer

Eksamensrelevant

Momentestimator og maksimum likelihood-estimator utledet steg for steg, med kontroll av maksimum, forventningsretthet og invarians. Oppgavetypen står i alle ni eksamenssettene 2017–2025.

Hva eksamen spør om

Estimeringsoppgaven er fast inventar: den står i alle 9 settene 2017–2025 og i 21 av 22 sett siden 2004. Den har nesten alltid samme gang: momentestimator, så maksimum likelihood, så egenskaper ved estimatoren (og derfra videre til Fisher-informasjon, se Likelihoodteori).

Utled MLE (sett opp likelihood og log-likelihood, deriver, løs): i 9 av 9 sett 2017–2025, sist H2025 1b. Typisk ber settet deg først sette opp likelihood og log-likelihood og så vise at MLE har en oppgitt form (H2022 2a).
Momentestimator: i 6 av 9 sett 2017–2025, sist H2025 1a. H2024 1b ba i tillegg om å kommentere at momentmetoden ikke gir et entydig svar.
Forventningsrett og varians til en estimator: 3 av 9 sett 2017–2025 (H2018 1a, H2023 2b, H2025 1a), som regel med «vis at» og i H2023 som «beregn forventning og varians for ML-estimatet».
Invarians: MLE for en funksjon av parameteren (H2022 2d).
Tall inn i estimatoren fra oppgitte summer (H2024 1e, H2025 1d). Settene gir $\sum x_i$ eller $\sum \ln x_i$ , ikke rådataene.

Slik gjør du det

Momentestimator.

Skriv opp $E(X)$ som funksjon av parameteren (den er som regel oppgitt).
Sett $E(X)=\bar X$ og løs for parameteren. Med to ukjente trengs også $E(X^2)=\tfrac1n\sum X_i^2$ .
Skriv svaret med store bokstaver ( $\tilde\theta=g(\bar X)$ ): det er en estimator, altså en stokastisk variabel.

Maksimum likelihood.

$L(\theta)=\prod_{i=1}^n f(x_i;\theta)$ , med alle ledd (H2023 2a trakk for utelatte konstanter i selve likelihooden).
$\ell(\theta)=\ln L(\theta)$ : produkt blir sum, konstanter kan nå skilles ut.
Løs $\ell'(\theta)=0$ .
Vis at det er et maksimum: $\ell''(\hat\theta)<0$ , eller at $\ell'$ skifter fra positiv til negativ.
Bytt $x_i$ med $X_i$ når oppgaven spør etter estimatoren.

Eksempel 1 (moment og MLE, halvnormal modell). En robotarm plasserer komponenter på kretskort. La $X$ være avstanden i mm, i absoluttverdi, mellom plasseringen og målpunktet langs én akse. Vi antar at $X_1,\dots,X_n$ er uavhengige med tetthet $f(x;\sigma)=\sqrt{2/\pi}\,\sigma^{-1}e^{-x^2/(2\sigma^2)}$ for $x>0$ , og det er oppgitt at $E(X)=\sigma\sqrt{2/\pi}$ . Ti målinger: 2,43 1,62 0,43 0,19 0,08 1,98 0,41 1,89 0,80 0,17, med $\sum x_i=10{,}00$ og $\sum x_i^2=17{,}0862$ . Finn momentestimatoren og MLE, og regn ut begge estimatene.

Momentlikningen $\sigma\sqrt{2/\pi}=\bar X$ gir $\tilde\sigma=\bar X\sqrt{\pi/2}$ .
Likelihood: $\begin{aligned} L(\sigma) &=\prod_{i=1}^n \sqrt{2/\pi}\,\sigma^{-1}e^{-x_i^2/(2\sigma^2)}\\ &=(2/\pi)^{n/2}\sigma^{-n}\exp\!\big(-\tfrac{1}{2\sigma^2}\sum x_i^2\big) \end{aligned}$
Log-likelihood: $\ell(\sigma)=\tfrac n2\ln(2/\pi)-n\ln\sigma-\dfrac{\sum x_i^2}{2\sigma^2}$ .
Derivert: $\ell'(\sigma)=-\dfrac n\sigma+\dfrac{\sum x_i^2}{\sigma^3}=0$ gir $\sigma^2=\tfrac1n\sum x_i^2$ , altså $\hat\sigma=\sqrt{\tfrac1n\sum X_i^2}$ .
Maksimum: $\ell''(\sigma)=\dfrac{n}{\sigma^2}-\dfrac{3\sum x_i^2}{\sigma^4}$ . Med $\sum x_i^2=n\hat\sigma^2$ blir $\ell''(\hat\sigma)=\dfrac{n}{\hat\sigma^2}-\dfrac{3n}{\hat\sigma^2}=-\dfrac{2n}{\hat\sigma^2}<0$ .
Tall: $\bar x=1{,}000$ gir $\tilde\sigma=1{,}000\cdot\sqrt{\pi/2}=1{,}253$ , og $\hat\sigma=\sqrt{17{,}0862/10}=\sqrt{1{,}70862}=1{,}307$ .

Svar: $\tilde\sigma=\bar X\sqrt{\pi/2}$ og $\hat\sigma=\sqrt{\tfrac1n\sum X_i^2}$ . Estimatene er $\tilde\sigma=1{,}253$ mm og $\hat\sigma=1{,}307$ mm. De er ulike fordi momentestimatoren bruker $\sum x_i$ , mens MLE bruker $\sum x_i^2$ .

Relativ likelihood L(σ)/L(σ̂) for de ti avstandsmålingene: toppunkt 1 i σ̂ = 1,307, mens momentestimatet σ̃ = 1,253 gir 0,98

Figuren viser den relative likelihooden $L(\sigma)/L(\hat\sigma)$ . Toppen (verdi 1) ligger i $\hat\sigma$ . Momentestimatet gir 98 % av den største likelihooden, men ikke den største.

Forventningsrett og varians. Settene spør om dette for estimatorer som er lineære i $\bar X$ .

$E(\bar X)=E(X)$ (linearitet), så $\bar X$ er forventningsrett for $E(X)$ .
$\operatorname{Var}(\bar X)=\operatorname{Var}(X)/n$ (uavhengighet).
En ikke-lineær funksjon $g(\bar X)$ er som regel ikke forventningsrett for $g(E X)$ . Er $g$ strengt konveks, gir Jensens ulikhet $E\,g(\bar X)>g(E\bar X)$ .

Invarians. Er $\hat\theta$ MLE for $\theta$ , er $g(\hat\theta)$ MLE for $g(\theta)$ . Du trenger ikke derivere på nytt (H2022 2d).

Eksempel 2 (moment = MLE, invarians, geometrisk modell). En kontrollør teller hvor mange feilfrie enheter som passerer før den første defekte. Tellingen gjentas 40 ganger uavhengig, og $\sum x_i=130$ . Modell: $P(X=x)=p(1-p)^x$ , $x=0,1,2,\dots$ , med $E(X)=(1-p)/p$ oppgitt. Finn moment- og ML-estimatoren for $p$ , og MLE for sannsynligheten for at minst 5 feilfrie enheter passerer før den første defekte.

Moment: $(1-p)/p=\bar X$ gir $1/p=1+\bar X$ , så $\tilde p=1/(1+\bar X)$ .
Likelihood: $L(p)=\prod p(1-p)^{x_i}=p^n(1-p)^{\sum x_i}$ , og $\ell(p)=n\ln p+\sum x_i\ln(1-p)$ .
$\ell'(p)=\dfrac np-\dfrac{\sum x_i}{1-p}=0$ gir $n(1-p)=p\sum x_i$ , altså $\hat p=\dfrac{n}{n+\sum X_i}=\dfrac1{1+\bar X}$ .
$\ell''(p)=-\dfrac n{p^2}-\dfrac{\sum x_i}{(1-p)^2}<0$ for alle $p$ , så stasjonærpunktet er globalt maksimum. Her er moment- og ML-estimatoren like.
Tall: $\hat p=40/170=0{,}235$ .
$P(X\ge5)=\sum_{x\ge5}p(1-p)^x=(1-p)^5$ (geometrisk rekke). Invarians gir MLE $(1-\hat p)^5=(130/170)^5=0{,}262$ .
Forventningsrett? $\bar X$ er forventningsrett for $(1-p)/p$ , men $g(t)=1/(1+t)$ er strengt konveks for $t>-1$ . Da gir Jensen $E(\hat p)>1/(1+E\bar X)=p$ , så $\hat p$ er ikke forventningsrett. Den er likevel konsistent, fordi $\bar X\to E(X)$ .

Svar: $\tilde p=\hat p=1/(1+\bar X)$ , med estimat 0,235. MLE for $P(X\ge5)$ er $(1-\hat p)^5=0{,}262$ . $\hat p$ er ikke forventningsrett, men den er konsistent.

Relativ likelihood L(p)/L(p̂) for 40 geometriske tellinger med sum 130: toppunkt 1 i p̂ = 0,235 og verdien 0,17 i p = 0,30

Her går det galt

Ingen sjekk av maksimum. UiOs løsningsforslag viser $\ell''<0$ eller fortegnsskifte. Et stasjonærpunkt alene er ikke et maksimum.
Likelihood uten alle ledd. Konstanter kan droppes i $\ell$ når du deriverer, men ikke i selve $L(\theta)$ når oppgaven ber deg sette den opp (H2023 2a).
Estimat og estimator blandes. Spør oppgaven etter estimatoren, skal svaret stå i $X_i$ . Tallet du regner ut, er estimatet.
Feil parameter. Deriverer du med hensyn på $\sigma^2$ , får du $\hat{\sigma}^2$ . Med invarians blir $\hat\sigma=\sqrt{\hat{\sigma}^2}$ , men svaret må gjelde den parameteren oppgaven spør om.
$n-1$ i momentmetoden. Momentmetoden bruker empiriske momenter $\tfrac1n\sum X_i^r$ , ikke $S^2$ med $n-1$ .
Tallene ikke satt inn. Når settet gir $\sum x_i$ eller $\sum\ln x_i$ , skal estimatet regnes ut med de oppgitte summene. Rådataene står sjelden i oppgaven.
Funksjoner av forventningsrette estimatorer. At $\bar X$ er forventningsrett, betyr ikke at $1/\bar X$ , $\sqrt{\bar X}$ eller $e^{\bar X}$ er det.

Nøkkelformler

•Momentmetoden: løs $E(X)=\bar X$ (og ev. $E(X^2)=\tfrac1n\sum X_i^2$ ) for parameteren
• $L(\theta)=\prod_{i=1}^n f(x_i;\theta)$ , $\ell(\theta)=\sum_{i=1}^n \ln f(x_i;\theta)$
•MLE: $\ell'(\hat\theta)=0$ og $\ell''(\hat\theta)<0$
•Invarians: MLE for $g(\theta)$ er $g(\hat\theta)$
• $E(\bar X)=\mu$ , $\operatorname{Var}(\bar X)=\sigma^2/n$
•Forventningsrett: $E(\hat\theta)=\theta$ ; konsistent: $\hat\theta\to\theta$ i sannsynlighet

Vanlige feil

⚠️Løser $\ell'(\theta)=0$ uten å vise at løsningen er et maksimum
⚠️Utelater konstanter i selve likelihooden når oppgaven ber om å sette den opp
⚠️Bruker $S^2$ med $n-1$ i momentmetoden i stedet for $\tfrac1n\sum X_i^2$
⚠️Tror at $g(\bar X)$ er forventningsrett for $g(\mu)$ når $g$ er ikke-lineær
⚠️Skriver estimatoren med små $x_i$ , altså som et tall i stedet for en stokastisk variabel

Eksamenstips

💡Skriv $L$ , $\ell$ , $\ell'$ og $\ell''$ på hver sin linje. Det er det løsningsforslagene gir uttelling for.
💡Står det «vis at MLE blir …», kan du kontrollere svaret ved å sette det inn i $\ell'(\theta)=0$
💡Uttrykk $\sum x_i^2$ ved $\hat\theta$ når du regner ut $\ell''(\hat\theta)$ . Da forenkler uttrykket seg
💡Bruk invarians når oppgaven spør om MLE for en funksjon av parameteren. Du trenger ikke derivere på nytt

Laster...

Laster…