Modellen

$$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i, \qquad i=1,\dots,n,$$

der $\epsilon_i$ er uavhengige med $E[\epsilon_i]=0$ og konstant varians $\sigma^2$, og for eksakt inferens i tillegg normalfordelte. Forklaringsvariablene $x_i$ betraktes som kjente konstanter. NTNU-oppgaver bruker også varianten UTEN konstantledd, $Y_i=\beta x_i+\epsilon_i$, og varianten med $\text{Var}(\epsilon_i)=\tau^2x_i^2$ — les alltid modellen nøye før du henter formler fra formelsamlingen.

Minste kvadraters estimater:

$$\hat{\beta}_1=\frac{S_{xy}}{S_{xx}}, \qquad \hat{\beta}_0=\bar{y}-\hat{\beta}_1\bar{x},$$

der $S_{xx}=\sum(x_i-\bar{x})^2$ og $S_{xy}=\sum(x_i-\bar{x})(y_i-\bar{y})$. Linja går alltid gjennom $(\bar{x},\bar{y})$.

Utledning — det som faktisk spørres om

Eksamensoppgavene ber sjelden om et ferdig tall; de ber om en UTLEDNING. Minimer $Q(\beta_0,\beta_1)=\sum(y_i-\beta_0-\beta_1x_i)^2$ ved å derivere og sette lik null. Normallikningene blir $\sum e_i=0$ og $\sum x_ie_i=0$.

Under normalantakelsen er sannsynlighetsmaksimeringsestimatorene IDENTISKE med minste kvadraters estimatorer, fordi rimelighetsfunksjonen

$$L=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(y_i-\beta_0-\beta_1x_i)^2}{2\sigma^2}\right)$$

maksimeres nettopp når kvadratsummen minimeres. Dette er et hyppig delspørsmål.

Egenskaper til estimatorene

$\hat{\beta}_1$ er en lineærkombinasjon av $Y_i$-ene, og er derfor normalfordelt med

$$E[\hat{\beta}_1]=\beta_1,\qquad \text{Var}(\hat{\beta}_1)=\frac{\sigma^2}{S_{xx}}.$$

Videre er $E[\hat{\beta}_0]=\beta_0$ og $\text{Var}(\hat{\beta}_0)=\sigma^2\left(\frac1n+\frac{\bar{x}^2}{S_{xx}}\right)$. Feilvariansen estimeres forventningsrett med $S^2=\text{SSE}/(n-2)$ (to frihetsgrader tapt), og $(n-2)S^2/\sigma^2\sim\chi^2_{n-2}$ uavhengig av $\hat{\beta}_1$.

Blir du bedt om å velge mellom flere foreslåtte estimatorer, er oppskriften alltid: sjekk forventningsretthet FØRST, og velg deretter den med minst varians blant de forventningsrette.

Inferens på stigningstallet

$$T=\frac{\hat{\beta}_1-\beta_1}{S/\sqrt{S_{xx}}}\sim t_{n-2},$$

som gir både konfidensintervallet $\hat{\beta}_1\pm t_{\alpha/2,n-2}\,S/\sqrt{S_{xx}}$ og testen av $H_0:\beta_1=\beta_{1,0}$. Ensidige alternativer er vanlige: «gir dataene grunnlag for å påstå at forventet responstid AVTAR med $x$?» svarer til $H_1:\beta_1<0$. Teststyrke-spørsmål løses ved å standardisere forkastningsgrensen under den sanne verdien.

Residualanalyse — den viktigste delen

Residualet $e_i=y_i-\hat{y}_i$ estimerer feilleddet. Et residualplott har $\hat{y}_i$ (eller $x_i$) langs $x$-aksen og $e_i$ langs $y$-aksen. Ønsket bilde er en strukturløs sky om null.

Diagnose:

U-form $\Rightarrow$ sammenhengen er ikke lineær; legg til et $x^2$-ledd eller transformer. Traktform $\Rightarrow$ variansen er ikke konstant; transformer responsen eller bruk veid regresjon. Sammenhengende perioder over/under null mot tid $\Rightarrow$ residualene er avhengige. Krumning i et QQ-plott $\Rightarrow$ normalantakelsen svikter.

Konsekvensene er ulike: brutt LINEARITET gir skjeve estimater (alvorligst); brutt VARIANS gir riktige estimater men gale standardfeil og p-verdier; brutt NORMALITET betyr lite for store $n$; brutt UAVHENGIGHET gir for små standardfeil og overdrevet signifikans.

Prediksjon

Punktprediksjonen er $\hat{y}_0=\hat{\beta}_0+\hat{\beta}_1x_0$. Konfidensintervallet for FORVENTET respons og prediksjonsintervallet for en NY observasjon skiller seg bare ved ett ledd:

$$\hat{y}_0\pm t_{\alpha/2,n-2}\,s\sqrt{\tfrac1n+\tfrac{(x_0-\bar{x})^2}{S_{xx}}}\qquad\text{mot}\qquad \hat{y}_0\pm t_{\alpha/2,n-2}\,s\sqrt{1+\tfrac1n+\tfrac{(x_0-\bar{x})^2}{S_{xx}}}.$$

Begge er smalest ved $x_0=\bar{x}$ og utvider seg kvadratisk utover — derfor er ekstrapolasjon både statistisk usikker og modellmessig uforsvarlig.

Forklaringsgrad

Variasjonen dekomponeres som $\text{SST}=\text{SSR}+\text{SSE}$, og $R^2=1-\text{SSE}/\text{SST}=r^2$ i enkel regresjon. Merk at $R^2$ er et beskrivende mål: en høy verdi utelukker ikke at residualplottet viser tydelig krumning, og modellvalg skal baseres på residualanalyse, ikke på $R^2$ alene.

Studieguide: Enkel lineær regresjon

Studieguide: Enkel lineær regresjon