Populasjonsmodellen

Den økonometriske modellen for enkel regresjon er $y_i = \beta_0 + \beta_1 x_i + u_i$, der u_i er et stokastisk feilledd som fanger all variasjon i y som ikke forklares av x. Merk forskjellen fra statistikkurset: vi er eksplisitte om at feilleddet u inneholder utelatte variabler, målefeil og tilfeldighet.

OLS-estimering

Ordinary Least Squares (OLS) minimerer $\Sigma\hat{u}_i^2 = \Sigma(y_i - b_0 - b_1 x_i)^2$. Førsteordensbetingelsene gir: $b_1 = \frac{Cov(x,y)}{Var(x)}$ og $b_0 = \bar{y} - b_1\bar{x}$. Regresjonslinjen går alltid gjennom punktet $(\bar{x}, \bar{y})$.

Eksempel: OLS-estimering av enkel regresjonsmodell

Gitt $\sum x_i = 30$, $\sum y_i = 50$, $\sum x_i y_i = 220$, $\sum x_i^2 = 130$ og $n = 5$. Estimer $\hat{\beta}_0$ og $\hat{\beta}_1$ i modellen $y_i = \beta_0 + \beta_1 x_i + \epsilon_i$.

Løsning:

$\bar{x} = \frac{30}{5} = 6, \quad \bar{y} = \frac{50}{5} = 10$

$\hat{\beta}_1 = \frac{\sum x_i y_i - n\bar{x}\bar{y}}{\sum x_i^2 - n\bar{x}^2} = \frac{220 - 5 \cdot 6 \cdot 10}{130 - 5 \cdot 36} = \frac{220 - 300}{130 - 180} = \frac{-80}{-50} = 1{,}6$

$\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x} = 10 - 1{,}6 \cdot 6 = 10 - 9{,}6 = 0{,}4$

$\hat{y} = 0{,}4 + 1{,}6x$

Én enhets økning i $x$ gir en estimert økning på $1{,}6$ enheter i $y$. Konstantleddet $\hat{\beta}_0 = 0{,}4$ er forventet verdi av $y$ når $x = 0$.

Gauss-Markov-forutsetningene

For at OLS skal være BLUE (Best Linear Unbiased Estimator), kreves: (1) Linearitet i parametrene, (2) Tilfeldig utvalg, (3) Variasjon i x, (4) Null betinget gjennomsnitt: E(u|x) = 0 (ingen systematisk sammenheng mellom feilledd og forklaringsvariabel), (5) Homoskedastisitet: Var(u|x) = σ² (konstant varians i feilleddet).

Forutsetning 4 er den mest kritiske. Dersom E(u|x) ≠ 0, er OLS-estimatene forventningsskjeve (biased). Dette oppstår typisk ved utelatte variabler som korrelerer med x.

Forventningsretthet og konsistens

Under forutsetning 1-4 er OLS forventningsrett: $E(b_1) = \beta_1$. Med alle fem forutsetningene er OLS også effisient – den har lavest varians blant alle lineære forventningsrette estimatorer (Gauss-Markov-teoremet). Konsistens betyr at b₁ konvergerer mot β₁ når n → ∞, og krever svakere forutsetninger enn forventningsretthet.

Goodness of fit

$R^2 = 1 - SSR/SST = ESS/SST$, der SST = total variasjon, ESS = forklart variasjon, SSR = residualvariasjon. En lav R² betyr ikke nødvendigvis at modellen er dårlig – i tverrsnittsstudier av individdata er R² på 0,10-0,30 vanlig og akseptabelt dersom koeffisientene er meningsfylt estimert.

Hypotesetesting

t-test for H₀: β₁ = 0: $t = \frac{b_1}{SE(b_1)}$. En t-verdi > 2 (i absoluttverdi) er en god tommelregel for signifikans på 5 % nivå med store utvalg. Husk å rapportere standardfeil eller t-verdier, ikke bare koeffisienten.

Eksempel: Beregning og tolkning av $R^2$

En regresjon av lønn ($y$, i tusen kr) på utdanningsår ($x$) gir $\hat{y} = 150 + 12x$. Observerte verdier gir $\text{SST} = 4800$ og $\text{SSR} = 1200$. Beregn og tolke $R^2$.

Løsning:

$\text{ESS} = \text{SST} - \text{SSR} = 4800 - 1200 = 3600$

SSR = residualkvadratsum, ESS = forklart variasjon

$R^2 = 1 - \frac{\text{SSR}}{\text{SST}} = 1 - \frac{1200}{4800} = 1 - 0{,}25 = 0{,}75$

$R^2 = \frac{\text{ESS}}{\text{SST}} = \frac{3600}{4800} = 0{,}75$

$R^2 = 0{,}75$ betyr at $75\%$ av variasjonen i lønn forklares av utdanningsår. Modellen har god forklaringskraft.

Eksempel: $t$-test for signifikans av $\hat{\beta}_1$

I en regresjon av bedriftens salg ($y$, mill. kr) på markedsføringsutgifter ($x$, mill. kr) finner vi $\hat{\beta}_1 = 3{,}2$ med standardfeil $\text{SE}(\hat{\beta}_1) = 1{,}1$ og $n = 25$ observasjoner. Test $H_0: \beta_1 = 0$ mot $H_1: \beta_1 \neq 0$ på $5\%$ signifikansnivå.

Løsning:

$t = \frac{\hat{\beta}_1 - 0}{\text{SE}(\hat{\beta}_1)} = \frac{3{,}2}{1{,}1} \approx 2{,}91$

Testobservator følger $t$-fordeling med $n - 2 = 23$ frihetsgrader

$t_{0{,}025,\, 23} \approx 2{,}069$

$|t| = 2{,}91 > 2{,}069 = t_{\text{krit}}$

Vi forkaster $H_0$. Det er statistisk signifikant sammenheng mellom markedsføring og salg på $5\%$ nivå. Én million kr mer i markedsføring er assosiert med $3{,}2$ mill. kr høyere salg.

Studieguide: Enkel regresjon