Ny notasjon i dette kapittelet:

$x_1, x_2, \ldots, x_k$ = flere forklaringsvariabler | $\beta_j$ = partiell effekt av $x_j$ (ceteris paribus)

$\bar{R}^2$ = justert $R^2$ | $F$ = F-testobservator for samlet signifikans

$\delta_1$ = koeffisient fra regresjon av utelatt variabel på inkludert variabel (OVB)

$D$ = dummyvariabel ($0$ eller $1$) | $VIF_j = \frac{1}{1 - R_j^2}$ = Variance Inflation Factor

Modellen

Den multiple regresjonsmodellen er $y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + ... + \beta_k x_k + u$. Koeffisienten β_j måler den partielle effekten av x_j på y, holdt alle andre variabler konstant (ceteris paribus). Dette er hovedfordelen med multippel regresjon: vi kan kontrollere for konfunderende variabler.

Utelatt variabel-skjevhet (OVB)

Utelatt variabel-skjevhet oppstår når en relevant variabel er utelatt fra modellen og denne variabelen korrelerer med en inkludert variabel. Formelen for skjevheten: $bias(b_1) = \beta_2 \cdot \delta_1$, der β₂ er effekten av den utelatte variabelen og δ₁ er sammenhengen mellom utelatt og inkludert variabel. Retningen på skjevheten kan bestemmes ved å vurdere fortegnene.

Eksempel: Utelatt variabel skjevhet (OVB)

Vi estimerer $\hat{\beta}_1^{\text{kort}}$ i en enkel regresjon av lønn ($y$) på utdanning ($x_1$), men utelater evner ($x_2$). Den sanne modellen er $y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \epsilon$. Korrelasjonen mellom utdanning og evner er $\tilde{\delta}_1 = 0{,}5$ (fra regresjon av $x_2$ på $x_1$). Vis retningen på skjevheten når $\beta_2 > 0$.

Løsning:

$\text{E}[\hat{\beta}_1^{\text{kort}}] = \beta_1 + \beta_2 \tilde{\delta}_1$

OVB-formel: skjevhet = $\beta_2 \cdot \tilde{\delta}_1$

$\text{Skjevhet} = \beta_2 \cdot \tilde{\delta}_1 = \beta_2 \cdot 0{,}5$

$\text{Siden } \beta_2 > 0 \text{ og } \tilde{\delta}_1 = 0{,}5 > 0 \implies \text{Skjevhet} > 0$

Den korte regresjonen overestimerer effekten av utdanning fordi den tilskriver noe av lønnsgevinsten som skyldes evner til utdanning. Dette er positiv OVB (oppoverskjevhet).

Justert R²

R² øker alltid når vi legger til variabler, selv om de er irrelevante. Justert R² korrigerer for antall variabler: $\bar{R}^2 = 1 - (1 - R^2)(n-1)/(n-k-1)$. Bruk justert R² for å sammenligne modeller med ulikt antall forklaringsvariabler.

F-test for samlet signifikans

F-testen tester om alle forklaringsvariabler sammen er signifikante: H₀: β₁ = β₂ = ... = β_k = 0. Testobservatoren: $F = \frac{R^2/k}{(1-R^2)/(n-k-1)}$. F-testen kan også brukes til å teste en undergruppe av koeffisienter ved å sammenligne en «restricted» og «unrestricted» modell.

Eksempel: $F$-test for samlet signifikans

En multippel regresjonsmodell med $k = 3$ forklaringsvariabler og $n = 50$ observasjoner gir $R^2 = 0{,}62$. Test om modellen som helhet er signifikant på $5\%$ nivå.

Løsning:

$F = \frac{R^2 / k}{(1 - R^2) / (n - k - 1)} = \frac{0{,}62 / 3}{0{,}38 / 46}$

Frihetsgrader: $df_1 = k = 3$, $df_2 = n - k - 1 = 46$

$F = \frac{0{,}2067}{0{,}00826} \approx 25{,}03$

$F_{0{,}05,\, 3,\, 46} \approx 2{,}81$

$F = 25{,}03 > 2{,}81 = F_{\text{krit}}$

Vi forkaster $H_0: \beta_1 = \beta_2 = \beta_3 = 0$. Modellen som helhet er statistisk signifikant. Minst én av forklaringsvariablene bidrar til å forklare variasjonen i den avhengige variabelen.

Dummyvariabler

Dummyvariabler koder kategoriske variabler som 0/1. Med m kategorier inkluderer vi m-1 dummyer for å unngå dummyvariabelfellen (perfekt multikollinearitet). Koeffisienten tolkes som forskjellen i y mellom den aktuelle kategorien og referansekategorien.

Multikollinearitet

Perfekt multikollinearitet gjør OLS umulig (matrisen X’X er singulær). Høy multikollinearitet gir upresise estimater (store standardfeil) selv om estimatene fortsatt er forventningsrette. Sjekk med VIF (Variance Inflation Factor): VIF > 10 indikerer problematisk multikollinearitet. Løsning: dropp en variabel, samle mer data, eller aksepter brede konfidensintervall.

Eksempel: Tolkning av koeffisienter i multippel regresjon

En multippel regresjonsmodell for timelønn (kr) gir $\hat{y} = 85 + 6{,}4 \cdot \text{utd} + 2{,}1 \cdot \text{erfaring} - 0{,}03 \cdot \text{erfaring}^2$, der utd er utdanningsår og erfaring er antall arbeidsår. Tolk koeffisientene.

Løsning:

$\frac{\partial \hat{y}}{\partial \text{utd}} = 6{,}4$

Ceteris paribus: holdes alle andre variable konstante

$\frac{\partial \hat{y}}{\partial \text{erfaring}} = 2{,}1 - 2 \cdot 0{,}03 \cdot \text{erfaring} = 2{,}1 - 0{,}06 \cdot \text{erfaring}$

$\text{Ved erfaring} = 10: \quad 2{,}1 - 0{,}06 \cdot 10 = 2{,}1 - 0{,}6 = 1{,}5 \text{ kr/time per ekstra år}$

Ceteris paribus gir ett ekstra utdanningsår $6{,}4$ kr/time mer i lønn. Effekten av erfaring avtar med tid: ved $10$ års erfaring gir ett ekstra år $1{,}5$ kr/time, mot $2{,}1$ kr/time ved oppstart.

Studieguide: Multippel regresjon

Studieguide: Multippel regresjon