Multippel regresjon utvider enkel lineær regresjon til å inkludere flere forklaringsvariabler. Dette gir en mer realistisk modell, men introduserer også nye utfordringer.

Modellen

Populasjonsmodell:

$Y_i = \beta_0 + \beta_1 X_{1i} + \beta_2 X_{2i} + \cdots + \beta_k X_{ki} + \varepsilon_i$

$\beta_j$ = partiell regresjonskoeffisient: effekten av $X_j$ på $Y$, kontrollert for alle andre variabler.

Justert $R^2$

Justert $R^2$ (adjusted $R^2$):

$\bar{R}^2 = 1 - \frac{SSE/(n-k-1)}{SST/(n-1)} = 1 - (1-R^2)\frac{n-1}{n-k-1}$

Justerer for antall forklaringsvariabler $k$. $\bar{R}^2$ kan synke når man legger til en variabel som ikke bidrar — i motsetning til $R^2$ som alltid øker.

F-test

F-test for samlet signifikans:

$H_0: \beta_1 = \beta_2 = \cdots = \beta_k = 0$ (modellen har ingen forklaringskraft)

$F = \frac{SSR/k}{SSE/(n-k-1)} = \frac{MSR}{MSE}$, med $df_1 = k$ og $df_2 = n-k-1$

Forkast $H_0$ hvis $F > F_{\alpha,\,k,\,n-k-1}$.

t-test for individuelle koeffisienter:

$t = \frac{\hat{\beta}_j}{SE(\hat{\beta}_j)}$, $df = n - k - 1$

Tester om variabel $X_j$ har signifikant effekt, kontrollert for de andre variablene.

Dummyvariabler

Kategoriske variabler i regresjon:

En kategorisk variabel med $m$ kategorier representeres av $m-1$ dummyvariabler (0/1).

Referansekategorien er den som har 0 for alle dummyvariabler.

Koeffisienten for en dummy = gjennomsnittlig forskjell fra referansekategorien, kontrollert for øvrige variabler.

Multikollinearitet

Definisjon og konsekvenser:

Multikollinearitet oppstår når to eller flere forklaringsvariabler er sterkt korrelerte.

Konsekvenser: Upresise koeffisientestimater (store standardfeil), ustabile fortegn, vanskelig å skille effektene.

Slik oppdager du det i praksis: høy parvis korrelasjon mellom forklaringsvariabler, koeffisienter og standardfeil som endres kraftig når variabler legges til eller fjernes, og signifikant F-test uten signifikante t-tester.

Tiltak: fjern eller slå sammen sterkt korrelerte variabler, eller skaff flere observasjoner. Prediksjonene rammes lite — det er tolkningen av enkeltkoeffisienter som blir upålitelig.

Eksempel: Tolkning av multippel regresjon

En regresjonsanalyse gir: $\hat{Y} = 15{,}3 + 2{,}1 X_1 - 0{,}8 X_2 + 4{,}5 D$, der $D$ er dummy for kjønn (1 = mann, 0 = kvinne), $R^2 = 0{,}65$, $\bar{R}^2 = 0{,}62$, $n = 50$.

Tolkning av $\hat{\beta}_1 = 2{,}1$: Når $X_1$ øker med 1 enhet, øker $Y$ med 2,1 enheter, kontrollert for $X_2$ og kjønn.

Tolkning av $\hat{\beta}_D = 4{,}5$: Menn har i gjennomsnitt 4,5 enheter høyere $Y$ enn kvinner, kontrollert for $X_1$ og $X_2$.

$\bar{R}^2 = 0{,}62$: Modellen forklarer 62 % av variasjonen i $Y$, justert for antall variabler.

Studieguide: Multippel regresjon

Studieguide: Multippel regresjon