Ny notasjon i dette kapittelet:

$y_i \in \{0, 1\}$ = binær avhengig variabel | $P(y = 1 | x)$ = betinget sannsynlighet

$\Lambda(z) = \frac{e^z}{1 + e^z}$ = logistisk CDF (logit) | $\Phi(z)$ = standard normal CDF (probit)

$g(z)$ = tetthetsfunksjon ($\lambda(z)$ for logit, $\phi(z)$ for probit)

$\ln\!\left(\frac{p}{1-p}\right)$ = log-odds (logit) | $OR = e^{\beta_1}$ = odds ratio

LPM = Lineær sannsynlighetsmodell | ML = Maximum Likelihood-estimering

AME = Average Marginal Effect | MEM = Marginal Effect at the Mean

$\text{pseudo-}R^2$ = McFaddens $R^2$ | LR = Likelihood Ratio-test

Binære avhengige variabler

Når den avhengige variabelen y er binær (0 eller 1), modellerer vi $P(y = 1 | x) = G(\beta_0 + \beta_1 x_1 + ... + \beta_k x_k)$, der G er en kumulativ fordelingsfunksjon som sikrer at sannsynlighetene ligger mellom 0 og 1.

Lineær sannsynlighetsmodell (LPM)

LPM bruker vanlig OLS: $P(y = 1 | x) = \beta_0 + \beta_1 x + u$. Fordeler: enkel tolkning (koeffisienten er endring i sannsynlighet). Ulemper: kan gi prediksjoner utenfor [0, 1], heteroskedastisitet er innebygd (Var(u|x) = p(x)(1-p(x))), og marginaleffekten er konstant. Bruk alltid robuste standardfeil med LPM.

Eksempel: Marginaleffekt i logit-modell ved gjennomsnittet (APE)

Fra forrige eksempel: logit-modell med $\hat{\beta}_1 = 0{,}08$ og predikert sannsynlighet ved gjennomsnittet $\hat{P}(\bar{x}) = 0{,}690$. Beregn marginaleffekten av inntekt ved gjennomsnittet (MEM).

Løsning:

$\frac{\partial P}{\partial x} = \hat{\beta}_1 \cdot \hat{P}(\bar{x}) \cdot [1 - \hat{P}(\bar{x})]$

Logistisk funksjon: $\Lambda'(z) = \Lambda(z)[1 - \Lambda(z)]$

$\frac{\partial \hat{P}}{\partial x}\bigg|_{x = \bar{x}} = 0{,}08 \cdot 0{,}690 \cdot (1 - 0{,}690) = 0{,}08 \cdot 0{,}690 \cdot 0{,}310$

$= 0{,}08 \cdot 0{,}2139 \approx 0{,}0171$

Marginaleffekten ved gjennomsnittet er ca. $0{,}017$, det vil si at én tusen kr mer i inntekt øker sannsynligheten for å få lån med ca. $1{,}7$ prosentpoeng ved gjennomsnittsinntekten. Marginaleffekter i logit varierer med nivået på $x$, i motsetning til i lineær sannsynlighetsmodell (LPM).

Logit-modellen

Logit bruker den logistiske fordelingsfunksjonen: $G(z) = \frac{e^z}{1 + e^z} = \Lambda(z)$. Koeffisientene estimeres med Maximum Likelihood (ML). Koeffisientene har ikke direkte tolkning som marginaleffekter – de angir effekten på log-odds: $\ln\!\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 x$. Odds ratio: e^β₁ angir multiplikatoren for oddsen når x øker med én enhet.

Eksempel: Beregning av predikert sannsynlighet fra logit

En logit-modell for sannsynligheten for å få innvilget lån gir $\hat{\beta}_0 = -3{,}2$ og $\hat{\beta}_1 = 0{,}08$ (koeffisient for inntekt i tusen kr). Beregn predikert sannsynlighet for en søker med inntekt $= 50$ tusen kr.

Løsning:

$z = \hat{\beta}_0 + \hat{\beta}_1 \cdot x = -3{,}2 + 0{,}08 \cdot 50 = -3{,}2 + 4{,}0 = 0{,}8$

Logistisk funksjon: $\Lambda(z) = \frac{e^z}{1 + e^z} = \frac{1}{1 + e^{-z}}$

$\hat{P}(y = 1 \mid x = 50) = \frac{1}{1 + e^{-0{,}8}} = \frac{1}{1 + 0{,}4493} = \frac{1}{1{,}4493} \approx 0{,}690$

En søker med inntekt på $50$ tusen kr har en estimert sannsynlighet på ca. $69{,}0\%$ for å få innvilget lån. Logit-modellen sikrer at alle predikerte sannsynligheter ligger i intervallet $(0, 1)$.

Eksempel: Sammenligning av LPM og logit

En LPM og en logit-modell estimeres for sannsynligheten for å være arbeidsledig ($y = 1$) som funksjon av alder ($x$). LPM gir $\hat{P}^{\text{LPM}} = 0{,}40 - 0{,}012x$. Logit gir $z = 0{,}50 - 0{,}10x$. Sammenlign prediksjonene for $x = 20$ og $x = 55$.

Løsning:

$\textbf{LPM ved } x = 20: \quad \hat{P} = 0{,}40 - 0{,}012 \cdot 20 = 0{,}40 - 0{,}24 = 0{,}16$

LPM kan gi predikerte sannsynligheter utenfor $[0,1]$ for ekstreme verdier av $x$

$\textbf{Logit ved } x = 20: \quad z = 0{,}50 - 0{,}10 \cdot 20 = -1{,}50 \implies \hat{P} = \frac{1}{1 + e^{1{,}5}} = \frac{1}{1 + 4{,}482} \approx 0{,}182$

$\textbf{LPM ved } x = 55: \quad \hat{P} = 0{,}40 - 0{,}012 \cdot 55 = 0{,}40 - 0{,}66 = -0{,}26 \quad (\text{ugyldig!})$

$\textbf{Logit ved } x = 55: \quad z = 0{,}50 - 0{,}10 \cdot 55 = -5{,}0 \implies \hat{P} = \frac{1}{1 + e^{5{,}0}} \approx \frac{1}{1 + 148{,}4} \approx 0{,}007$

LPM gir ugyldig negativ sannsynlighet ($-0{,}26$) for eldre arbeidstakere, mens logit-modellen alltid holder prediksjonene innenfor $[0, 1]$. For $x = 20$ er prediksjonene relativt like ($0{,}16$ vs. $0{,}182$), men avvikene øker i halene av fordelingen.

Probit-modellen

Probit bruker standard normalfordelingens kumulative funksjon: $G(z) = \Phi(z)$. Probit og logit gir svært like resultater i praksis; valget er ofte konvensjon innen fagfeltet. I økonomi er probit vanligere, i andre samfunnsfag brukes logit oftere.

Marginaleffekter

Siden modellene er ikke-lineære, er marginaleffekten av x_j på P(y=1) avhengig av nivået på alle variabler: $\partial P / \partial x_j = g(\beta'x) \cdot \beta_j$, der g er tetthetsfunksjonen. Vanligste rapporteringsmetoder: marginaleffekter ved gjennomsnittsverdier (MEM) og gjennomsnittlige marginaleffekter (AME). AME beregner marginaleffekten for hver observasjon og tar gjennomsnittet.

Modellvurdering

R² er ikke meningsfylt for probit/logit. Bruk istedet pseudo-R² (McFaddens) eller prosent korrekt klassifisert. For modellsammenligning brukes likelihood ratio-test, AIC eller BIC. LR-testen: $LR = 2(\ln L_{UR} - \ln L_R)$, som er χ²-fordelt med antall restriksjoner som frihetsgrader.

Studieguide: Probit/Logit