Hvorfor ikke bruke lineær regresjon?

Når den avhengige variabelen $Y_i \in \{0, 1\}$ er binær, har den lineære sannsynlighetsmodellen (LPM) to problemer:

Predikerte sannsynligheter kan ligge utenfor $[0, 1]$
Heteroskedastisitet: $\text{Var}(u_i|X_i) = P(Y_i=1|X_i)(1 - P(Y_i=1|X_i))$

LPM er likevel nyttig som en enkel approksimasjon, spesielt for gjennomsnittlige marginaleffekter.

Logistisk regresjon (Logit)

Logit-modellen spesifiserer sannsynligheten for $Y_i = 1$ ved hjelp av den logistiske funksjonen:

Logit-modellen:

$P(Y_i = 1 | X_i) = \Lambda(X_i'\beta) = \frac{\exp(X_i'\beta)}{1 + \exp(X_i'\beta)} = \frac{1}{1 + \exp(-X_i'\beta)}$

der $\Lambda(\cdot)$ er den logistiske CDF-funksjonen. Verdien ligger alltid i $(0, 1)$.

Log-odds (logit-transformasjonen):

$\ln\!\left(\frac{P}{1-P}\right) = X_i'\beta = \beta_0 + \beta_1 X_{1i} + \cdots + \beta_k X_{ki}$

Tolkning av koeffisienter

I logit er koeffisientene ikke direkte tolkbare som marginaleffekter. De har tre tolkninger:

Tolkningsmåter:

Fortegn: $\beta_j > 0$ betyr at økt $X_j$ øker sannsynligheten for $Y = 1$

Odds-ratio: $e^{\beta_j}$ = multiplikativ endring i odds for én enhets økning i $X_j$. $e^{\beta_j} > 1$: økte odds. $e^{\beta_j} < 1$: reduserte odds.

Marginaleffekt: $\frac{\partial P(Y=1|X)}{\partial X_j} = \Lambda(X'\beta) \cdot [1 - \Lambda(X'\beta)] \cdot \beta_j$

Marginaleffekten avhenger av nivået på $X$ — den er størst når $P \approx 0{,}5$.

Eksempel: Sannsynligheten for å fullføre studiet

$\ln\!\left(\frac{P(\text{fullført})}{1 - P(\text{fullført})}\right) = -2{,}0 + 0{,}5 \cdot \text{karakter} + 0{,}3 \cdot \text{stipend}$

Odds-ratio for karakter: $e^{0{,}5} \approx 1{,}65$ — ett poengs høyere karakter er assosiert med 65 % høyere odds for fullføring.

AME for karakter: beregnes som gjennomsnittet av $\Lambda(X_i'\hat{\beta})[1 - \Lambda(X_i'\hat{\beta})] \cdot 0{,}5$ over alle observasjoner.

Probit-modellen

Probit bruker normalfordelingens CDF $\Phi(\cdot)$ i stedet for den logistiske:

$P(Y_i = 1 | X_i) = \Phi(X_i'\beta)$

Logit og probit gir svært like prediksjoner i praksis. Logit er mer populær fordi odds-ratio-tolkningen er intuitiv.

Maximum Likelihood-estimering

Logit og probit estimeres med MLE. Log-likelihood-funksjonen:

$\ell(\beta) = \sum_{i=1}^n \left[Y_i \ln F(X_i'\beta) + (1-Y_i) \ln(1 - F(X_i'\beta))\right]$

der $F = \Lambda$ for logit og $F = \Phi$ for probit. MLE-estimatene er konsistente og asymptotisk normalfordelte.

Modellevaluering

Mål for modellpassning:

Pseudo-$R^2$ (McFadden): $1 - \ell(\hat{\beta}) / \ell(\hat{\beta}_0)$

Prosent korrekt klassifisert: Andel riktige prediksjoner med en gitt terskel (f.eks. 0,5)

ROC-kurve og AUC: Sensitivitet vs. 1-spesifisitet for ulike terskelverdier. AUC = 0,5: tilfeldig, AUC = 1: perfekt.

LR-test: $LR = 2[\ell(\hat{\beta}_{\text{full}}) - \ell(\hat{\beta}_{\text{redusert}})] \sim \chi^2_q$

Studieguide: Logistisk regresjon og diskrete valg

Studieguide: Logistisk regresjon og diskrete valg