Oversikt

Dette temaet er den tekniske ryggraden i ECON2130. Det opptrer sjelden under eget navn, men ligger under nesten alle estimatorspørsmål på eksamen: «finn forventningen og variansen til estimatoren», «vis at estimatoren er forventningsrett», «finn den verdien av \(a\) som minimerer variansen». I flere sett har det vært en hel oppgave: \(Z=aX+bY\) som estimator for \(\mu\) (20 %), \(C=2A+B\) med normalfordelte komponenter (30 %), en vektet andelsestimator over to utvalg, og differanseestimatoren \(\hat\beta=\bar Y^{B}-\bar Y^{K}\).

Lineær transformasjon av én variabel

\[ E(aX+b)=aE(X)+b,\qquad \mathrm{Var}(aX+b)=a^{2}\mathrm{Var}(X),\qquad SD(aX+b)=|a|\,SD(X). \]

Konstantleddet \(b\) flytter hele fordelingen, men endrer ikke spredningen — derfor forsvinner det fra variansen. Formelt:

\[ \mathrm{Var}(X+b)=E\big[(X+b-E(X)-b)^{2}\big]=E\big[(X-E(X))^{2}\big]=\mathrm{Var}(X). \]

Gjennomregnet eksempel. En nettbutikk selger \(X\) enheter per dag med \(E(X)=50\) og \(\mathrm{Var}(X)=16\). Dagsresultatet er \(Y=1200X-15\,000\).

\[ E(Y)=1200\cdot 50-15\,000=45\,000, \] \[ \mathrm{Var}(Y)=1200^{2}\cdot 16=23\,040\,000,\qquad SD(Y)=1200\cdot 4=4800. \]

Standardisering er en lineær transformasjon med \(a=1/\sigma\) og \(b=-\mu/\sigma\), og derfor er \(E(Z)=0\) og \(\mathrm{Var}(Z)=1\) automatisk.

Summer og gjennomsnitt

Forventningen er alltid additiv, uten noen forutsetning om uavhengighet:

\[ E\!\left(\sum_{i=1}^{n}X_i\right)=\sum_{i=1}^{n}E(X_i). \]

For variansen trengs uavhengighet (eller minst at alle kovarianser er null):

\[ \mathrm{Var}\!\left(\sum_{i=1}^{n}X_i\right)=\sum_{i=1}^{n}\mathrm{Var}(X_i)=n\sigma^{2}. \]

Siden \(\bar X=\frac{1}{n}\sum X_i\), følger det aller viktigste resultatet i kurset:

\[ E(\bar X)=\mu,\qquad \mathrm{Var}(\bar X)=\frac{\sigma^{2}}{n},\qquad SD(\bar X)=\frac{\sigma}{\sqrt n}. \]

Med \(\sigma^{2}=16\) og \(n=25\) blir \(\mathrm{Var}(\bar X)=0{,}64\) og \(SD(\bar X)=0{,}8\). Skal \(SD(\bar X)\le 0{,}5\), krever vi \(4/\sqrt n\le 0{,}5\), altså \(n\ge 64\).

Lineærkombinasjoner av to variabler

\[ E(aX+bY)=aE(X)+bE(Y), \] \[ \mathrm{Var}(aX+bY)=a^{2}\mathrm{Var}(X)+b^{2}\mathrm{Var}(Y)+2ab\,\mathrm{Cov}(X,Y). \]

Gjennomregnet eksempel (eksamensklassiker). \(X\) og \(Y\) er uavhengige med \(E(X)=\mu\), \(\mathrm{Var}(X)=\sigma^{2}\), \(E(Y)=2\mu\), \(\mathrm{Var}(Y)=2\sigma^{2}\). Sett \(Z=aX+bY\).

Steg 1 — forventning: \(E(Z)=a\mu+2b\mu=(a+2b)\mu\). For at \(Z\) skal være forventningsrett for \(\mu\), må \(a+2b=1\), altså \(a=1-2b\).

Steg 2 — varians: \(\mathrm{Var}(Z)=(a^{2}+2b^{2})\sigma^{2}\) (kovariansleddet er null ved uavhengighet).

Steg 3 — minimering: sett inn \(a=1-2b\) og minimer \(g(b)=(1-2b)^{2}+2b^{2}\):

\[ g'(b)=-4(1-2b)+4b=-4+12b=0 \;\Longrightarrow\; b=\tfrac13,\quad a=\tfrac13, \] \[ g(\tfrac13)=\tfrac19+\tfrac29=\tfrac13 \;\Longrightarrow\; \mathrm{Var}(Z)=\tfrac{\sigma^{2}}{3}. \]

Til sammenligning gir \(b=\tfrac12\) (altså \(a=0\), bruk bare \(Y\)) variansen \(0{,}5\sigma^{2}\), og \(b=\tfrac14\) gir \(0{,}375\sigma^{2}\). Alle er forventningsrette; den med minst varians vinner.

Optimal vekting av to uavhengige estimater

To undersøkelser skal estimere samme andel \(p\), med \(X_A\sim\mathrm{bin}(n_A,p)\) og \(X_B\sim\mathrm{bin}(n_B,p)\) uavhengige. Sett

\[ \hat p=a\frac{X_A}{n_A}+(1-a)\frac{X_B}{n_B}. \]

Fordi vektene summerer til 1, er \(E(\hat p)=ap+(1-a)p=p\) for enhver \(a\) — forventningsretthet er gratis. Variansen er

\[ \mathrm{Var}(\hat p)=p(1-p)\left[\frac{a^{2}}{n_A}+\frac{(1-a)^{2}}{n_B}\right]. \]

Derivasjon gir \(\dfrac{2a}{n_A}-\dfrac{2(1-a)}{n_B}=0\), altså

\[ a^{*}=\frac{n_A}{n_A+n_B},\qquad \mathrm{Var}(\hat p)=\frac{p(1-p)}{n_A+n_B}. \]

Med \(n_A=50\) og \(n_B=150\) er \(a^{*}=0{,}25\) og \(\mathrm{Var}(\hat p)=p(1-p)/200\) — nøyaktig som om utvalgene var slått sammen til ett på 200. Den generelle regelen er at optimal vekt er proporsjonal med \(1/\mathrm{Var}\) for hver kilde; for andeler betyr det vekting etter utvalgsstørrelse.

Kovarians og korrelasjon

\[ \mathrm{Cov}(X,Y)=E\big[(X-E(X))(Y-E(Y))\big]=E(XY)-E(X)E(Y). \]

Den siste formen er nesten alltid raskest. Kovariansen er bilineær — du kan gange ut som med parenteser:

\[ \mathrm{Cov}(aX+b,\,cY+d)=ac\,\mathrm{Cov}(X,Y). \]

Gjennomregnet eksempel. Med \(\mathrm{Var}(X)=25\), \(\mathrm{Var}(Y)=16\), \(\mathrm{Cov}(X,Y)=-6\):

\[ \mathrm{Var}(X+Y)=25+16-12=29,\qquad \mathrm{Var}(X-Y)=25+16+12=53, \] \[ \rho=\frac{-6}{5\cdot 4}=-0{,}30. \]

Negativ kovarians gjør summen mindre spredt og differansen mer spredt enn ved uavhengighet. Dette er hele mekanismen bak diversifisering: en portefølje av negativt korrelerte aktiva har lavere risiko enn hvert enkelt aktivum.

Uavhengighet medfører \(\mathrm{Cov}=0\), men ikke omvendt. La \(U\) være uniform på \(\{-2,-1,1,2\}\) og \(V=U^{2}\). Da er \(E(U)=0\) og \(E(UV)=E(U^{3})=0\), så \(\mathrm{Cov}(U,V)=0\) — men \(V\) er en funksjon av \(U\). Korrelasjonen ser bare den lineære delen av sammenhengen.

Når observasjonene ikke er uavhengige

Har alle \(X_i\) varians \(\sigma^{2}\) og parvis korrelasjon \(\rho\), blir

\[ \mathrm{Var}(\bar X)=\frac{1}{n^{2}}\big[n\sigma^{2}+n(n-1)\rho\sigma^{2}\big]=\frac{\sigma^{2}}{n}\big[1+(n-1)\rho\big]. \]

For \(\rho>0\) går dette mot \(\rho\sigma^{2}\) — ikke mot null — når \(n\to\infty\). Med \(\rho=0{,}1\) og \(n=100\) er den sanne variansen \(10{,}9\) ganger \(\sigma^{2}/n\), altså er standardfeilen over tre ganger for liten hvis vi bruker \(\sigma/\sqrt n\). Dette er grunnen til at man må være varsom med observasjoner som er gruppert (elever i samme klasse, gjentatte målinger på samme person, observasjoner tett i tid).

Summer av kjente fordelinger

Uavhengige Poisson: \(\mathrm{Poisson}(\lambda_1)+\mathrm{Poisson}(\lambda_2)=\mathrm{Poisson}(\lambda_1+\lambda_2)\).
Uavhengige binomiske med samme \(p\): \(\mathrm{bin}(n_1,p)+\mathrm{bin}(n_2,p)=\mathrm{bin}(n_1+n_2,p)\). Med ulike \(p\) er summen ikke binomisk.
Uavhengige normalfordelte: \(aX+bY\) er normalfordelt med forventning \(a\mu_X+b\mu_Y\) og varians \(a^{2}\sigma_X^{2}+b^{2}\sigma_Y^{2}\).

Eksempel. \(A\sim N(0,1)\) og \(B\sim N(2,3)\) uavhengige, \(C=2A+B\). Da er \(E(C)=0+2=2\) og \(\mathrm{Var}(C)=4\cdot 1+1\cdot 3=7\), så \(C\sim N(2,7)\) og

\[ P(C>3)=P\!\left(Z>\frac{3-2}{\sqrt 7}\right)=P(Z>0{,}378)=1-0{,}6473=0{,}3527. \]

Studieguide: Regneregler for stokastiske variabler