Indreprodukt og norm

Det indre produktet (prikkproduktet) av $\mathbf{u},\mathbf{v}\in\mathbb{R}^n$ er skalaren $\mathbf{u}\cdot\mathbf{v}=\mathbf{u}^T\mathbf{v}=u_1v_1+\cdots+u_nv_n$. Det er kommutativt, lineært i hver variabel, og $\mathbf{u}\cdot\mathbf{u}\ge0$. Normen (lengden) er $\|\mathbf{v}\|=\sqrt{\mathbf{v}\cdot\mathbf{v}}$, og avstanden mellom to punkter er $\|\mathbf{u}-\mathbf{v}\|$. Vinkelen følger av $\mathbf{u}\cdot\mathbf{v}=\|\mathbf{u}\|\|\mathbf{v}\|\cos\theta$. To vektorer er ortogonale når $\mathbf{u}\cdot\mathbf{v}=0$, og da gjelder Pytagoras: $\|\mathbf{u}+\mathbf{v}\|^2=\|\mathbf{u}\|^2+\|\mathbf{v}\|^2$.

Grunnregel: $\|\mathbf{v}\|^2=\mathbf{v}\cdot\mathbf{v}$ og $\mathbf{u}\perp\mathbf{v}\iff\mathbf{u}\cdot\mathbf{v}=0$. En enhetsvektor lages ved normalisering: $\hat{\mathbf{v}}=\mathbf{v}/\|\mathbf{v}\|$.

Ortogonale og ortonormale mengder

En mengde av ikke-null-vektorer er ortogonal dersom de er parvis ortogonale, og ortonormal dersom de i tillegg har lengde 1. En ortogonal mengde er alltid lineært uavhengig. Den store fordelen er at koordinatene til $\mathbf{y}$ i en ortogonal basis kan leses av direkte: $c_j=\dfrac{\mathbf{y}\cdot\mathbf{u}_j}{\mathbf{u}_j\cdot\mathbf{u}_j}$ — ingen radreduksjon. En kvadratisk matrise $U$ med ortonormale kolonner kalles ortogonal matrise og oppfyller $U^TU=UU^T=I$, så $U^{-1}=U^T$; den bevarer lengder og vinkler.

Eksempel 1 (koordinater i ortogonal basis):
Ortogonal basis $\mathbf{u}_1=(1,1,0),\ \mathbf{u}_2=(1,-1,0),\ \mathbf{u}_3=(0,0,1)$, og $\mathbf{y}=(4,2,5)$. Da er $c_1=\dfrac{4+2}{2}=3,\ c_2=\dfrac{4-2}{2}=1,\ c_3=\dfrac{5}{1}=5$. Kontroll: $3(1,1,0)+(1,-1,0)+5(0,0,1)=(4,2,5)$. ✓

Ortogonal projeksjon

Projeksjonen av $\mathbf{y}$ på en linje utspent av $\mathbf{u}$ er $\hat{\mathbf{y}}=\dfrac{\mathbf{y}\cdot\mathbf{u}}{\mathbf{u}\cdot\mathbf{u}}\mathbf{u}$. For et underrom $W$ med ortogonal basis $\{\mathbf{u}_1,\dots,\mathbf{u}_p\}$ summerer man bidragene: $\operatorname{proj}_W\mathbf{y}=\sum_j\dfrac{\mathbf{y}\cdot\mathbf{u}_j}{\mathbf{u}_j\cdot\mathbf{u}_j}\mathbf{u}_j$. Ortogonal Dekomposisjonsteorem gir $\mathbf{y}=\hat{\mathbf{y}}+\mathbf{z}$ entydig med $\hat{\mathbf{y}}\in W$ og $\mathbf{z}\in W^\perp$. Best Approximation Theorem sier at $\hat{\mathbf{y}}$ er det nærmeste punktet i $W$, og $\|\mathbf{z}\|$ er avstanden til $W$. Sammenhengen $(\operatorname{Col}A)^\perp=\operatorname{Nul}(A^T)$ binder projeksjon til minste kvadraters problem $A^TA\hat{\mathbf{x}}=A^T\mathbf{b}$.

Eksempel 2 (avstand til linje):
$\mathbf{y}=(4,8,1)$, $W=\operatorname{Span}\{(1,1,0)\}$. $\mathbf{y}\cdot\mathbf{u}=12,\ \mathbf{u}\cdot\mathbf{u}=2$, så $\hat{\mathbf{y}}=\dfrac{12}{2}(1,1,0)=(6,6,0)$. Da er $\mathbf{z}=\mathbf{y}-\hat{\mathbf{y}}=(-2,2,1)$ og avstanden $\|\mathbf{z}\|=\sqrt{4+4+1}=3$.

Gram-Schmidt

Gram-Schmidt gjør en vilkårlig basis $\{\mathbf{x}_1,\dots,\mathbf{x}_p\}$ om til en ortogonal basis: $\mathbf{v}_1=\mathbf{x}_1$, og $\mathbf{v}_k=\mathbf{x}_k-\sum_{j

Eksempel 3 (Gram-Schmidt):
$\mathbf{x}_1=(1,1,0),\ \mathbf{x}_2=(1,0,1)$. $\mathbf{v}_1=(1,1,0)$. $\mathbf{x}_2\cdot\mathbf{v}_1=1,\ \mathbf{v}_1\cdot\mathbf{v}_1=2$, så $\mathbf{v}_2=(1,0,1)-\tfrac12(1,1,0)=(\tfrac12,-\tfrac12,1)$. Kontroll: $\mathbf{v}_2\cdot\mathbf{v}_1=\tfrac12-\tfrac12+0=0$. ✓ Normalisert: $\mathbf{q}_2=\tfrac{1}{\sqrt6}(1,-1,2)$.

QR-faktorisering

Hvis $A$ ($m\times n$) har lineært uavhengige kolonner, kan den skrives $A=QR$ der $Q$ har ortonormale kolonner ($Q^TQ=I$) og $R=Q^TA$ er øvre triangulær med positive diagonalelementer (gir entydighet). Kolonnene i $Q$ er nettopp den ortonormale basisen fra Gram-Schmidt på kolonnene i $A$, og $R_{kk}=\|\mathbf{v}_k\|$. QR brukes til å løse minste kvadraters problem stabilt via $R\mathbf{x}=Q^T\mathbf{b}$, løst med bakoversubstitusjon.

Studieguide: Indreprodukt og ortogonalitet

Studieguide: Indreprodukt og ortogonalitet