Studieguide for TTT4185 Maskinlæring for signalbehandling

Oppbygning av et flerlags perceptron

Et flerlags perceptron (MLP) er bygd av lag der hvert lag gjør en affin transformasjon etterfulgt av en ikke-lineær aktiveringsfunksjon. La $v^{l-1}$ være utgangsvektoren fra lag $l-1$ og $z^l$ være inngangsvektoren til lag $l$. Da er $z^l = W v^{l-1} + b$, der $W$ er en vektmatrise og $b$ en biasvektor, og utgangen blir $v^l = g(z^l)$ for en aktiveringsfunksjon $g$.

Universell approksimasjon

Et nettverk med ett skjult lag kan i prinsippet approksimere enhver kontinuerlig funksjon mellom inngang og utgang. Problemet er at antallet noder i det skjulte laget da må bli svært stort. Et dypt nettverk oppnår samme uttrykkskraft med langt færre noder per lag, fordi senere lag kan bygge videre på sammensatte representasjoner fra tidligere lag.

Telling av frie parametre

Dette er det mest forutsigbare regnespørsmålet i faget. La $N_l$ være antall noder i lag $l$. Et lag som går fra $N_{l-1}$ til $N_l$ noder har $N_{l-1}\cdot N_l$ vekter og $N_l$ bias.

Aktiveringsfunksjon i utgangslaget

Valget styres av oppgavetypen. For en klassifikator vil man at utgangene skal være positive og summere til 1, altså en sannsynlighetsfordeling — da bruker man softmax, $\displaystyle z_i = e^{v_i} / \sum_j e^{v_j}$. For en regresjonsoppgave bruker man et lineært utgangslag, $z_i = v_i$, slik at utgangen kan ta vilkårlige reelle verdier.