Hva er en aktiveringsfunksjon, og hvorfor trengs den?
Klikk for å snu kortet
En aktiveringsfunksjon innfører ikke-linearitet i et nevralt nett; uten den ville stablede lag kollapse til én lineær transformasjon. Vanlige valg er ReLU (max(0,x), enkel og motvirker forsvinnende gradienter), sigmoid (0–1, for sannsynligheter) og tanh (−1–1). Ikke-lineariteten lar nettet lære komplekse, ikke-lineære sammenhenger.
Space / Enter for å snu