Cheat Sheet

Regulaere uttrykk

• •[abc] = tegnklasse, [0-9] = siffer, [a-z] = smaa bokstaver
• •\d = siffer, \s = mellomrom, \w = ordtegn, . = vilkaarlig tegn
• •? = 0/1, * = 0+, + = 1+, {n} = noyaktig n, {n,m} = n-m
• •| = disjunksjon (lav presedens!), () = gruppering
• •\. = escaped punktum, ^ = start, $ = slutt

Morfologi

• •Boyning (fleksjon): endrer grammatisk form, beholder ordklasse
• •Avledning: affiks endrer ordklasse/betydning (tjene -> tjeneste)
• •Sammensetning: frie morfemer kombineres (jule + nisse + drakt)
• •Ordklassekriterier: formelle, syntaktiske, semantiske

N-gram og sprakmodeller

• •P(w2|w1) = C(w1 w2) / C(w1) -- bigram
• •P(setning) = P(w1|) * P(w2|w1) * ... * P(|wn)
• •Laplace-glatting: P(w|c) = (C(w,c) + 1) / (C(c) + V)
• •Markov-antakelsen: neste ord avhenger kun av n-1 foregaaende

Regulaere uttrykk

• •[abc] -- tegnklasse, matcher ett av tegnene a, b, c
• •[0-9] eller \d -- matcher et siffer
• •a|b -- disjunksjon, matcher a ELLER b (lav presedens!)
• •? = 0/1, * = 0+, + = 1+, {n} = noyaktig n, {n,m} = n til m
• •() -- gruppering (styrer presedens) og fangst
• •\. -- escaped punktum (matcher bokstavelig punktum)
• •\s -- mellomrom, tab, newline

Morfologi og ordklasser

• •Morfem = minste betydningsbaerende enhet
• •Avledning: legger til affiks som endrer ordklasse/betydning
• •Sammensetning: kombinerer frie morfemer til nytt ord
• •Ordklassekriterier: formelle (boyning), syntaktiske (plassering), semantiske (betydning)
• •Ordklasser: NOUN, VERB, ADJ, ADV, PREP, DET, PRON, KONJ, SUBJ

Sprakmodeller og n-gram

• •P(w2 | w1) = C(w1 w2) / C(w1) -- bigram-sannsynlighet
• •

Regulaere uttrykk

• •Glemme at disjunksjon (|) har lav presedens. /ab|cd/ matcher 'ab' eller 'cd', IKKE 'a(b|c)d'. Bruk parenteser for aa avgrense.
• •Forveksle ? (0 eller 1) med * (0 eller flere). Bruk ? naar noe er valgfritt men maks ett.
• •Glemme aa escape punktum. Uescapet . matcher ALLE tegn, ikke bare et faktisk punktum.
• •Bygge for brede uttrykk som matcher for mye. Vaer sa spesifikk som mulig med tegnklasser.

Morfologi og ordklasser

• •Forveksle boyning og avledning. Boyning endrer IKKE ordklasse (gutt->gutter), avledning KAN endre ordklasse (tjene->tjeneste).
• •Glemme at mange ord er flertydige mellom ordklasser. 'for' kan vaere preposisjon, konjunksjon eller adverb avhengig av kontekst.
• •Klassifisere 'det' som bare pronomen -- det kan ogsaa vaere determinativ/artikkel ('det store huset').
• •Blande adverb og adjektiv. 'fort' er adverb (modifiserer verb), 'rask' er adjektiv (modifiserer substantiv).

Sprakmodeller og n-gram

• •Glemme aa inkludere og naar du teller n-gram. De er tokens som skal telles med!
• •Blande teller og nevner i bigram-formelen. Telleren er antall ganger bigrammet (w1,w2) forekommer, nevneren er antall ganger w1 forekommer.
• •

Regulaere uttrykk

• •Bryt ned komplekse regex-oppgaver i delproblemer. Skriv regex for dag, maned, ar, pris osv. separat, og sett dem sammen.
• •Test regex-et ditt mentalt mot eksemplene i oppgaveteksten -- bade de som SKAL og de som IKKE SKAL matche.
• •Regex-oppgaven er typisk verdt 10-15% og kommer alltid forst. Den er tidkrevende -- bruk ca. 30 minutter.
• •To oppgavetyper gar igjen: skriv et regex selv (datoer, adresser, billetter, boyningsformer, forkortelser) OG analyser et gitt regex (hvilken streng matcher ikke, kan en parentes fjernes, er pastanden sann). Oev pa begge.
• •Husk koblingen til endelige tilstandsmaskiner: du kan bli bedt om en transisjonstabell og a begrunne om maskinen er deterministisk (DFA) eller ikke (flere transisjoner pa samme symbol = ikke-deterministisk).

Morfologi og ordklasser

• •Ordklasseoppgaven gir typisk 5-10 poeng og tester om du kan anvende de tre kriteriene. Nevn alltid alle tre i teorisporsmaal.
• •Bruk konteksten aktivt. Et ord kan vaere ulike ordklasser i ulike setninger -- se paa hva som staar rundt ordet.
• •Paa H2022-eksamen var affikstyper testet med paring-oppgave. Oeev paa aa skille mellom boynings- og avledningsaffikser.
• •Et fast teori-spoersmaal er aa sammenligne regelbaserte og statistiske taggere. Faa med at regelbaserte regler defineres MANUELT, og at statistiske modeller laeres fra et ANNOTERT korpus -- det er disse to ordene sensor ser etter.

Sprakmodeller og n-gram