A/B-testing og eksperimentering

A/B-testing er den gylne standarden for å bevise kausalitet i markedsføring. Mens korrelasjon kan identifiseres med observasjonsdata, krever kausale slutninger et kontrollert eksperiment. A/B-tester lar markedsførere ta datadrevne beslutninger om hva som faktisk fungerer, fremfor å gjette.

Grunnleggende eksperimentdesign

Elementene i en A/B-test

Kontrollgruppe (A): Eksponeres for nåværende versjon (status quo)
Testgruppe (B): Eksponeres for ny versjon (endringen du tester)
Randomisering: Tilfeldig tilordning av individer til grupper — eliminerer systematisk seleksjonsbias
KPI/responsvariabel: Det du måler (konverteringsrate, gjennomsnittlig ordverdi, CTR)
Uavhengig variabel: Det du endrer (overskrift, farge, pris, layout)

Grunntanke: Endre kun én ting av gangen. Hvis du endrer både overskrift og bilde samtidig, vet du ikke hva som forårsaket effekten.

Hypotesetesting

Nullhypotese og alternativ hypotese

$H_0$ (nullhypotese): Det er ingen forskjell mellom A og B. Enhver observert forskjell skyldes tilfeldigheter.

$H_1$ (alternativ hypotese): Det er en reell forskjell mellom A og B.

Vi tester om observert forskjell er stor nok til å forkaste $H_0$ med tilstrekkelig sikkerhet.

Statistisk signifikans og feiltyper

p-verdi: Sannsynligheten for å observere en så stor (eller større) forskjell, gitt at $H_0$ er sann. Lav p-verdi = sterk evidens mot $H_0$.
Signifikansnivå ($\alpha$): Terskelen for å forkaste $H_0$. Typisk $\alpha = 0{,}05$ (5 %).
Beslutningsregel: Hvis $p < \alpha$: forkast $H_0$ (signifikant). Hvis $p \geq \alpha$: behold $H_0$ (ikke signifikant).

To typer feil

Type I-feil (falsk positiv): Forkaster $H_0$ når den er sann — tror det er en effekt som ikke finnes. Sannsynlighet = $\alpha$.
Type II-feil (falsk negativ): Beholder $H_0$ når den er usann — overser en reell effekt. Sannsynlighet = $\beta$.
Statistisk kraft (power): $1 - \beta$. Sannsynligheten for å oppdage en reell effekt. Ønsket nivå: minst 80 %.

Eksempel: A/B-test av landingsside

En nettbutikk tester to versjoner av produktsiden:

A (kontroll): Nåværende design. 5 000 besøkende, 150 kjøp → CR = 3,0 %
B (test): Ny «Legg i handlekurv»-knapp. 5 000 besøkende, 185 kjøp → CR = 3,7 %

Lift = $(3{,}7 - 3{,}0) / 3{,}0 \times 100\% = 23{,}3\%$

Statistisk test gir $p = 0{,}031$. Siden $p < 0{,}05$: signifikant resultat → implementer versjon B.

Viktig: Forskjellen er 0,7 prosentpoeng. Det virker lite, men med 500 000 månedlige besøkende betyr det 3 500 ekstra kjøp/mnd!

Utvalgsstørrelse og test-varighet

Nødvendig utvalgsstørrelse

Før du starter en A/B-test, beregn nødvendig utvalgsstørrelse. Avhenger av:

Baseline-rate: Nåværende konverteringsrate (jo lavere, jo flere trengs)
MDE (Minimum Detectable Effect): Minste forbedring du vil kunne oppdage
Signifikansnivå ($\alpha$): Typisk 0,05
Kraft ($1-\beta$): Typisk 0,80

Tommelfingerregel: For å oppdage en 10 % relativ forbedring av en baseline-rate på 3 %, trengs ca. 30 000 per gruppe (60 000 totalt).

Vanlige fallgruver i A/B-testing

Peeking (kikke underveis): Å sjekke resultater daglig og stoppe testen ved signifikans øker Type I-feil dramatisk. Bestem testperiode på forhånd.
For liten sample: Testen har ikke nok power til å oppdage reelle forskjeller → Type II-feil.
Simpson's Paradox: Samlet resultat viser A > B, men B > A i hvert segment. Kan oppstå ved ulik trafikkmiks mellom dager/enheter.
Novelty effect: Ny versjon gjør det bra initialt fordi den er ny, ikke fordi den er bedre. Kjør test lenge nok til effekten stabiliserer seg.
Sesongeffekter: Test over hele uker for å unngå dag-av-uke-effekter. Test ikke i høysesong (Black Friday) og generaliser til normaltid.
Multiple testing: Tester du 20 varianter, vil i snitt én gi signifikant resultat ved tilfeldighet ($0{,}05 \times 20 = 1$). Bruk Bonferroni-korreksjon.

Avanserte testmetoder

Multivariate testing (MVT)

Tester flere variabler samtidig (f.eks. overskrift × bilde × knappfarge). Gir interaksjonseffekter men krever mye mer trafikk.

Bayesiansk A/B-testing

I stedet for p-verdier gir bayesiansk testing en sannsynlighetsfordeling: «Det er 94 % sannsynlighet for at B er bedre enn A.» Mer intuitivt for beslutningstakere.

Bandit-algoritmer (Multi-Armed Bandit)

Dynamisk alløkering av trafikk til den varianten som presterer best. Balanserer utforskning og utnyttelse. Gir raskere gevinst men svakere kausale slutninger.

Eksamenstips: A/B-testing

Formuler alltid $H_0$ og $H_1$ eksplisitt
Beregn lift OG oppgi p-verdi — begge kreves for full poengsum
Diskuter praktisk vs. statistisk signifikans: en signifikant forskjell på 0,01 prosentpoeng er ikke nødvendigvis forretningsrelevant
Nevn fallgruver: peeking, novelty, sample size. Viser dyp forståelse.

Studieguide: A/B-testing og eksperimentering

Studieguide: A/B-testing og eksperimentering