Oversikt

Utvalg og generaliserbarhet er ett av de temaene som oftest åpner et eksamenssett — typisk som deloppgave b: «Hva slags utvalg har vi med å gjøre? Hvordan påvirker utvalgsteknikken tolkningen av resultatene?» Temaet har også kommet som en full oppgave, blant annet om populasjon mot utvalg, samplingsprosedyrer og generaliserbarhet, og om trusler mot ekstern validitet. Kjernen er enkel å formulere og vanskelig å gjøre godt: hva du kan si om populasjonen, avhenger av hvordan du fikk utvalget ditt.

Populasjon og utvalg

Populasjonen er hele gruppen du ønsker å uttale deg om. Utvalget er den delen du faktisk måler, ment som en «miniatyrkopi» av populasjonen. Et poeng som gir ekstra uttelling: sampling gjelder ikke bare personer, men også observasjoner — hvilke situasjoner, tidspunkter, oppgaver og stimuli du velger, begrenser generaliseringen på samme måte.

Fordi utvalget bare er én av uendelig mange mulige trekninger, vil utvalgsverdien nesten aldri treffe populasjonsverdien eksakt. Denne utvalgsvariasjonen er ikke en feil, men en uunngåelig følge av å måle en del framfor helheten — og den er selve grunnlaget for hele slutningsstatistikken.

Sannsynlighetsutvalg

I et sannsynlighetsutvalg har alle i populasjonen en kjent sjanse for å bli trukket. Dette er forutsetningen for statistisk generalisering.

Enkelt tilfeldig utvalg: alle har lik sjanse, og trekkingen er uavhengig. Krever en fullstendig liste over populasjonen.
Systematisk utvalg: hver n-te enhet fra en liste, med tilfeldig startpunkt. Enkelt, men problematisk hvis listen har en skjult syklisk struktur.
Stratifisert utvalg: populasjonen deles i lag (strata) etter en viktig variabel, og det trekkes tilfeldig innenfor hvert. Ved proporsjonal stratifisering trekkes det i samme forhold som i populasjonen. Sikrer representasjon av små undergrupper og gir ofte høyere presisjon enn enkel trekking.
Klyngeutvalg (cluster): hele naturlige grupper trekkes — skoleklasser, bydeler, sykehusavdelinger. Praktisk når det ikke finnes individliste, men gir lavere presisjon fordi personer innen samme klynge ligner hverandre.

Ikke-sannsynlighetsutvalg

Bekvemmelighetsutvalg: de som er lettest tilgjengelige — studenter i en forelesning, respondenter på Facebook. Den klart vanligste formen i praksis, og den som oftest etterspørres på eksamen.
Snøballutvalg: deltakerne rekrutterer videre i eget nettverk. Nyttig ved vanskelig tilgjengelige grupper, men gir skjevhet mot dem som er godt sosialt forbundet.
Formålstjenlig (purposive) utvalg: deltakerne velges bevisst etter kriterier som er relevante for spørsmålet. Standard i kvalitativ forskning, der målet er informasjonsrikdom framfor representativitet.
Kvoteutvalg: man fyller forhåndsbestemte kvoter, men uten tilfeldig trekking innenfor dem.

Frivillighetsskjevhet

Fordi forskningsetikken krever frivillig samtykke, består alle utvalg av frivillige. Pensum peker på kjennetegn ved dem som melder seg: høyere utdanning og sosioøkonomisk status, mer utadvendthet, større behov for anerkjennelse, høyere intelligensskårer og større interesse for temaet. Noen kjennetegn er «ofte til stede», andre bare «kan være til stede» — og flere er mindre relevante for norske forhold, der utdanningsnivået er jevnere fordelt.

Det avgjørende poenget: skjevheten er systematisk og reduseres ikke av å rekruttere flere frivillige. Den truer først og fremst ytre validitet — men indre validitet rammes også dersom skjevheten virker ulikt i tiltaks- og kontrollgruppen, for eksempel når bare tiltaksgruppen krever ekstra innsats å delta i.

Generaliserbarhet og ytre validitet

Ytre validitet er i hvilken grad funnene gjelder for andre personer, situasjoner, tidspunkter og operasjonaliseringer. Trusler:

Snevre utvalg: psykologistudenter i tjueårene er ikke befolkningen.
Kunstige betingelser: aggresjon målt som knappetrykk i et laboratorium er ikke aggresjon i en skolegård.
Reaktivitet: deltakerne endrer atferd fordi de vet at de studeres.
Ensidige operasjonaliseringer: funnet kan være knyttet til den ene måten man målte begrepet på.
Lav svarprosent og selektivt frafall.

Merk spenningen mot indre validitet: streng kontroll gir sikker årsaksslutning, men kunstig setting og dermed dårligere generalisering. Ingen enkeltstudie kan maksimere begge.

Utvalgsstørrelse — regn på det

Standardfeilen viser hvordan presisjonen avhenger av utvalgsstørrelsen:

\[SE=\frac{SD}{\sqrt{n}}\]

Gjennomregnet eksempel: Med \(SD = 12\) og \(n = 36\) blir \(SE = 12/\sqrt{36} = 12/6 = 2{,}0\). Øker vi til \(n = 144\), blir \(SE = 12/\sqrt{144} = 12/12 = 1{,}0\). Å firedoble utvalget halverte standardfeilen — presisjonen øker med kvadratroten av \(n\), ikke proporsjonalt. Det er derfor gevinsten av flere deltakere avtar raskt.

Riktig utvalgsstørrelse bestemmes ved en styrkeberegning før datainnsamlingen, ut fra ønsket styrke (konvensjonelt 0,80), \(\alpha\) og minste effektstørrelse man vil kunne oppdage. Å samle inn data til p-verdien passerer 0,05 blåser opp type I-feilraten kraftig.

Er det da alltid lurt å øke utvalget? Nei: trivielle forskjeller blir statistisk signifikante, ressursbruken øker, og flere personer belastes enn nødvendig — også et etisk hensyn. Og et stort, skjevt utvalg er verre enn et lite, representativt, fordi det gir presise estimater av en gal verdi.

Hva du bør rapportere om utvalget

\(n\) samlet og per gruppe, hvordan deltakerne ble rekruttert, svarprosent og frafall med begrunnelse, demografiske kjennetegn (alder med gjennomsnitt og SD, kjønnsfordeling i antall og prosent), og eventuelle inklusjons- og eksklusjonskriterier. Uten dette kan leseren ikke vurdere hvem funnene gjelder for.

Studieguide: Utvalg og generaliserbarhet

Studieguide: Utvalg og generaliserbarhet