Oversikt

Dette temaet handler om å gjenkjenne feilkilder og vurdere forskningsbaserte påstander kritisk — en ferdighet som står eksplisitt i emnets læringsutbytte. På eksamen kommer det sjelden som en egen oppgave, men nesten alltid som deloppgaver: «Hva er problematisk med denne undersøkelsen?», «Vil du si at det er noen klare feilkilder?», «Hvorfor skal man være forsiktig med å trekke slutninger om årsak og virkning?». Det er derfor et av de mest lønnsomme temaene å beherske: det gir poeng i flere oppgaver samtidig. Merk avgrensningen — emnet handler om feilkilder i forskningsdesign, ikke om kognitive bias, logiske feilslutninger eller kildekritikk i allmenn forstand.

De tre kildene til variasjon

All variasjon i en avhengig variabel kan deles i tre, og skillet er nøkkelen til å forstå feilkilder:

Planlagt systematisk varians: den delen som skyldes manipulasjonen av UV. Dette er signalet, og det maksimeres ved å velge tydelig atskilte nivåer på UV.
Systematisk feilvarians (konfundering): variasjon som skyldes en annen variabel som følger manipulasjonen systematisk. Gir gale konklusjoner og truer indre validitet.
Tilfeldig feilvarians (støy): uorganisert variasjon fra individuelle forskjeller, dagsform og målefeil. Gir upresise konklusjoner og reduserer statistisk styrke.

Idealet uttrykkes som «maksimer, kontroller, minimer». Det avgjørende poenget: systematisk feilvarians forsvinner ikke av flere deltakere — den blir bare mer presist estimert. Tilfeldig feilvarians kan kompenseres med større utvalg og bedre måling.

Trusler mot indre validitet — sjekklisten

Blir du bedt om å vurdere en studie, gå systematisk gjennom denne listen:

Seleksjon: var gruppene forskjellige før manipulasjonen? Hovedtrusselen når randomisering mangler.
Frafall (mortalitet): forsvant deltakere systematisk fra én gruppe?
Historie: skjedde det noe i perioden som påvirket utfallet?
Modning: endret deltakerne seg av seg selv over tid?
Testeffekter: påvirket førmålingen ettermålingen gjennom øvelse eller økt oppmerksomhet?
Instrumentering: endret måleinstrumentet eller observatøren seg underveis?
Regresjon mot gjennomsnittet: ble deltakerne valgt fordi de skåret ekstremt? Da vil de skåre nærmere midten ved neste måling, uansett tiltak.
Overføringseffekter: i innengruppedesign — er rekkefølge konfundert med betingelse?
Reaktivitet og demand characteristics: skjønte deltakerne hva som ble studert?
Diffusjon: fikk kontrollgruppen kjennskap til tiltaket?

Gjennomregnet eksempel: Klasse A tar en matematikkprøve om formiddagen i godt dagslys, klasse B samme prøve sent på ettermiddagen i dårlig lys. Klasse A skårer høyest. Her er minst to trusler aktive: seleksjon (klassene kan ha ulik matematikkferdighet fra før, og det finnes ingen førmåling) og konfundering (lysforhold varierer i takt med tid på dagen, så trøtthet og sult kan forklare alt). Rettelsen er individuell randomisering, felles tidspunkt for begge betingelser, og en førmåling som kovariat.

Feilkilder i selvrapport og måling

Sosial ønskverdighet: uønskede egenskaper underrapporteres. Systematisk feil, altså et validitetsproblem.
Ja-siing: tendensen til å si seg enig uansett innhold.
Slurvete besvarelse: særlig i lange nettskjemaer.
Hukommelsesskjevhet: retrospektive spørsmål besvares ut fra nåværende tilstand.
Gulv- og takeffekter: ligger deltakerne alt i den ene enden, kan endring ikke måles.
Attenuering: lav reliabilitet demper observerte sammenhenger systematisk.

Vanlige feiltolkninger av statistikk

Fire feilslutninger som sensorveiledningene nevner spesifikt:

«\(p = 0{,}03\) betyr 3 % sannsynlighet for at H0 er sann.» Galt. p er sannsynligheten for dataene gitt H0, ikke omvendt.
«\(p = 0{,}45\) beviser at det ikke er noen forskjell.» Galt. Fravær av bevis er ikke bevis for fravær — studien kan ha for lav styrke.
«\(p = 0{,}001\) viser en større effekt enn \(p = 0{,}04\).» Galt. p-verdien blander sammen effektstørrelse og utvalgsstørrelse.
«Vi fant ingen signifikant effekt, så behandlingen virker ikke.» For sterkt. Oppgi konfidensintervallet og la leseren vurdere hvilke effekter som fortsatt er forenlige med dataene.

Legg til: å bruke en rekke t-tester i stedet for variansanalyse ved tre eller flere grupper, og å gi en korrelasjon en kausal tolkning uten å drøfte retning, tredjevariabel og spuriøsitet.

Å vurdere en påstand i media

Skal du vurdere en overskrift av typen «Ny studie viser at studenter som trener, får bedre karakterer», bør du spørre: Hva slags design — randomisert eller korrelasjonelt? Hvor stort og hvordan trukket er utvalget? Hvor stor er effekten, og hva er \(r^2\)? Hvordan er variablene operasjonalisert? Hvor mange analyser ble kjørt? Er funnet replikert?

Verbet «viser» er som regel det som gjør slike overskrifter misvisende. En dekkende formulering erstatter kausalt språk med samvariasjonsspråk, angir størrelsen, og oppgir hvem funnet gjelder for.

Forskningskulturelle feilkilder

Til sist de systemiske problemene, som er nyttige å nevne kort når oppgaven inviterer til det: publikasjonsskjevhet (signifikante funn publiseres oftere), forskerens frihetsgrader (analysevalg truffet etter å ha sett dataene), HARKing (hypoteser formulert i etterkant) og lav statistisk styrke. Sammen forklarer de mye av replikasjonsproblemene i faget, og mottiltakene er forhåndsregistrering, deling av data og rapportering av effektstørrelser.

Studieguide: Feilkilder og kritisk vurdering