Oversikt

Før noe kan analyseres, må det måles. Temaet forekommer i om lag sju av ti eksamenssett, og nesten alltid knyttet til et spørreskjema eller en test i scenarioet: «Hva menes med at skjemaet har god reliabilitet?», «Hvordan ville du undersøkt om testen er valid?». Merk avgrensningen: her handler validitet om måleinstrumentet, ikke om indre og ytre validitet, som gjelder slutninger og design.

Operasjonalisering

Operasjonalisering er å oversette et abstrakt begrep til noe observerbart. «Ekstroversjon» blir gjennomsnittet av tjue leddsvar; «aggresjon» blir antall dytt registrert av to observatører i et friminutt; «stress» blir kortisol i saliva. Et poeng som gir uttelling: alle operasjonaliseringer er ufullstendige. Ingen enkeltmåling dekker hele begrepet, og derfor er det en styrke å måle det samme på flere måter.

Målenivå og hva som er tillatt

Nivå	Kjennetegn	Tillatt
Nominal	Kategorier uten rangering (studieretning)	Frekvens, andel, modus. Ikke gjennomsnitt.
Ordinal	Rangering, ulik avstand mellom trinn («litt–ganske–svært»)	Median, kvartiler, rangkorrelasjon
Intervall	Lik avstand, vilkårlig nullpunkt (standardisert testskår)	Gjennomsnitt, standardavvik, Pearsons r
Forhold	Lik avstand og absolutt nullpunkt (reaksjonstid)	Alt over, samt forholdstall

Nivået bestemmer hvilke analyser som er meningsfulle. Å regne gjennomsnittlig postnummer er meningsløst, og en IQ på 120 er ikke «dobbelt så høy intelligens» som 60, fordi intervallnivå mangler absolutt nullpunkt. I praksis behandles summen av mange likertledd ofte som intervallnivå, mens et enkeltledd strengt tatt er ordinalt — nevner du den forenklingen, viser du forståelse.

Reliabilitet

Reliabilitet er målingens stabilitet og konsistens: gir instrumentet det samme resultatet når det som måles, er uendret? Formene du skal kunne:

Test–retest: samme test til samme personer to ganger, og korrelasjonen mellom skårene. Intervallet må være langt nok til at svarene ikke huskes, men kort nok til at egenskapen ikke har endret seg.
Indre konsistens (Cronbachs alfa): i hvilken grad leddene i skalaen måler det samme. Alfa øker både med leddenes samvariasjon og med antallet ledd — en alfa på \(0{,}90\) i en skala med femti ledd er derfor mindre imponerende enn den ser ut. Split-half er den enkle forgjengeren: skalaen deles i to halvdeler som korreleres.
Inter-rater (mellom bedømmere): i hvilken grad to observatører gir samme skår. Ved kategorier brukes Cohens kappa, ved kontinuerlige skårer korrelasjon.
Parallelle tester: to likeverdige versjoner korreleres. Løser hukommelsesproblemet i test–retest, men krever at versjonene faktisk er likeverdige.

Gjennomregnet eksempel: Cohens kappa

To observatører koder 100 videoklipp fra et friminutt som «aggressiv handling» eller «ikke aggressiv»:

	B: aggressiv	B: ikke	Sum A
A: aggressiv	30	10	40
A: ikke	5	55	60
Sum B	35	65	100

Observert enighet: \(p_o = (30 + 55)/100 = 0{,}85\).

Forventet enighet ved tilfeldighet regnes fra marginalene. A kodet 40 prosent som aggressive, B kodet 35 prosent: \(0{,}40 \cdot 0{,}35 = 0{,}14\). For «ikke aggressiv»: \(0{,}60 \cdot 0{,}65 = 0{,}39\). Summen er \(p_e = 0{,}14 + 0{,}39 = 0{,}53\).

\[\kappa = \frac{p_o - p_e}{1 - p_e} = \frac{0{,}85 - 0{,}53}{1 - 0{,}53} = \frac{0{,}32}{0{,}47} = 0{,}68\]

Kontroll: \(0{,}68 \cdot 0{,}47 = 0{,}32\), som er differansen mellom observert og forventet enighet.

Tolkning: 85 prosent enighet ser sterkt ut, men over halvparten av den enigheten ville oppstått av seg selv fordi begge kodere sjelden bruker aggresjonskategorien. Kappa på \(0{,}68\) beskriver enigheten utover tilfeldighet og regnes som brukbar, men ikke god nok for kliniske avgjørelser. Merk også at uenigheten er skjev: A koder ti klipp som aggressive der B ikke gjør det, mot bare fem den andre veien, så A har videre terskel. Tiltaket er en tydeligere kodemanual, felles opplæring på øvingsklipp og ny kappaberegning før kodingen starter.

Validitet i måling

Innholdsvaliditet: dekker leddene hele begrepet? Måler et skjema for eksamensangst bare kroppslige symptomer, er innholdsvaliditeten svak.
Begrepsvaliditet (konstruktvaliditet): måler instrumentet det teoretiske begrepet? Undersøkes gjennom konvergent validitet (høy sammenheng med mål på beslektede begreper) og divergent validitet (lav sammenheng med mål på noe annet).
Kriterievaliditet: samsvarer skåren med et uavhengig kriterium? Deles i samtidig validitet (kriteriet måles nå, for eksempel en klinisk diagnose) og prediktiv validitet (kriteriet ligger fram i tid, for eksempel karakterer to år senere).
Ansiktsvaliditet (face): ser instrumentet relevant ut for den som svarer? Påvirker motivasjon og aksept, men er verken nødvendig eller tilstrekkelig for de andre formene — og et gjennomsiktig skjema er lettere å pynte på.

Reliabilitet, validitet og attenuering

En test kan være reliabel uten å være valid: den måler stabilt, men noe annet enn det du er ute etter. Det motsatte er umulig — måler du med stor tilfeldig feil, kan skåren ikke samsvare godt med noe. Reliabilitet er derfor nødvendig, men ikke tilstrekkelig for validitet, og hvor mye som kreves, avhenger av formålet: et gruppegjennomsnitt tåler lavere reliabilitet enn en beslutning om en enkeltperson.

Sammenhengen kan tallfestes: lav reliabilitet demper observerte korrelasjoner systematisk.

\[r_{obs} = r_{sann} \sqrt{r_{xx} r_{yy}}\]

Gjennomregnet eksempel: Den sanne sammenhengen mellom arbeidsminne og skoleprestasjon er \(r_{sann} = 0{,}60\). Minnetesten har \(r_{xx} = 0{,}80\), mens prestasjonsmålet er en enkelt lærervurdering med \(r_{yy} = 0{,}50\). Da blir \(\sqrt{0{,}80 \cdot 0{,}50} = \sqrt{0{,}40} = 0{,}63\), og \(r_{obs} = 0{,}60 \cdot 0{,}63 = 0{,}38\).

Sammenhengen krymper fra \(0{,}60\) til \(0{,}38\), og \(r^2\) faller fra \(0{,}36\) til \(0{,}14\) — fra 36 til 14 prosent forklart varians — bare fordi målingene er upresise. Snur du formelen, får du korreksjonen: \(0{,}38 / 0{,}63 = 0{,}60\). Kontroll: selv med \(r_{sann} = 1\) ville det høyeste observerbare være \(0{,}63\) — taket målekvaliteten setter. Erstattes lærervurderingen med et snitt av flere vurderinger, slik at \(r_{yy}\) stiger til \(0{,}90\), blir taket \(\sqrt{0{,}80 \cdot 0{,}90} = 0{,}85\) og den observerte sammenhengen \(0{,}60 \cdot 0{,}85 = 0{,}51\). Bedre måling ga altså mer enn flere deltakere ville gitt.

Systematisk og tilfeldig målefeil

Tilfeldig feil varierer uforutsigbart, drar skårene i begge retninger, jevner seg ut i gjennomsnittet og rammer reliabiliteten. Kilder er dagsform, støy, slurv og uklare ledd. Systematisk feil drar alle skårene i samme retning, rammer validiteten, og forsvinner ikke av flere deltakere.

Responsstiler og skjevheter i selvrapport

Sosial ønskverdighet: uønskede egenskaper underrapporteres. Mottiltak er anonymitet og nøytrale formuleringer.
Ja-siing (akkvisens): tendensen til å si seg enig uansett innhold. Mottiltaket er å snu retningen på om lag halvparten av leddene.
Midtpunkts- og ytterpunktstendens: noen holder seg til midten, andre bruker bare endepunktene.
Hukommelsesskjevhet: retrospektive spørsmål besvares ut fra nåværende tilstand.
Gulv- og takeffekt: er oppgaven for vanskelig eller for lett, klumper skårene seg i den ene enden. Spredningen blir kunstig liten, endring kan ikke måles, og korrelasjoner dempes. Piloten avdekker dette.

Hvordan ledd formuleres

Ett spørsmål per ledd, konkret tidsramme, hverdagslige ord, ingen doble nektelser, ingen ledende formuleringer og ingen fagtermer respondenten må gjette seg til. Et ledd som «Er du enig i at man ikke bør unnlate å be om hjelp?» er ubrukelig fordi ingen vet hva «enig» betyr her. Svaralternativene må dekke alle svar og utelukke hverandre.

Studieguide: Måling, reliabilitet og validitet