Hvordan lese kvantitativ forskning
Per Arne Tufte
Hvordan lese kvantitativ forskning
2. utgave
© CAPPELEN DAMM AS, Oslo, 2025
ISBN 978-82-02-86296-1 2. utgave, 1. opplag 2025
Materialet i denne publikasjonen er omfattet av åndsverklovens bestemmelser. Uten særskilt avtale med Cappelen Damm AS er enhver eksemplarfremstilling og tilgjengeliggjøring bare tillatt i den utstrekning det er hjemlet i lov eller tillatt gjennom avtale med Kopinor, interesseorgan for rettighetshavere til åndsverk. Enhver bruk av hele eller deler av utgivelsen som input eller som treningskorpus i generative modeller som kan skape tekst, bilder, film, lyd eller annet innhold og uttrykk, er ikke tillatt uten særskilt avtale med rettighetshaverne.
Bruk av utgivelsens materiale i strid med lov eller avtale kan føre til inndragning, erstatningsansvar og straff i form av bøter eller fengsel.
Omslagsdesign: Cappelen Damm
Sats: Bøk Oslo AS Trykk og innbinding: Merkur Grafisk AS, 2025
Les mer om Cappelen Damms miljøarbeid ved å scanne QR-koden:
www.cda.no akademisk@cappelendamm.no
Forord
Denne boken er skrevet for den som ønsker å forholde seg til kvantitativ forskning uten nødvendigvis å gjennomføre slik forskning selv. Hensikten er å gjøre leseren i stand til å orientere seg i det vanskelige landskapet som kvantitativ forskning representerer, og kunne forholde seg kritisk til de resultatene denne forskningen presenterer. Samtidig er ikke boken en fullstendig innføring i kvantitativ metode. Dette krever en mer inngående presentasjon enn det som er rammen for denne boken. Derfor inneholder boken også tips om litteratur for den som ønsker å sette seg grundigere inn i de enkelte temaene.
Et viktig utgangspunkt for boken er at kvantitativ forskning gjerne framstår med stor autoritet: «tallenes tale». Og det er ingen tvil om at kvantitativ metode på sitt beste representerer en særskilt form for kunnskap. Likevel er det viktig å være klar over at det bak enhver kvantitativ undersøkelse – som enhver kvalitativ undersøkelse – ligger en rekke beslutninger tatt av mennesker. Og disse beslutningene innebærer veldig ofte avveininger mellom ulike typer onder. Med andre ord: Det perfekte forskningsdesignet finnes ikke, og det er risiko for feil i alle undersøkelser. I tillegg er det alltid en fare for rene feilvurderinger som forskere kan gjøre seg skyldige i.
Jeg har hatt mange inspirasjonskilder til denne boken. Den første er Ottar Helleviks systematiske innføringsbok i kvantitativ metode som i sin tid åpnet øynene mine for dette faget, ikke minst i sin vektlegging av skillet mellom substansielle og metodologiske forklaringer. Videre var jeg så heldig å kunne følge Odd Ramsøys metodeforelesninger, hvor han alltid vektla fortolkning. Hva forteller statistikken oss om det sosiale livet? I tillegg overvar jeg Jens B. Grøgaards hovedfagsforelesninger i kvantitativ metode, hvor det hele tiden ble lagt vekt på å kople analyser til teoretiske betraktninger. Å utforme kvantitative analysemodeller
er å tenke teori. Jeg vil også nevne Ole-Jørgen Skogs lærebok i regresjonsanalyse (2004), hvor han gjennomgående integrerer metode og teori på en måte få har klart å gjøre etter han. Men først og fremst vil jeg takke Asbjørn Johannessen for det samarbeidet vi hadde i mange år med formidling, undervisning og bokutgivelser i kvantitativ metode. Han var en institusjon her på OsloMet.
Alle disse har noe til felles, nemlig at metode også innebærer teori. Kvantitative analyser forteller en historie. Som Ørnulf Seippel så treffende skriver det i en artikkel: «Tall må også fortelles.» Kvantitativ metode innebærer ikke bare at det telles, men like mye – eller kanskje først og fremst – at det fortelles en historie. Det er utgangspunktet for denne boken.
Forord til andre utgave
I den andre utgaven er det gjort vesentlige revisjoner av boken. Hovedstrukturen med de ni metodeprinsippene er den samme, men del 2 i forrige utgave er nå innarbeidet i resten av boken slik at den får en ryddigere struktur. Vitenskapsteoretiske betraktninger (tidligere kapittel 12) er tatt inn i innledningskapittelet «Forskning viser at …». Det siste kapittelet inneholder nå en oppsummering basert på kapittel 11 og 13 i forrige utgave.
Det er foretatt en grundig språklig gjennomgang av teksten slik at tunge og upresise formuleringer er rettet opp. Det er blant annet rettet opp noen misvisende formuleringer i forbindelse med slutningsstatistikk.
De fleste eksemplene i boken er oppdatert med ny forskning. Jeg har valgt å prioritere undersøkelser foretatt av norske forskere. Eksemplene i ingressene er også bedre integrert i framstillingen i kapitlene.
Den største endringen er utvidelsen av kapittel 7, hvor jeg mer utførlig presenterer strategier for å gjennomføre årsaksforklarende undersøkelser. Dette innebærer blant annet at jeg har en grundigere gjennomgang av eksperimenter og kvasieksperimenter samt teknikker for å utføre statistisk kontroll for konkurrerende forklaringer.
I tillegg er kapittel 8 utvidet med en beskrivelse av flere statistiske teknikker for å undersøke sammenhenger mellom variabler.
Jeg vil takke Dorte Østreng for uvurderlig hjelp i forbindelse med begge utgavene av boken. Og ikke minst min samboer for tålmodighet mens jeg har sittet i annen etasje med manuskriptet.
Kapittel 6
Kunnskap oppstår ved sammenlikning .................................................
Betydning av sammenlikning og kontrast ..................................................
...............................................................................................
Kapittel 7
Enheter som sammenliknes, må være sammenliknbare............... 118
Å studere årsakssammenhenger 122
Kriterier for årsaksslutninger .........................................................................
Avklare tidsrekkefølgen
Eksperimentet – spesielt beregnet på studier av årsakssammenhenger ................................................................................
Kapittel 8
Å lete etter sammenhenger innebærer å lete etter forskjeller ..
– en utvidelse av frekvenstabellen .................
Signifikanssannsynlighet
Feil av type I og type II ................................................................................
Statistisk signifikante sammenhenger er ikke nødvendigvis betydningsfulle
Metaanalyser – én studie er ikke nok ..........................................................
Anbefalt litteratur ...............................................................................................
Kapittel 11
Hvordan lese kvantitativ forskning? ......................................................
Hvor finner man hva i forskningsartikler og -rapporter? 229 Et raskt overblikk ......................................................................................... 231 En grundigere oversikt................................................................................
Tolkes det korrekt? – en oppsummering
Metodologiske og substansielle forklaringer ....................................
Unngå magi – tolkninger må ha grunnlag i data og analyser 235 Sjekkliste for fortolkninger .......................................................................
1
Forskning viser at …
Vi har en forestilling om at forskning skal fortelle oss hvordan virkeligheten faktisk er. Likevel opplever vi ikke sjelden at forskningsresultater spriker. Hvorfor er det slik?
Det er ingen overdrivelse å hevde at vi lever i et samfunn hvor produksjon og bruk av kunnskap er satt i høysetet. All teknologi vi omgir oss med, bygger på kunnskap og forutsetter ofte opplæring før vi kan benytte oss av den. I tillegg består arbeidslivet av en rekke yrker og profesjoner med spesialisert kunnskap. Det er nok å nevne sykepleiere, fysioterapeuter, sosialarbeidere, ingeniører, økonomer, psykologer og leger. Arbeidstakere innenfor disse yrkesgruppene må ta flere års utdanning før de kan utøve sin virksomhet. I hverdagen konfronteres vi også med forskning og forskningsresultater. Avisene har for eksempel hyppige oppslag med helsestoff som bygger på forskning: hva vi bør spise og ikke spise, hvordan vi bør trene, hvordan plager kan behandles. Også på andre områder utsettes vi jevnlig for ulike undersøkelser. Bare tenk på alle evalueringsskjemaer og kundetilfredshetsmålinger vi må forholde oss til. Forskning og undersøkelser påvirker hverdagen vår, både i arbeidslivet og ellers.
Mange undersøkelser benytter opptellinger og statistiske analyser. Disse kaller vi kvantitative undersøkelser. I tillegg finnes det mange undersøkelser som bygger på tolkninger av intervjuer, nedtegnelser fra feltobservasjoner, tekster etc. De kalles kvalitative undersøkelser Temaet for denne boken er kvantitative undersøkelser. Hvordan man skal lese kvalitativ forskning, omtales i boken Hvordan lese kvalitativ forskning? av Anne Birgitte Leseth og Silje Maria Tellmann (2018).
Med én gang noen viser til statistiske opptellinger i form av tabeller eller grafer, bruker de kvantitative undersøkelser. Hvis lederen i en barnehage uttaler at 80 prosent av foreldrene er tilfredse med kvaliteten i barnehagen, viser vedkommende antakelig til en brukerundersøkelse hvor 8 av 10 foreldre har krysset av for at de er tilfredse på et spørsmål om kvaliteten i barnehagen. Vi kan likevel lure på hva foreldrene konkret har blitt spurt om, og hvilke svaralternativer de har hatt til rådighet, og det er ett av temaene i denne boken.
Evidensbasert kunnskap og praksis er begreper på frammarsj, og de representerer nær sagt en bevegelse, først og fremst i helsesektoren, men i økende grad også på områder som barnehage, skole og ikke minst sosialt arbeid. Evidens betyr sikkerhet eller innlysende sannhet. Evidensbasert kunnskap kan dermed forstås som sikker kunnskap eller kunnskap som bygger på belegg. Evidensbasert praksis er praksis som bygger på slik kunnskap. Det betyr at yrkesutøvere innenfor for eksempel helse, barnehage, skole og sosialt arbeid skal bygge praksis, vurderinger og beslutninger på så sikker kunnskap som mulig. Tilhengere av denne bevegelsen opererer med et «evidenshierarki» hvor noen typer kunnskap rager høyere enn andre. Høyest rager kunnskap basert på kvantitativ forskning i form av gjentatte, systematiske eksperimenter. Denne utviklingen former synet på hvilken kunnskap som teller, og hvilken som ikke teller. Kunnskap som teller, er kunnskap som flere ganger er blitt systematisk testet. Erfaringsbasert kunnskap, kanskje ervervet gjennom mange års praksis, er i beste fall plassert nederst i hierarkiet, i den grad den overhodet har en plass. Det er positivt og nødvendig at erfaringsbasert kunnskap testes systematisk og kritisk, men det er mindre gunstig dersom verdien av yrkeserfaring nedvurderes.
Resultater fra forskning som benytter statistiske analyser, kan gi inntrykk av å være sannheter som er «hugget i stein». De fleste av oss har sikkert vært borti festbremsen som stopper en livlig diskusjon med replikken «joda, men forskning viser at …». Det er vanskelig å imøtegå slike argumenter, særlig hvis man ikke kjenner til forskningen det vises til. På den andre siden er vi ikke ukjente med at forskningsresultater spriker. Ett eksempel er forskning på effekter av skjermbruk blant barn og unge. Påvirker skjermbruk barnas psykososiale forhold, deres utvikling av kognitive funksjoner, språk og motorikk, deres psykiske og psykiske helse og ikke minst søvn, for å nevne noe? Her er det ulike og sterke meninger i den offentlige debatten, men heller ikke forskning gir entydige svar. I det regjeringsutnevnte Skjermbrukutvalget oppsummeres forskning på effekter av skjermbruk for førskolebarn og skolebarn, og det er et gjennomgående trekk at undersøkelser kommer fram til ulike resultater. Enkelte undersøkelser finner at skjermbruk påvirker barn og unge negativt, andre undersøkelser finner ingen effekter og atter andre at skjermbruk har positive effekter (Skjermbrukutvalget, 2023a, 2023b).
For forskere og andre som ønsker å holde seg orientert om hva som skjer på et forskningsfelt, er det frustrerende å oppleve at ulike undersøkelser gir ulike svar. Hvorfor er skjer det? La oss antyde noen mulige årsaker.
For det første er det statistiske grunner til de sprikende resultatene. Nesten alle studier baserer seg på et større eller mindre utvalg av befolkningen. Dessverre er det slik at ett enkelt utvalg ikke behøver å være representativt for hele befolkningen, og dersom studien bygger på svært små utvalg, er den statistiske usikkerheten veldig stor. Moralen er å ha tilstrekkelig store utvalg og gjenta studier. Jo flere enkeltstudier som gir resultater i samme retning, jo bedre grunnlag har man for å trekke en sikker konklusjon.
For det andre er det ikke sikkert at det er de samme eller sammenliknbare grupper av individer som er studert i undersøkelsene. Ett forhold kan være at undersøkelsene er fra ulike land. Noen av undersøkelsene om skjermbruk er fra Norge, andre er fra for eksempel Danmark, USA, Canada og England. Det kan være geografiske, kulturelle eller sosiale
forskjeller som har betydning for effektene av skjermbruk blant unge. Et annet forhold kan være at undersøkelser ikke studerer de samme gruppene. Det kan for eksempel være store forskjeller mellom barn på 2 år, 5 år, de som går på barneskole, ungdomsskole eller på videregående. Det kan også være at tidspunktet og tidsperioden studien dekker, varierer. Noen undersøkelser viser et øyeblikksbilde, andre undersøker forløp over tid. Dette kan ha betydning for resultatene.
For det tredje kan det være at undersøkelsene varierer med hensyn til hvorvidt de kan avvise konkurrerende forklaringer. Det er for eksempel rimelig å anta at skjermbruk er mer utbredt blant barn fra familier med høy sosioøkonomisk status. Barn fra høystatusfamilier presterer også generelt bedre på skolen uavhengig av skjermbruk. Dermed vil man observere at barn som bruker mye skjerm, presterer bedre på skolen, men dette skyldes (helt eller delvis) at barna som presterer bedre, kommer fra familier med høy sosial status. For å kunne avvise denne konkurrerende forklaringen må man undersøke sammenhengen mellom skjermbruk og skoleprestasjoner for barn med samme sosioøkonomiske status.
Et fjerde moment som henger sammen med det foregående, er at det er et vesentlig skille mellom å observere en sammenheng, for eksempel mellom skjermbruk og lese- og skriveferdigheter, og avdekke en årsakssammenheng mellom disse fenomenene, det vil si at skjermbruk faktisk påvirker disse ferdighetene. Blant kvantitative forskere uttrykkes det ofte med slagordet: «Statistisk sammenheng er ikke nødvendigvis årsakssammenheng.» Det er mange grunner til at det kan oppstå en statistisk sammenheng mellom fenomener. Det kan skyldes tilfeldigheter eller at vi har sammenliknet grupper som ikke er like når det gjelder andre viktige forklaringsfaktorer. Det kan jo være at barn som bruker mye skjerm, er mer aktive og kunnskapssøkende på andre områder, og at det er dette som egentlig påvirker skoleprestasjonene. Moralen er at vi må sammenlikne grupper som er ulike med hensyn til de egenskapene vi vil studere effekten av (i dette tilfellet skjermbruk), men som er like med hensyn til alle andre egenskaper som kan forstyrre sammenlikningen. Som vi skal se, gir ulike forskningsopplegg varierende muligheter for å sikre at grupper vi sammenlikner virkelig er sammenliknbare.