Innhold Forord................................................................................................................................ 5 Kapittel 1 Forskning viser at … ...................................................................................................... 11 DEL I PRINSIPPER FOR KVANTITATIV METODE ............................................................ 17 Kapittel 2 Forskning gir svar på spørsmål –problemstilling ................................................... 19 Enheter og variabler ....................................................................................................... 20 Formulering: hypotese, spørsmål eller tema ............................................................. 21 Formål med studien: beskrivelse, forklaring eller prediksjon ................................. 22 Andre dimensjoner: tid, nivå og generalisering ......................................................... 24 Oppsummering ............................................................................................................... 25 Kapittel 3 Grunnspørsmål: Hvor mange eller hvor mye? ........................................................ 27 Mer om enhetene i undersøkelsen .............................................................................. 30 Mer om variablene i undersøkelsen ............................................................................ 34 Datatyper ......................................................................................................................... 39 Oppsummering ............................................................................................................... 42 Kapittel 4 Analyse er forenkling ................................................................................................... 46 Univariate analyser ......................................................................................................... 47 Generell anbefaling ........................................................................................................ 64 Oppsummering ............................................................................................................... 64
7
innhold
Kapittel 5 Studerer variasjon ......................................................................................................... 69 Tverrsnittsundersøkelser ............................................................................................... 70 Tidsdesign ........................................................................................................................ 71 Flernivådesign ................................................................................................................. 82 Oppsummering ............................................................................................................... 87 Kapittel 6 Kunnskap oppstår ved sammenlikning ..................................................................... 91 Betydning av sammenlikninging og kontrast ............................................................. 93 Oppsummering ............................................................................................................... 95 Kapittel 7 Enheter som sammenliknes, må være sammenliknbare ...................................... 97 Å studere årsakssammenhenger ................................................................................. 99 Kriterier for årsaksslutninger ........................................................................................ 101 Avklare tidsrekkefølgen ................................................................................................. 102 Unngå spuriøse sammenhenger .................................................................................. 104 Oppsummering ............................................................................................................... 110 Kapittel 8 Å lete etter sammenhenger innebærer å lete etter forskjell .............................. 113 Avhengighetsmodeller .................................................................................................. 114 Samvariasjonsmodeller ................................................................................................. 129 Betydningen av kontekst – interaksjon mellom variabler ........................................ 137 Oppsummering ............................................................................................................... 138 Kapittel 9 Feil ..................................................................................................................................... 143 Feilkilder ........................................................................................................................... 145 Systematiske og tilfeldige feilkilder ............................................................................. 146 Målefeil – reliabilitet og validitet .................................................................................. 147 Konsekvenser av målefeil .............................................................................................. 149 Tiltak for å redusere målefeil ........................................................................................ 151 Oppsummering ............................................................................................................... 152
8
innhold
Kapittel 10 Generalisering – slutte fra noen tilfeller til flere .................................................... 154 Utvelging av enheter ...................................................................................................... 155 Slutningsstatistikk .......................................................................................................... 161 Metaanalyser – én studie er ikke nok .......................................................................... 168 Oppsummering ............................................................................................................... 171 DEL II METABETRAKTNINGER ............................................................................................. 175 Kapittel 11 Hvor finner en hva i rapporter og artikler? ............................................................. 177 Et raskt overblikk ............................................................................................................. 178 En grundigere oversikt ................................................................................................... 179 Kapittel 12 Forskningsdesign som er behandlet i boken ........................................................... 181 Kapittel 13 Tolkes det korrekt? – en oppsummering .................................................................. 183 Metodologiske og substansielle forklaringer ............................................................ 183 Unngå magi – tolkninger må ha grunnlag i data og analyser .................................. 185 Sjekkliste for fortolkninger ............................................................................................ 185 Kapittel 14 Noen vitenskapsteoretiske betraktninger ............................................................... 187 Litteratur ......................................................................................................................... 191 Stikkord ............................................................................................................................ 195
9
Kapittel 1
Forskning viser at … Vi har en forestilling om at forskning skal fortelle oss hvordan virkeligheten faktisk er. Likevel opplever vi ikke sjelden at forskningsresultater spriker. Hvorfor er det slik?
Det er ingen overdrivelse å hevde at vi lever i et samfunn hvor produksjon og bruk av kunnskap er satt i høysetet. All teknologi vi omgir oss med, bygger på kunnskap og forutsetter ofte opplæring før vi kan benytte oss av den. I tillegg består arbeidslivet av en rekke yrker og profesjoner med spesialisert kunnskap. Det er nok å nevne sykepleiere, fysioterapeuter, sosialarbeidere, ingeniører, økonomer, psykologer og leger. Arbeidstakere innenfor disse yrkesgruppene må ta flere års utdanning før de kan utøve sin virksomhet. I hverdagen konfronteres vi også med forskning og forskningsresultater. Avisene har for eksempel hyppige oppslag med helsestoff som bygger på forskning: Hva vi bør spise og ikke spise, hvordan vi bør trene, hvordan plager kan behandles. Også på andre områder utsettes vi jevnlig for ulike undersøkelser. Bare tenk på alle evalueringsskjemaer og kundetilfredshetsmålinger vi må forholde oss til. Forskning og undersøkelser påvirker hverdagen vår, både i arbeidslivet og ellers. Mange undersøkelser benytter opptellinger og statistiske analyser. Disse kaller vi kvantitative undersøkelser. I tillegg finnes det mange undersøkelser som bygger på tolkninger av intervjuer, nedtegnelser fra feltobservasjoner, tekster etc. De kalles kvalitative undersøkelser. Temaet for denne boken er kvantitative undersøkelser. Hvordan en skal lese kvalitativ forskning, omtales i boken Hvordan lese kvalitativ forskning? av Anne Birgitte Leseth og Silje Maria Tellmann (2017). Med en gang noen viser til statistiske opptellinger i form av tabeller eller grafer, bruker de kvantitative undersøkelser. Hvis lederen i en barnehage 11
kapittel 1
uttaler at 80 prosent av foreldrene er tilfredse med kvaliteten i barnehagen, viser vedkommende antakelig til en brukerundersøkelse hvor 8 av 10 foreldre har krysset av for at de er tilfredse på et spørsmål om kvaliteten i barnehagen. Vi kan selvfølgelig lure på hva foreldrene konkret har blitt spurt om, og hvilke svaralternativer de har hatt til rådighet, og det er ett av temaene i denne boken. Evidensbasert kunnskap og praksis er begreper på frammarsj, og de representerer nær sagt en bevegelse, først og fremst i helsesektoren, men i økende grad også på områder som barnehage, skole og ikke minst sosialt arbeid. Evidens betyr sikkerhet eller innlysende sannhet. Evidensbasert kunnskap kan dermed forstås som sikker kunnskap eller kunnskap som bygger på belegg. Evidensbasert praksis er praksis som bygger på slik kunnskap. Det betyr at yrkesutøvere innenfor for eksempel helse, barnehage, skole og sosialt arbeid skal bygge praksis, vurderinger og beslutninger på så sikker kunnskap som mulig. Tilhengere av denne bevegelsen opererer med et «evidenshierarki» hvor noen typer kunnskap rager høyere enn andre. Høyest rager kunnskap basert på kvantitativ forskning i form av gjentatte, systematiske eksperimenter. Denne utviklingen former synet på hvilken kunnskap som teller og hvilken som ikke teller. Kunnskap som teller, er kunnskap som flere ganger er blitt systematisk testet. Erfaringsbasert kunnskap, kanskje ervervet gjennom mange års praksis, er i beste fall plassert nederst i hierarkiet, i den grad den overhodet har en plass. Det er positivt og nødvendig at erfaringsbasert kunnskap testes systematisk og kritisk, men det er mindre gunstig dersom verdien av yrkeserfaring nedvurderes. Resultater fra forskning som benytter statistiske analyser, kan gi inntrykk av å være sannheter som er «hugget i stein». De fleste av oss har sikkert vært borti festbremsen som stopper en livlig diskusjon med replikken «joda, men forskning viser at …». Det er vanskelig å imøtegå slike argumenter, særlig hvis man ikke kjenner til forskningen det vises til. På den andre siden er vi jo heller ikke ukjent med det fenomenet at forskningsresultater skifter – slik at det som var anerkjente forskningsbaserte innsikter på ett tidspunkt, plutselig ikke lenger holder mål fordi ny forskning viser noe annet. Vi merker det kanskje tydeligst i helse- og matforskning som formidles i aviser og andre medier. Ta for eksempel konsum av rødvin: Er et moderat inntak av rødvin bra eller farlig for helsen? Forskningsresultatene spriker. Et søk på www.forskning.no (30. mai 2017) gir blant annet følgende oppslag: 12
forskning viser at …
– Folk som drikker litt alkohol, har lavere risiko for hjertesvikt (2015) – amerikansk studie som fulgte 15 000 personer fra slutten av 1980-tallet fram til 2011, viste at personer med moderat alkoholforbruk hadde 20 prosent mindre risiko for å få hjertesvikt sammenliknet med personer som ikke drakk. – En øl eller to om dagen er sunt (2014) – nederlandsk undersøkelse som fulgte 11 menn som først drakk vin i tre uker, etterfulgt av tre uker med øl, så gin og til slutt bare vann – til sammen 12 uker – viste at blodprøver inneholdt mer av det gode kolesterolet som gir mindre risiko for hjerte- og karsykdommer etter de periodene hvor forsøkspersonene drakk alkohol. – Ikke sikkert alkohol er noe bra for hjertet (2015) – en amerikansk og en britisk studie av eldre mennesker viste at hjerteskader økte med økende alkoholkonsum, og at selv moderat drikking kan være mindre sunt enn andre er kommet fram til. – Svært få har helsefordeler av alkohol (2014) – norsk-svensk studie viste at kun 15 prosent av befolkningen i vår del av verden har en genvariant som gjør at alkohol gir en beskyttende effekt. For den som ønsker å holde seg orientert om utviklingen på et forskningsfelt, er det frustrerende å oppleve at forskning på samme tema gir så sprikende resultater. Men hvorfor er det slik? La oss antyde noen mulige årsaker. For det første er det statistiske grunner til de sprikende resultatene. Nesten alle studier baserer seg på et større eller mindre utvalg av befolkningen. Dessverre er det slik at ett enkelt utvalg ikke behøver å være representativt for hele befolkningen, og dersom studien bygger på svært små utvalg, er den statistiske usikkerheten veldig stor. Moralen er å ha tilstrekkelig store utvalg og gjenta studier. Jo flere enkeltstudier som gir resultater i samme retning, jo bedre grunnlag har man for å trekke en sikker konklusjon. For det andre er det ikke sikkert at det er sammenliknbare grupper av individer som er studert i undersøkelsene. Ett forhold er at undersøkelsene er fra ulike land. Kanskje er det tydelige genvariasjoner mellom ulike befolkninger? Kanskje det er naturmessige, kulturelle eller sosiale forskjeller som har betydning for sammenhengen mellom alkohol og helse? Et annet forhold er at undersøkelsene studerer ulike grupper innenfor befolkningen. Noen av studiene gjelder hele befolkningen, mens andre gjelder kun eldre mennesker. Det kan også være at tidspunktet og tidsperioden studien dekker, varierer, og at det har betydning for resultatene. 13
kapittel 1
For det tredje kan det være at undersøkelsene varierer med tanke på hvorvidt man har tatt hensyn til konkurrerende forklaringer. Det kan for eksempel være slik at de som drikker moderat, ikke er helt sammenliknbare med de som ikke drikker moderat. Kanskje er moderat drikking et handlingsmønster som er utbredt i deler av befolkningen med gjennomgående høyere inntekt og utdanning. Vi vet at helsetilstanden generelt er bedre i disse befolkningsgruppene enn i andre befolkningsgrupper. Hvis man observerer at de som drikker moderat, har bedre helse, kan det skyldes at de generelt har høyere status og av den grunn har bedre helse. Et fjerde moment er at det er et viktig skille mellom det å observere en sammenheng, for eksempel mellom moderat alkoholkonsum og helse, og det at det er en årsakssammenheng mellom disse fenomenene. Blant kvantitative forskere uttrykkes det ofte gjennom følgende slagord: «Statistisk sammenheng er ikke nødvendigvis årsakssammenheng.» Det er så mange grunner til at det kan oppstå en statistisk sammenheng mellom fenomener. Problemet oppstår fordi vi har sammenliknet grupper som ikke er like når det gjelder andre viktige forklaringsfaktorer. En konkurrerende forklaring kan være at rødvinsdrikkere er mer sosiale enn andre, og at det er dette som påvirker helsen. Moralen er å sammenlikne grupper som er ulike med hensyn til de egenskapene du vil studere (i dette tilfellet rødvinsdrikking og helse), men som er like med hensyn til alle andre egenskaper. Dessverre er det ikke alle forskningsopplegg som gir like gode muligheter for å sikre at sammenlikningsgruppene er like. Dette er kun noen av flere mulige forklaringer på at resultater divergerer mellom studier. Men de er likevel i stand til å vise oss at kunnskap alltid har et midlertidig preg. Enhver som beveger seg inn i forskningens og vitenskapens verden, må være forberedt på dette: Hva vi vet nå, er hva vi vet så langt. Vi kan ikke være sikre på hva som skjer rundt neste sving. Vi må alltid reflektere over vår kunnskapsstatus. Denne boken har til hensikt å motivere til slik refleksjon ved å skissere hvordan vi kan vurdere kvantitativ forskning kritisk. Hensikten er likevel ikke å oppmuntre til negativ lesning. Med dette forstår jeg lesning hvor det kun fokuseres på de negative og ikke de positive sidene ved en studie. Alle studier har sine svakheter. Alle forskningsopplegg er kompromisser mellom en rekke hensyn. Ofte er det slik at en ved å styrke én side ved studien bidrar til å svekke andre sider. Hvis vi vil være mest mulig sikre på å avdekke en årsaksforklaring, kan et eksperiment være løsningen. Det er det beste opplegget for å avdekke årsaker til fenomener. Dessverre er det slik 14
forskning viser at …
at jo mer en styrker enkelte sider ved eksperimentet, jo mindre realistisk vil det være, noe som igjen svekker mulighetene for å overføre kunnskaper fra eksperimentsituasjonen til virkeligheten. Men at en studie har svake sider, er ikke ensbetydende med at den er verdiløs. Den kan likevel påvise den effekten vi ønsker å undersøke, gitt at de svake sidene ikke overskygger mulighetene for å trekke konklusjoner. All forskning har til hensikt å si noe om virkeligheten. Utgangspunktet er manglende eller mangelfull kunnskap om et avgrenset aspekt ved denne virkeligheten. Det kan være at vi ikke kjenner utbredelsen av et fenomen, eller at vi ikke vet hva som forårsaker dette fenomenet. Fenomener kan være hendelser (for eksempel å bli uførepensjonert) eller tilstander og egenskaper (for eksempel hvor tilfreds man er med barnehagetilbudet i kommunen) som vi enten vil vite hyppigheten av eller årsaken til. For å produsere denne kunnskapen samler man inn data fra virkeligheten og analyserer denne informasjonen. Boken er organisert i to deler. Del I beskriver ni grunnleggende prinsipper for kvantitative analyser, ett kapittel for hvert prinsipp. I tilknytning til disse prinsippene redegjør jeg for potensielle svakheter ved en kvantitativ undersøkelse. Hvert kapittel innleder med noen eksempler som deretter følges opp. I tilknytning til hvert kapittel i del I er det også lagt inn noen øvingsoppgaver til refleksjon. Del II oppsummerer noen vesentlige prinsipper for fortolkning av kvantitative analyser, gir noen tips om hvordan en kan tilnærme seg en kvantitativ rapport eller artikkel, samt til slutt presenterer noen vitenskapsteoretiske betraktninger om kvantitativ metode.
15
DEL I PRINSIPPER FOR KVANTITATIV METODE For å forstå kvantitativ forskning er det lurt å kjenne til en del grunnleggende prinsipper som denne forskningstradisjonen bygger på. Det er tema for denne delen. Jeg gjennomgår ni prinsipper: 1. Hensikten er å besvare spørsmål om hvordan virkeligheten er. Forskning ser på egenskaper (variabler) ved de enhetene man ønsker å vite noe om. 2. Det grunnleggende spørsmålet er «hvor mye» eller «hvor mange». Forskning studerer utbredelsen av egenskaper og hvordan disse avhenger av andre egenskaper ved enhetene. 3. Alle analyser er forenklinger. Forskning har til hensikt å gi oversikten og de store linjene ved å tone ned det som oppfattes som uvesentlig detaljinformasjon. 4. Man analyserer variasjon. Forskning ser på hvordan og hvorfor egenskaper ikke er likt fordelt i alle grupper av enheter. 5. Kunnskap oppstår gjennom å sammenlikne enheter og grupper av enheter som er ulike. På den måten får man vite om egenskaper varierer mellom grupper, og man har mulighet til å påvise mulige forklaringer på forskjellene. 6. De individene og gruppene man sammenlikner, må være sammenliknbare. Er de ikke det, kan forskjeller mellom gruppene skyldes andre forhold enn de vi studerer. 7. Det å studere sammenhenger mellom fenomener innebærer det samme som å lete etter forskjeller mellom enheter og grupper av enheter. Forskning påviser sammenhenger ved å påvise at grupper som er ulike med hensyn til én egenskap, også er ulike med hensyn til andre egenskaper. 8. Muligheten for feil er innbakt i all forskning. Det er mange feilkilder, som målefeil og utvalgsfeil, som kan påvirke resultatene i en undersøkelse. 17
del i
9. Hensikten er normalt å generalisere resultater. Forskning ønsker ikke bare å si noe om det utvalget av enheter som studeres, men eventuelt også å overføre disse resultatene som samtlige enheter som er relevante i undersøkelser, til andre typer enheter. Når prinsippene er listet opp som ovenfor, er de forholdsvis abstrakte. De er stikkord som må fylles med innhold, og det er dette som skal skje i de følgende kapitlene. Oversikten utgjør likevel et helhetlig rammeverk, og det kan derfor være en idé å gå tilbake til denne oversikten med jevne mellomrom for å se sammenhengen mellom prinsippene.
18