Silje Bringsrud Fekjær
Att tolka och förstå statistik
Innehåll
1. Vad bör man veta om statistik?
9
Vem behöver läsa statistik? Bokens teman och uppläggning
10 11 12
Reflektionsfrågor
2. Att beskriva samhället med siffror Skillnaden mellan kvantitativ och kvalitativ metod Generalisering: Att kunna säga något om många Bäst med både – och? Några statistiska grundbegrepp Enhet, variabel och värde Kausalitet: Orsakssamband Skillnaden mellan kausalitet och determinism
Datakällor Enkätundersökningar
Registeruppgifter Missbruk av registeruppgifter? Datasäkerhet och tillgång till registeruppgifter
Experiment Fördelar I detta kapitel bör du lägga märke till Reflektionsfrågor
13 13 14 14 15 15 16 17 18 18 23 23 25 26 27 29 29
3. Att läsa statistik Konsten att läsa en tabell Konsten att läsa ett diagram Skalans betydelse i diagram Konsten att läsa statistiska mått Centraltendens: Medelvärde och median I detta kapitel bör du lägga märke till Reflektionsfrågor
4. Vad bör vi vara uppmärksamma på när vi tolkar statistik? Fallgrop 1: Sammanblandning av kausalitet och statistiskt samband Fallgrop 2: Spuriösitet Är handikappersättning något som ”går i arv”? Delvis spuriösa samband: Hur farligt är det att röka? Indirekt effekt: När effekten tar en omväg
Fallgrop 3: Omvänd orsaksriktning ”Dataspel föder våld” – eller tvärtom? När påverkan går åt båda hållen
Fallgrop 4: Urval Representativa urval: Mer än storlek Skeva urval – skeva resultat Att uttala sig på andras vägnar
Fallgrop 5: Små skillnader Signifikant = intressant?
Fallgrop 6: Inexakt framställning Frågor som är svåra att svara på Betydelsen av definitioner I detta kapitel bör du lägga märke till Reflektionsfrågor
31 31 33 35 38 38 49 49
51 51 55 57 58 59 60 61 62 63 63 65 66 67 69 70 71 72 76 76
5. Hur undviker man fallgroparna? Att bedöma och kvalitetssäkra statistik Lösning 1: Experiment Lösning 2: Kvasiexperiment Lösning 3: Ta hänsyn till att grupperna är olika Lösning 4: Data från flera tidpunkter Lösning 5: Fler källor Lösning 6: Fler metoder I detta kapitel bör du lägga märke till Reflektionsfrågor
6. Avslutning: Mellan sanning och förbannad lögn
77 77 79 81 82 84 85 86 86
87
Referenser 89 Register 95
1. Vad bör man veta om statistik? Detta är en bok om statistik för dem som inte behöver lära sig att producera statistik, utan behöver förstå och bedöma statistik. Under de arton år jag har undervisat studenter i statistik vid högskolor och uni versitet har jag alltid saknat en sådan bok. Det finns många böcker om statistik. Många av dem fungerar bra för dem som ska lära sig göra undersökningar och själva forska.1 Alla blir förvisso inte forskare, men många har yrken där de måste förhålla sig till statistik och där siffror ligger till grund för viktiga beslut. Syftet med denna bok är att ge läsa ren tillräckligt med kunskap för att kunna läsa och bedöma statistik. Denna bok vänder sig till dem som gärna vill förstå siffror men kanske helst undviker matematiska uträkningar. Enligt min erfarenhet är det bara ett fåtal som behöver lära sig många statistiska begrepp eller att göra de statistiska mätningar som ofta beskrivs i läroböcker. För de flesta är det viktigare att lära sig hur statistik kan användas och inte minst hur den kan missbrukas. Jag hoppas att läsaren genom denna bok ska få mer kunskap om vilka kritiska frågor som vi bör ställa när statistik presenteras och om hur vi kan avgöra vilka statistiska rön det går att lita på. Boken innehåller inga matematiska formler, men däremot många beskrivningar av fallgropar som vi bör undvika när vi tolkar statistik, lösningar för att kvalitetssäkra statistik och förslag på hur vi kan vär 1 För dem som själva ska utföra undersökningar och utarbeta statistik rekom menderas Johannesen, Tufte och Christoffersen (2010) för nybörjare, Skog (2004) för dem som vill lära sig mer och Eikemo och Clausen (2012) för mer avancerade metoder och hjälp med att utföra analyserna i SPSS.
9
att tolka och förstå statistik dera statistikens kvalitet. Ökad kunskap om bruket och missbruket av statistik är nödvändig, både för studenter och för arbetstagare som ska utöva sitt yrke baserat på kunskap.
Vem behöver läsa statistik? Den som vill veta något om samhället vi lever i och ha uppfattningar om det behöver läsa statistik. I många yrken förväntas man utöva sin praktik med kunskap och forskning som grund. Det förutsätter känne dom om statistik och forskningsresultat. Kravet på evidensbaserad praktik innebär att man alltid ska utöva yrket baserat på den bästa kunska pen på praktikområdet (Ogden 2012 s. 12).2 Detta gäller i många olika yrken, bland annat för sjuksköterskor, lärare, förskollärare, journalister, socionomer, fysioterapeuter och fritidspedagoger. Studenter och yrkes utövare förväntas kunna läsa texter om forskning och ställa frågor kring den forskning som de läser om. På samma sätt har man nytta av kunskaper om statistik när man läser nyheter och facktidningar inom sitt eget område. Men utan undervisning är det inte lätt att veta vilka frågor man bör ställa. Om man ska förstå dagens samhälle och dess problem kommer man inte förbi att man måste sätta siffror på det. Statistiken används för att tala om vilka problem som finns inom ett område och vad som ser ut att fungera. Statistiken visar hur utvecklingen har sett ut, och den styr ofta förväntningarna på dem som arbetar inom området. För chefer är statistiken ett ledningsverktyg och ett mått på resultat som man måste förhålla sig till. Det ligger makt i att förstå och använda siffrorna. Att producera statistik är ett hantverk i sig, som inte så många behöver kunna. Att lära sig att förstå statistik och att läsa tabeller och diagram är däremot en styrka på många områden i arbetslivet. 2 Inriktningen på evidensbaserad praktik och utbildning har blivit kritiserad. Biesta (2009) påpekar att detta också är ett val i fråga om värden (vi måste fundera över vad vi vill att syftet ska vara), och att vi bör vara uppmärk samma på faran för att vi mäter det som är lätt att mäta, i stället för det som är viktigt.
10
1. Vad bör man veta om statistik?
Bokens teman och uppläggning Vad gör oss sjuka? Hur vanliga är skilsmässor? Varför gör vissa skolor bra ifrån sig på nationella prov och andra dåligt? Vem vinner valet? Blir barn våldsamma av att spela våldsamma dataspel? Frågor som dessa är viktiga, både för den som ska utföra ett arbete och för samhället. För att hitta svaren vänder sig många till statistik. Siffror framställs ofta som den objektiva sanningen. Men om man inte har kunskaper om grundläggande statistiska principer drar man snabbt för enkla slut satser. Denna bok handlar om hur vi kan använda kvantitativ metod och siffror för att skaffa oss information om samhället samt om hur sta tistik kan brukas och missbrukas i arbetslivet och i samhällsdebatten. När jag har valt teman för boken har jag föredragit att ta med det som jag tror är nödvändigt att kunna framför sådant som kan tänkas vara intressant att veta något om. I likhet med alla andra som är en gagerade i sitt ämne tycker jag det skulle vara trevligt om alla kunde göra statistiska mätningar och gärna ville diskutera dem. Den sortens kunskap är dock inte nödvändig för det flesta. I de fem kapitel som följer på inledningen till denna bok har jag valt ut de teman som jag menar att man behöver förstå bättre för att kunna bli en kritisk yrkes utövare och samhällsmedborgare. Bokens andra kapitel handlar om kvantitativ metod. De ämnen som tas upp är metodens egenart, statistiska grundbegrepp och olika data källor. Grundläggande kunskap om olika datakällor ger möjlighet att kunna bedöma resultaten av de undersökningar som man ställs inför: Vilka begränsningar har registeruppgifter som berör detta ämne? Kan vi bygga på information från existerande register? Är enkätundersök ning en bra metod här, och får vi bra information när människor har fyllt i en enkät? Står det något om hur många som inte har svarat, den så kallade bortfallsprocenten? Kunde forskarna ha använt en annan metod, till exempel experiment? Det tredje kapitlet handlar om hur man läser statistik. När man läser olika forskningsrapporter hittar man ofta diagram, tabeller och statistiska mått. I andra statistikböcker finns matematiska formler och beskrivningar av hur man går till väga för att få fram dessa siffror. 11
3. Att läsa statistik Hur ska man läsa statistik? För många är lösningen enkel: Man läser den inte. När det dyker upp diagram och tabeller i en text hoppar många läsare över dem. I en perfekt värld skulle detta fungera alldeles utmärkt. I en perfekt värld skulle nämligen den som har skrivit texten alltid se till att lättfattligt beskriva de viktiga rönen i texten. Diagrammen och tabellerna blir då till för dem som är särskilt intresserade av detaljerna och som är tillräckligt kompetenta för att förstå dem. Problemet är att de viktigaste resultaten ofta inte kommer fram i texten. Då går man miste om viktig information om man hoppar över tabeller och diagram.
Konsten att läsa en tabell Att förstå tabeller och diagram är en träningssak, man blir bättre på det efter hand. Ett angreppssätt är att först tänka över vad statistiken ska berätta för dig, eller vad du vill ha ut av den. Hur många rökare finns det? Är det unga eller äldre som röker mest? Har detta förändrats över tid? Då läser du tabellen med detta i åtanke och försöker hitta svaren på frågorna du ställde. Därmed inriktar du dig på de viktiga siffrorna och kan sortera bort den information som du inte behöver. Vi ska i tabell 3.1 titta på detta i praktiken. Tabellen visar rökvanornas utveckling i Norge under de senaste 20 åren. Även om det är enkla metoder som används i tabellen, innehåller den många siffror och det är mycket att förhålla sig till. Det kan därför vara lämpligt att först bestämma sig för vad man vill titta efter i tabel len. Till att börja med ger tabellens rubrik nyttig information. Den 31
att tolka och förstå statistik Tabell 3.1. Procentandel dagliga rökare i olika åldersgrupper, 1994–2014. N = 40 000. 1994
1999
2004
2009
2014
16–24 år
28
30
24
17
5
25–34 år
37
33
24
20
10
35–44 år
39
36
29
19
12
45–54 år
35
37
30
24
18 20
55–64 år
31
27
27
24
65–74 år
23
23
17
16
15
34 (8 000)
32 (8 000)
26 (8 000)
21 (8 000)
13 (8 000)
Totalt (N)
Källa: Statistisk sentralbyrå, Statistikkbanken, tabell 05307.
berättar vad det handlar om. I detta fall: hur stor andel av befolkningen som rökt dagligen under de senaste tjugo åren. En första fråga som man ofta funderar på när man läser en tabell är vilken grupp som ligger högst. I detta fall alltså: Vem röker mest? Om vi tittar på kolumnen längst ut till höger, ser vi att det 2014 fanns störst andel rökare i ålders grupperna 45–54 år (18 % rökare) och 55–64 år (20 % rökare). Lite enklare uttryckt: Vi hittar flest rökare bland de vuxna mellan 45 och 64 år, där ungefär var femte person röker dagligen. Tittar vi på kolumnen för 1994 ser vi att det tidigare förhöll sig lite annorlunda. För tjugo år sedan var det de som var lite yngre, mellan 35 och 44 år, som rökte mest. I denna grupp var det nästan fyra av tio som på den tiden rökte dagligen (39 procent). Nästa fråga som man ofta ställer sig när man läser en tabell är om det har skett någon förändring. I så fall är frågan här: Är det fler eller färre som röker? Svaret finner vi på den nedersta raden i tabellen. Här ser vi att andelen som röker dagligen har fallit betydligt under denna period, från över en tredjedel av befolkningen (34 %) till 13 procent (2014). Oftast är det bäst att inte fokusera på detaljsiffrorna, utan att försöka se huvudbudskapet och förmedla det med ord. I detta fall: ”Un der de senaste tjugo åren har det blivit långt färre som röker dagligen.” En tredje fråga kan vara om tabellen visar att förändringen är densamma i de olika grupperna. I detta fall: Har minskningen varit densamma i alla åldersgrupper? Är det särskilt vissa grupper av befolk 32
3. Att läsa statistik ningen där det är färre som röker i dag? Här måste vi titta på varje enskild åldersgrupp för sig och följa raden hela vägen. Om vi börjar överst, med åldersgruppen 16–24 år, ser vi att det var 28 procent som rökte dagligen på 1990-talet. År 2015 är siffran ända nere på fem procent. Det betyder att medan det tidigare var nästan en tredjedel av ungdomen som rökte varje dag, finns det i dag i genomsnitt bara en rökare i en klass på tjugo. Så stora förändringar på kort tid är säll synta i statistiken.6 För att se utvecklingen i de andra åldersgrupperna finner vi på samma sätt åldersgruppen till vänster i tabellen och följer raden hela vägen. Vi kan till exempel se att i åldersgruppen 45–54 år har andelen dagliga rökare ungefär halverats, från 35 till 18 procent. Detta är också en kraftig minskning, men inte lika kraftig som den vi såg bland de yngsta. Den näst nedersta raden i tabellen säger oss att nedgången i an talet dagliga rökare är som minst bland de äldsta, även om det också här har skett en kraftig minskning under loppet av dessa 20 år (från nästan en fjärdedel dagliga rökare till 15 %). En sista fråga som det kan vara lämpligt att fundera över när man läser en tabell är hur stora siffror som ligger till grund för de resultat som presenteras. Har detta undersökts bland bara några få, eller är det många personer som är deltagit i undersökningen? N anger hur många enheter som är med i undersökningen – ofta hur många personer som statistiken grundar sig på. I tabellrubriken ser vi att N = 40 000, alltså att sammanlagt 40 000 personer omfattas av dessa undersökningar. På ne dersta raden ser vi att det är 8 000 personer som har intervjuats varje år.
Konsten att läsa ett diagram Ett diagram är för många lättare att förstå än en tabell, och det kan därför vara det bästa framställningssättet. Rökvanornas utveckling enligt tabell 3.1 kan till exempel illustreras så här med ett kurvdiagram.
6 Här bör nämnas att det har blivit relativt vanligt med snus bland de unga: I åldersgruppen 16–24 år snusar var femte ungdom (SSB 2015d).
33
5. Hur undviker man fallgroparna? Att bedöma och kvalitetssäkra statistik Genomgången av fallgroparna i användningen av statistik kan leda till pessimism. Hur ska man veta vilka siffror man kan basera sig på? Det finns som tur är bra sätt att kvalitetssäkra statistik. Om man känner till metoderna som kan användas för att kvalitetssäkra statistiken, vet man också mer om vilka undersökningar man kan lita på. Som läsare ger det dig förutsättningar för att kunna bedöma kvaliteten på statistik och för att känna igen det som bör användas.
Lösning 1: Experiment Om man vill slå fast kausalitet (orsakssamband) är experiment den säkraste metoden. Man ska nu till exempel sätta i gång ett stort forsk ningsprojekt för att undersöka hur mycket det betyder för elevernas lärande om det finns fler lärare i lågstadiet (Forskningsrådet 2015). I ett experiment kan man först testa alla eleverna på en skola i läsning och matematik. Nästa steg är att ta hälften av klasserna och förse dem med en extra lärare. Efter ett år kan man testa om de klasser som har fått en extra lärare presterar bättre på ett nytt test. Det ger ett rimligt säkert svar på i vilken grad ökad lärartäthet leder till att eleverna lär sig mer. Eftersom vi vet att klasserna från början var lika kommer eventuella skillnader att vara en konsekvens av att de har haft en extra lärare. Resultaten av denna forskning kan bidra till 77
att tolka och förstå statistik att avgöra om man ska lägga pengar på att sätta in fler lärare i låg stadiet. När man talar om experiment tänker man ofta på naturveten skap och laboratorier. Det finns dock många möjligheter till experi ment i andra ämnen. Till exempel har forskare skickat i väg anställ ningsansökningar som är lika med undantag för den sökandes namn. Resultaten tyder på att det förekommer diskriminering i arbetslivet: sökande med norska namn fick oftare svar på sina anställningsansök ningar än sökande med pakistanska namn, även om de sökande i övrigt var identiska (Birkelund, Rogstad, Heggebo, Aspøy & Bjelland 2014). Man kan också göra en form av experiment i enkätundersökningar. Det ger intressanta möjligheter, bland annat för att förstå hur beslut fattas i välfärdssystemet. Man har till exempel bett anställda inom socialtjänsten att ta ställning till hur mycket hjälp man ska ge till äldre och varierat informationen om huruvida de har en dotter eller en son som kan bidra. Resultaten visar att mödrar som har en dotter får åtskilligt mindre hjälp av det offentliga. Förklaringen är troligen att döttrar förväntas bidra med mer omsorg om gamla mödrar än vad man kan räkna med från en son (Jakobsson, Kotsadam, Syse & Øien, under utgivning). Experiment ger mycket goda möjligheter att få kunskap om or sakssamband. Till exempel vet vi att eftersom de arbetssökande i ut gångspunkten var lika, måste det ha varit det pakistanska namnet som orsakade avslaget. Som vi tidigare har varit inne på har dock experiment sina begränsningar. Många frågor låter sig inte besvaras genom experiment, man kan bli påverkad av att man deltar i ett ex periment, verkligheten låter sig inte alltid återskapas och det kan vara etiskt problematiskt. Till exempel kan elever och föräldrar som inte får extra lärarresurser uppleva detta som orättvist, eller de som har fått anställningsansökningar eller cases med olika namn kan reagera på att forskarna har haft en dold agenda.
78
5. Hur undviker man fallgroparna? …
Lösning 2: Kvasiexperiment Kvasiexperiment är en annan lösning som också förbättrar möjlig heterna att hitta orsakssamband. Här jämför vi också gruppen som har varit utsatt för orsaksvariabeln med gruppen som inte har varit det, men det är ingen slump vem som hamnar i vilken grupp (Johannessen et al. 2010 s. 78). Nya åtgärder, som förändrade utskänkningstider eller tillförande av extra resurser, ger intressanta möjligheter till kvasiex periment. Till exempel har With och Mastekaasa (2014) undersökt effekten av att man införde betygskrav för att komma in på lärarut bildningen och funnit att det inte ledde till att fler med goda betyg valde läraryrket, vilket man på förhand hade hoppats. Ett kvasiexpe riment som detta ger ofta säkrare resultat än om vi frågade ungdomar om införandet av betygsgränser skulle påverka deras beslut om att söka. Begränsningarna ligger emellertid i kvasiexperimentets natur. Eftersom andra faktorer som påverkar rekryteringen kan ha förändrats under samma period, kan vi inte säkert säga hur mycket de förändrade betygskraven har betytt. Tidigare har vi tittat på sambandet mellan att ha haft föräldrar med handikappersättning och att själv få handikappersättning, vilket kan vara spuriöst (se avsnittet ”Är handikappersättning något som ’går i arv’?”). När handikappersättning ser ut att ”gå i arv” från för äldrar till barn, kan det bero på att fler i familjen har dålig hälsa, inte det att föräldrarnas handikappersättning sänker tröskeln för att söka handikappersättning. Forskare har hittat ett sätt att ta reda på detta (Dahl et al. 2014). Det är nämligen så att många av dem som får avslag på handikappersättning överklagar ärendet. Och utfallet av överkla gandet beror på domaren som dömer i ärendet: De som hamnar inför en ”snäll” domare som ofta beviljar ersättning har större chans att få handikappersättning beviljad. Det kan leda till att personer med likar tade livssituationer och likartad hälsa får olika utfall vid överklagandet. När man tar hänsyn till detta, får man ett säkrare svar på om det för hållandet att föräldrarna fick handikappersättning påverkar barnens chanser att uppleva samma sak. Resultaten tyder på att sambandet som vi såg i figur 4.3 inte bara var spuriöst, utan också ett kausalsamband. 79
att tolka och förstå statistik När mor eller far får handikappersättning ökar det barnets risk för att självt få handikappersättning. En förklaring är att när föräldrarna får handikappersättning skapar det en kultur för handikappersättning, där barnen lär sig av sina föräldrar och det finns en större benägenhet att acceptera ersättning som en lösning. Kvasiexperiment har också använts för att få närmare svar på frågan om det är bra för barn att gå i förskola. Ger det dem fördelar längre fram i skolåren? För att svara på det jämförs många barn som har gått i förskola med barn som inte har gjort det. Om barn som har gått i förskola klarar sig bättre, har detta använts som bevis för den positiva effekten av att gå i förskola. Detta håller dock inte som bevis för orsakssamband, eftersom det inte är någon slump vilka barn som går i förskola. Troligen har de barn som går i förskolan också oftare yrkesverksamma föräldrar med lång utbildning – vilket vi vet ökar chanserna att lyckas i skolan (Heggen, Helland & Lauglo 2013). Att barn som har gått i förskola presterar bättre kan alltså bero på vilka dessa barn var från början, inte själva förskoleerfarenheten. Bristen på förskoleplatser i Oslo gav dock ett sällsynt bra tillfälle till att studera betydelsen av att gå i förskola. Under en period blev vissa av platserna fördelade genom lottdragning. Bland dessa barn var det slumpmässigt vem som fick förskoleplats och vem som inte fick det. Detta gav möjlighet till ett kvasiexperiment. Här delades gruppen i två, och det var en slump vem som utsattes för det som vi tror är orsaken till något (att gå i förskola). Forskningen visade att de som började på förskolan tidigt presterade bättre i språk och matematik när de senare började skolan. Detta kvasiexperiment är ett övertygande argument för att det kan vara en fördel att börja tidigt i förskolan – i alla fall när det gäller att lära sig språk och matematik (Drange & Havnes 2015).17
17 Vilka andra konsekvenser tidig start i förskolan kan ha, till exempel i fråga om anknytning, är en annan och omdiskuterad fråga som inte täcks av denna undersökning.
80
Att tolka och förstå statistik Silje Bringsrud Fekjær
Statistik är ett viktigt redskap för alla som vill klara sina studier, förstå dagens samhälle eller sätta sig in i aktuell forskning. ATT TOLKA OCH FÖRSTÅ STATI STIK innehåller inga statistiska formler och ingen matematik. I stället beskriver författaren, med relevanta exempel från forskning och media, hur man kan tolka, förstå och värdera statistik på ett korrekt sätt. ATT TOLKA OCH FÖRSTÅ STATI STIK tar också upp de vanligaste fallgroparna, till exempel hur man kan resonera för att förstå om det föreligger ett faktiskt kausalt samband mellan två faktorer eller om sambandet är skenbart. I texten finns många exempel, både på korrekt bruk och missbruk av statistik.
Syftet med boken är således inte att man ska lära sig att producera statistik, utan att man ska bli skicklig på att tolka, förstå och värdera statistik som andra producerat. Författare är Silje Bringsrud Fekjær, sociolog och professor, verksam vid Senter for profesjonsstudier i Oslo och Akershus. Fackgranskare är Joakim Thelander, universitetslektor i sociologi vid Högskolan Kristianstad. Översättning: Hans Dalén.
ISBN 978-91-40-69548-2
9 789140 695482