9789127819818

  är docent i pedagogik och verksam vid Stockholms universitet. Han har arbetat med PISA sedan  och haft ansvar för läsdelen tillsammans med Karin Taube mellan – och Maria Rasmusson –.

  är seniorprofessor i pedagogik vid Stockholms universitet och ämnesexpert i PISA . Hon har arbetat med PISA sedan starten  och haft ansvar för matematikdelen fram till och med .

• Bakgrunden till undersökningen, hur den har utvecklats och genomförts.

• Resultaten från samtliga sex undersökningar, ur både ett nationellt och internationellt perspektiv.

• Skillnader i resultat utifrån likvärdighet, genus och utländsk bakgrund i olika tvärstudier som utgått från PISA-undersökningen.

Författarna diskuterar genomgående vad vi kan lära oss av PISA och tar även upp den kritik som riktats mot undersökningen. Avslutningsvis lyfts hur framtiden för PISA kan komma att se ut.

Boken vänder sig till alla som är intresserade av PISA och de svenska resultaten, såsom lärarstudenter, lärarutbildare, yrkesverksamma lärare, utbildningsforskare och skolpolitiker.

PISA under 15 år

   är seniorprofessor i fysik med didaktisk inriktning vid Mittuniversitetet. Han har arbetat med PISA sedan  och haft ansvar för den naturvetenskapliga delen från , sedan  tillsammans med Nina Eliasson. Han var även projektledare för PISA –.

PISA-undersökningen är politiskt sprängstoff och har ofta stått i centrum i de senaste årens utbildningspolitiska diskussion. Undersökningen har inte sällan använts för att rättfärdiga olika förslag till reformer, samtidigt som kritik riktats mot olika aspekter av PISA. I den här unika boken ger de forskare som arbetat med undersökningen i Sverige sin bild av vad som hänt under de femton år som gått sedan den första undersökningen genomfördes. Här beskrivs bland annat:

Ulf Fredriksson K arl Gör an K arlsson Astrid Pettersson (red.)

Redaktörer

Ulf Fredriksson K arl Gör an K arlsson Astrid Pettersson (red.)

PISA

PISA kan med rätta betecknas som världens största kunskapsundersökning.

UNDER 15 ÅR – resultat och trender

ISBN 978-91-27-81981-8

:  ,   

NOK_FREDRIKSSON_PETTERSSON_KARLSSON.indd Alla sidor

9 789127 819818

2018-06-19 10:54

PISA_inlagan.indd 2

2018-06-20 15:45

NOK_

Innehåll Inledning 9 K apitel 1

Bakgrund till ­PISA-undersökningarna 13 Kunskapsmätningar före PISA 13 OECD som aktör för internationella kunskapsmätningar 16 PISA-projektets institutionella placering i Sverige de första åren 17 Hur gick det praktiska arbetet till i början? 18 Intryck och minnen från den första datainsamlingen 2000 21 Referenser 23

K apitel 2

Hur PISA-undersökningarna g­ enomförs 25 Ett lutande torn i Italien 25 Förberedelser 26 Uteslutningar 30 Kodning 31 Hur PISA mäter resultat 31 De olika prestationsnivåerna 34 Rapportskrivning 35 Nya ämnesområden och provmetoder lanseras 35 Rektorernas och elevernas förtroende 36 Fler och fler länder vill vara med på tåget 37 Provadministratörens personliga reflektioner 37 Referenser 40

K apitel 3

Läsförståelse i PISA 42 Varför är läsförståelse med i PISA? 42 Vad är läsförståelse enligt PISA? 43 Läsförståelse i PISA i jämförelse med svenska läro- och kursplaner 48

PISA_inlagan.indd 5

2018-06-20 15:45

PISA 2000 50 Trenden i PISA 2000–2015 52 Förändringar av resultaten i delar av lässkalan 2000 och 2009 56 Läsvanor och läsning PISA 2000 och 2009 57 Digital läsning 2009–2012 59 Läsningen inför framtiden? 64 Referenser 65

K apitel 4

Matematik i PISA 69 Varför är matematik med i PISA? 69 Vad är matematik enligt PISA? 71 Matematiken i PISA i jämförelse med svenska läro- och kursplaner 74 Poängskala och prestationsnivåer 76 Översiktlig resultatutveckling i matematik 76 Svenska elevers styrkor och svagheter 80 Matematik i digitala prov 2012 81 Självvärdering, motivation och ängslan 82 Varierande resultat 83 Referenser 84

K apitel 5

Naturvetenskap i PISA 86 Varför är naturvetenskap med i PISA? 86 Vad är naturvetenskap enligt PISA? 88 Naturvetenskap i PISA i relation till svensk läroplan och svenska kursplaner 92 Mätskalor och prestationsnivåer 93 Översiktlig resultatutveckling 94 Svenska elevers styrkor och svagheter 99 Intresset för naturvetenskap 100 Referenser 101

K apitel 6

Problemlösning i PISA 104 Problemlösning – att mäta något mer än traditionella skolkunskaper 104 Resultat 109 Problemlösningsförmågan – inte så lätt att mäta 112 Referenser 114

PISA_inlagan.indd 6

2018-06-20 15:45

K apitel 7

Likvärdighet 115 Sammanhållna och differentierade skolsystem 115 Varför är likvärdighet viktigt? 116 Hur mäts likvärdighet i PISA? 117 Varför försämras likvärdigheten? 123 Tänkbara mekanismer som orsakar sortering av elever på olika skolor 126 Referenser 129

K apitel 8

Flickor och pojkar i ­PISA-undersökningarna 131 Vad har andra undersökningar visat? 131 Utvecklingen i läsförståelse 133 Utvecklingen i matematik 138 Utvecklingen i naturvetenskap 141 Vad kan utläsas generellt? 143 Referenser 144

K apitel 9

Inhemska elever och elever med utländsk bakgrund i PISA 147 Andra undersökningar 148 Vad menas med inhemska elever och elever med utländsk bakgrund? 150 Socioekonomisk bakgrund 151 Problem med jämförelser över tid 151 Resultat 152 Sammanfattande reflektioner kring utvecklingen 159 Referenser 160

K apitel 10

Svenska resultat i ­inter­nationell jämförelse 161 Resultat i internationellt perspektiv 161 Svenska resultat i OECD-perspektiv 162 En nordisk jämförelse 163 Förändringar i några länder 167 Referenser 169

PISA_inlagan.indd 7

2018-06-20 15:45

K apitel 11

Vad kan vi lära av PISA? 170 Varför deltar Sverige i PISA? 170 Vilka lärdomar kan dras på internationell nivå? 171 Nordiskt samarbete 174 Vilka lärdomar kan dras på nationell nivå? 174 Referenser 176

K apitel 12

Kritiken mot PISA 178 Olika typer av kritik 178 Allmän kritik 179 Går kunskap att mäta? 183 Kan man jämföra länder? 186 Teknisk/metodologisk kritik 188 Sammanfattande diskussion 193 Referenser 195

K apitel 13

PISA – och sedan? 199 Om kunskapsundersökningar 199 Andra aktörer än OECD och IEA 201 Om digitaliseringen av PISA 202 Referenser 204

Bilaga A PISA-undersökningarna 2000 till 2015 med uppgifter om de

personer på forskningsinstitutioner som arbetat med PISA i

Sverige och rapportförfattare 207 Bilaga B Publikationer från OECD med PISA-resultat 211 Bilaga C Publikationer från Skolverket med PISA-resultat 221 Bilaga D Uppgifter i PISA i läsförståelse, matematik och natur­ vetenskap 224 Bilaga E Prestationsnivåer 226 Författarpresentation 232

PISA_inlagan.indd 8

2018-06-20 15:45

Inledning

Det har gått 15 år mellan det att den första PISA-undersökningen (Programme for International Student Assessment) genomfördes år 2000 och den senaste undersökningen från 2015. 2018 gör elever runt om i världen PISA, vars resultat kommer att publiceras 2019. Arbetet med den första undersökningen började långt före år 2000, så som beskrivs i kapitel 1, och arbetet med PISA 2015 avslutades inte förrän resultaten presenterades 2016 och är fortfarande inte helt avslutat. PISA som internationellt projekt har alltså pågått i mer än 15 år och sex stora undersökningar har genomförts i ett stort antal länder. I den första PISA-undersökningen år 2000 deltog 32 länder och i PISA 2015 deltog 72 länder och regioner. PISA kan med rätta betecknas som världens största kunskapsundersökning.

Att så mycket data samlats in och bearbetats under de sex genomförda PISA-undersökningarna ger i sig en god anledning till att försöka summera resultaten och se vilka olika trender som kan urskiljas både i ett svenskt och i ett internationellt perspektiv. Detta har varit ett viktigt skäl för alla oss som medverkat i denna bok när vi beslutade att skriva boken.

Det finns ytterligare ett viktigt skäl till varför denna bok skrivs nu. När PISA-projektet startade i Sverige i slutet av 1990-talet var det forskare verksamma vid Högskolan i Kalmar och Lärarhögskolan i Stockholm som tog ansvar för genomförandet (se kapitel 1). Denna grupp har sedan förändrats över åren. Några av de forskare som var med från början har bytt universitet, några har slutat och andra har tillkommit. Lärarhögskolan i Stockholm har blivit en del av Stockholms universitet. Trots dessa förändringar har det funnits en tydlig kontinuitet i den grupp som arbetat med PISA. I och med att Skolverket redan inför PISA

PISA_inlagan.indd 9

9

2018-06-20 15:45

2015 – och än mer inför PISA 2018 – beslutat om olika omorganiseringar av arbetet med PISA har den grupp som tidigare fanns nu i princip upplösts. Några har valt att arbeta vidare med PISA, medan andra har avslutat sitt arbete med PISA. Denna bok har följaktligen blivit ett sista projekt som den grupp som i olika konstellationer arbetat med PISA sedan starten nu genomför.

Målsättningen med denna bok är att ge en både bredare och djupare bild av PISA än den som i regel ryms i de rapporter som publiceras i samband med de olika PISA-undersökningarna. Tanken har varit att försöka använda de data som samlats in under 15 år till att titta djupare på resultat och trender ur ett nationellt och internationellt perspektiv.

För att kunna uppfylla denna målsättning har boken delats upp i fyra huvudavsnitt. I det första avsnittet – som omfattar kapitel 1 och 2 – beskrivs bakgrunden till PISA, hur den första PISA-undersökningen år 2000 genomfördes och hur sedan de fortsatta undersökningarna 2003, 2006, 2009, 2012 och 2015 genomförts. Syftet är att ge en tydligare bild av hur PISA organiseras och praktiskt genomförs.

Den andra delen – som omfattar kapitel 3, 4, 5 och 6 – omfattar beskrivningar av hur framför allt de svenska resultaten utvecklats över tid inom de tre områden som undersökts i varje PISA-undersökning, det vill säga läsförståelse (kapitel 3), matematik (kapitel 4) och naturvetenskap (kapitel 5). Dessutom tas också området problemlösning, som undersökts 2003, 2012 och 2015, upp i ett särskilt kapitel (kapitel 6).

I den tredje delen används PISA-resultaten för att titta på tre specifika områden. I kapitel 7 tas frågan om likvärdighet upp. Hur har likvärdigheten utvecklats över tid? I kapitel 8 behandlas skillnader mellan flickor och pojkar i de tre områdena läsförståelse, matematik och naturvetenskap. Syftet är att se hur flickors och pojkars resultat förhåller sig till varandra och hur detta utvecklats över tid. I kapitel 9 behandlas skillnader mellan inhemska elever och elever med utländsk bakgrund. Också här är syftet att se hur skillnader utvecklats över tid.

Kapitlen tar sin utgångspunkt i de svenska resultaten, men relaterar också dessa till utvecklingen i andra länder.

10

PISA_inlagan.indd 10

2018-06-20 15:45

I den fjärde delen tas mer generella frågor kring PISA-undersökningarna upp.

I kapitel 10 tas de svenska resultaten upp och diskuteras i relation till de internationella resultaten i PISA. I kapitel 11 lyfts särskilt fram vad som kan läras av PISA både ur ett nationellt och internationellt perspektiv. I kapitel 12 behandlas och kommenteras den kritik som utifrån delvis olika utgångspunkter riktats mot PISA. Slutligen, i kapitel 13, diskuteras PISA:s framtid. Vad kommer att hända med PISA? Vilken roll kan PISA antas ha i framtiden?

I tillägg till kapitlen finns också fem bilagor (A, B, C, D och E). I bilaga A listas alla de personer på forskningsinstitutioner i Sverige som på olika sätt arbetat med PISA-undersökningarna och de som varit rapportförfattare under årens lopp. I bilaga B förtecknas alla de publikationer som OECD har gett ut med olika sammanställningar och analyser av data från PISA. I bilaga C listas de publikationer om PISA som Skolverket har gett ut. I bilaga D ges information om var exempel på uppgifter i läsförståelse, matematik och naturvetenskap som finns i PISA kan hittas. Slutligen innehåller bilaga E prestationsnivåerna i läsförståelse, matematik och naturvetenskap som används i PISA-undersökningarna.

Vi som skrivit denna bok hoppas att den ska vara en resurs för dem som vill veta mer om PISA och som också vill kunna se PISA-resultaten i ett både mer fördjupat och bredare perspektiv. Eftersom PISA ofta refereras till i olika diskussioner kring skola och utbildning hoppas vi att många kan se det som värdefullt att denna typ av information har samlats i en särskild bok. Förhoppningsvis kan boken vara av intresse för lärare, lärarstudenter, lärarutbildare och skolledare, men även för politiker och beslutsfattare.

Avslutningsvis vill vi tacka alla skolor som gjort det möjligt att genomföra PISA. Vi vill också särskilt tacka professor Ingrid Munck som har varit oss behjälplig med uppgifter om IEA (International Association for the Evaluation of Educational Achievement).

Stockholm/Härnösand mars 2018 Ulf Fredriksson, Karl Göran Karlsson och Astrid Pettersson

PISA_inlagan.indd 11

11

2018-06-20 15:45

PISA_inlagan.indd 12

2018-06-20 15:45

Kapitel 1

Bakgrund till ­PISA-undersökningarna Astrid Pettersson & Karin Taube

När den första datainsamlingen inom Programme for International Student Assessment (PISA) genomfördes år 2000 hade den föregåtts av tankar och diskussioner om internationella mätningar av elevers skolprestationer under nästan ett halvt sekel. Det kan därför vara på sin plats att i det här inledande kapitlet redogöra för PISA-projektets historiska rötter, inte minst för att lyfta fram tidiga bidrag från svensk sida i sammanhanget. Kapitlet kommer också att behandla förarbetet och genomförandet av den första PISA-undersökningen.

Kunskapsmätningar före PISA I slutet av 1950-talet möttes en grupp utbildningsforskare vid UNESCO Institute for Education (UIE) i Hamburg. De diskuterade problem med utbildningssystems och skolors effektivitet samt elevers lärande. Man ville undersöka möjligheterna att identifiera ett antal faktorer i syfte att få reda på vilka av dessa som hade störst betydelse för skolprestationer. En utgångspunkt i diskussionerna var att länder med olika utbildningssystem har mycket att lära av varandra. Genom att studera skillnader mellan olika utbildningssystem och elevprestationer skulle man kunna få ökad kunskap om väsentliga faktorer för elevprestationer (Elley, 1992, 1994; Skolverket, 2001a).

PISA_inlagan.indd 13

13

2018-06-20 15:45

14

pisa under 15 år

Detta var upprinnelsen till det officiella bildandet av International Association for the Evaluation of Educational Achievement (IEA) 1967. Sverige var genom Torsten Husén en av initiativtagarna till IEA-studierna. Han var vid den tiden professor vid Lärarhögskolan i Stockholm och var ordförande för IEA under åren 1956–1971. Husén hade tidigare verkat som forskare i Chicago och varit aktiv inom den så kallade Chicagoskolan med världsledande skolforskare som var pionjärer inom jämförande utbildningsstudier. IEA:s huvudkontor flyttades från Hamburg till Stockholm 1969 mitt under planeringsstadiet av den tidens största internationella beteendevetenskapliga undersökning, ”Six Subject Survey”, under ledning av T. Neville Postlethwaite.

Torsten Husén tilldelades 1971 en personlig professur i internationell pedagogik vid Stockholms universitet och ledde vid institutionen ett internationellt forskarcentrum med tillgång till unika IEA-data från elever, lärare och skolrektorer under ett tiotal år. Bland annat handledde han 38 forskarstuderande fram till doktorsexamen (Postlethwaite, 1994). Många av dessa genomförde fördjupade statistiska analyser av IEA-data, som ledde till utvärderingar av svensk skola i internationell belysning (Munck, 2017).

IEA blev en forskardriven internationell organisation och de data som skulle användas var elevernas resultat på prov i viktiga skolämnen. För att kunna redovisa rättvisande jämförelser utvecklades grundliga analyser av läroplaner och mått på de enskilda ämnenas ”opportunity to learn” (möjligheter att lära). Den första studien, Pilot Twelve-Country Study, genomfördes 1960 i 12 länder och bland annat undersökte man trettonåringars prestationer i matematik, läsförståelse och naturvetenskap. Syftet var till stor del att utforska om storskaliga internationella undersökningar av utbildningsprestationer var möjliga att genomföra (Foshay et al., 1962). Resultatet blev positivt och ledde till genomförandet av First International Mathematics Study (FIMS) 1964 i drygt tio länder (Husén, 1967). Ett par år senare genomfördes också Six Subject Survey (1970–1971), vars datainsamling leddes av det internationella centret i Stockholm och inkluderade studier av läsförståelse, litteraturkunskap, naturvetenskap, engelska och franska som andraspråk samt ”civic education”/samhällskunskap (Thorndike, 1973).

PISA_inlagan.indd 14

2018-06-20 15:45

Bakgrund till ­PISA-undersökningarna

15

Under senare delen av 1970-talet uppstod diskussioner om möjligheter att genomföra återkommande mätningar av skolprestationer för att kunna utvärdera trender över tid. Alltsedan dess har en lång rad internationella och jämförande studier genomförts, inte sällan upprepade studier av samma ämnen. Som exempel kan nämnas Third International Mathematics and Science Study (TIMSS 1) 1995, 2003, 2007, 2011 och 2015. Läsförståelse har förutom i Six Subject Survey (1970–1971) undersökts i Reading Literacy Study (1990–1991) och därefter i Progress in International Reading Literacy Study (PIRLS) (2001, 2006, 2011 och 2016). Idag finns historik, publikationer och data ända tillbaka till 1970-talets IEA-studier tillgängliga via IEA:s hemsida – www.IEA.nl.

De svenska resultaten i matematik vid IEA-undersökningarna både 1964 och 1980 var mycket svaga jämfört med andra länders. På Skolöverstyrelsen fördes därför en diskussion om hur de svenska resultaten i matematik hade förändrats över tid. Det visade sig då att det saknades nationella undersökningar som skulle kunna ge förklaringar till de svenska elevernas låga prestationer. Det var en av orsakerna till att man beslöt att nationella utvärderingar (NU) skulle genomföras i treårscykler och att ambitionen var att alla ämnen skulle vara med.

NU-undersökningar har genomförts mellan 1989 och 2003, men inte alls i alla ämnen varje gång och inte heller vart tredje år. Även läsförståelse har undersökts på nationell nivå 1989, 1992, 1995 och 2003 (se exempelvis Skolverket, 2004).

Sverige har alltså sedan lång tid tillbaka deltagit i IEA:s internationella och jämförande undersökningar inom olika områden i skolan, bland annat inom läsförståelse och matematik. Även många nationella studier av skolprestationer har genomförts. Detta har medfört att svenska forskare har förvärvat erfarenheter och kunskaper som senare skulle visa sig komma väl till pass inom PISA. Det är rimligt att anta att dessa erfarenheter och kunskaper även spelade en viss roll när beslutet om att Sverige skulle delta i PISA-projektet fattades.

1. Efter den första TIMSS-undersökningen kom förkortningen att stå för Trends in International Mathematics and Science Study.

PISA_inlagan.indd 15

2018-06-20 15:45

16

pisa under 15 år

OECD som aktör för internationella kunskapsmätningar OECD (Organisation for Economic Co-operation and Development) bilda­ des ursprungligen som en organisation för samarbete kring ekonomiska frågor men har med tiden fått en allt större betydelse inom det utbildningspolitiska området (Bieber & Martens, 2011). Detta sedan det blivit allt mer uppenbart att OECD-ländernas ekonomiska utveckling i hög grad är relaterad till deras invånares utbildningsnivå. Utbildning ses som en drivkraft för tillväxt och OECD strävar efter att förbättra kvaliteten, likvärdigheten och effektiviteten i medlemsländernas utbildningssystem (Henry et al., 2001). Under de senaste 30 åren har OECD:s utbildningsprogram bland annat arbetat med att förbättra internationella indikatorer inom utbildningsområdet. Varje år presenteras kvantitativa beskrivningar av medlemsländernas utbildningssystem genom publikationen Education at a Glance (se exempelvis OECD, 2017). Sverige har genom Skolverket deltagit i detta arbete sedan 1991 (Skolverket, 1994).

OECD ställde sig kritisk till IEA-studierna bland annat för att alla OECD-länder inte deltog i IEA-samarbetet och att IEA-studiernas resultatmått, där utgångspunkten var elevernas kunskaper utifrån ländernas kursplaner, inte passade särskilt bra ihop med OECD:s huvudfokus på det livslånga lärandet.

En annan kritik från OECD gick ut på att man inte fick tillgång till IEA:s resultat förrän de redan presenterats och alltså inte längre var nya. Slutligen ansågs det stora antalet deltagande länder i IEA-undersökningarna leda till att publiceringen av data drog ut på tiden, och att när de slutligen nådde OECD var det för sent att genomföra ett reformarbete grundat på dem (Olsen, 2005; Pettersson, 2008).

Inom OECD fattades därför beslutet att genomföra egna jämförande internationella undersökningar som skulle fokusera de förmågor som krävs i det vuxna livet. OECD:s utgångspunkt – till skillnad från IEA:s – blev vad elever måste kunna för att klara sig i ett modernt samhällsliv. Var de, med andra ord, rustade att möta framtiden? OECD inriktade sig mot de ungdomar som var i slutet av sin obligatoriska utbildning, och beslöt därför att undersöka

PISA_inlagan.indd 16

2018-06-20 15:45

Bakgrund till ­PISA-undersökningarna

17

femtonåringars kunskaper och kompetenser vart tredje år inom framför allt tre olika ämnesområden: läsförståelse, matematik och naturvetenskap. Arbetet inom PISA-projektet skulle äga rum i cykler om fyra år. Ett år för skapande av prov och mätningsprocedurer, ett år med en pilotundersökning av dessa, ett år då huvudundersökningen genomfördes med de väl utprövade instrumenten och procedurerna samt slutligen ett år då data analyserades och rapporterades. Den första cykelns fjärde år var samtidigt den andra cykelns första år. Alla tre ämnena skulle finnas med i varje mätning men ett av dem skulle få större utrymme: först läsförståelse, sedan matematik och sedan – i den tredje cykeln – naturvetenskap.

I ett första steg skickade OECD (1997) ut en inbjudan till alla medlemsländer om deltagande i den första PISA-undersökningen med datainsamling år 2000.

Denna inbjudan hamnade för Sveriges vidkommande på Skolverkets bord, och samma år fattade myndigheten ett beslut om att Sverige skulle delta och ingå i det som kom att kallas Board of Participating Countries (BPC). Birgitta Fredander utsågs till projektledare (Skolverket, 1997). Vilka diskussioner på Skolverket som föregick beslutet finns inte dokumenterat. Med stor sannolikhet bidrog en rad omständigheter i större eller mindre grad under en lång följd av år till beslutet om ett svenskt deltagande. En svensk professor hade funnits med bland initiativtagarna till IEA, institutionen för internationell pedagogik vid Stockholms universitet hade under en tid utgjort IEA:s internationella centrum, samma institution och andra svenska universitetsinstitutioner hade genomfört IEA-mätningar av svenska elevers skolprestationer och Sverige hade aktivt deltagit i arbetet med insamling av uppgifter till Education at a Glance.

PISA-projektets institutionella placering i Sverige de första åren När Skolverket övervägde varifrån PISA-projektet skulle ledas gick en intresseförfrågan ut till olika lärosäten och myndigheter (Skolverket, 1997). Bland andra lämnade Högskolan i Kalmar tillsammans med Lärarhögskolan i Stockholm in ett anbud. Skolverket beslöt att Högskolan i Kalmar skulle utföra uppdraget.

PISA_inlagan.indd 17

2018-06-20 15:45

18

pisa under 15 år

Karin Taube, en av författarna till detta kapitel, skulle vara nationell projektledare och även ansvara för området läsförståelse. Astrid Pettersson, också hon författare till kapitlet, skulle ansvara för matematik och B.-O. Molander för naturvetenskap. De senare var båda verksamma vid Lärarhögskolan i Stockholm. Av konsultkontraktet (Skolverket, 1998a) framgår att uppdraget omfattade PISA:s första cykel och nästan fyra år. För varje år upprättade Skolverket en projektplan (se exempelvis 1998b, 2001b).

I början av 2001 upprättades ett nytt fyraårskontrakt mellan Skolverket och Högskolan i Kalmar med liknande lydelser som i det första kontraktet (Skolverket, 2001c). Redan den 1 juli 2002 flyttades emellertid PISA:s nationella center till Mitthögskolan. Skälet var att projektledaren avslutat sin anställning vid Högskolan i Kalmar och tillträtt en ny anställning vid Mitthögskolan (Högskolan i Kalmar, 2002). Samarbetet med Lärarhögskolan fortsatte men då för ämnet matematik och området problemlösning. Ämnet naturvetenskap övergick från Lärarhögskolan till Mitthögskolan med Karl Göran Karlsson som ansvarig.

Skolverket beslutade 2003 att delta även i den tredje PISA-cykeln med datainsamling 2006. Huvudmotivet var att den tredje omgången skulle ge en mer fördjupad kunskap om elevers kompetens när det gäller naturvetenskap, det tredje av de ämnen som ingår i PISA. Det ansågs också värdefullt att fullt ut ha deltagit i de tre första sammanhängande undersökningarna och att detta skulle kunna ge en bättre grund för att värdera det professionella och politiska värdet av fortsatt deltagande (Skolverket, 2003).

Mittuniversitetet2 var fortsatt PISA:s nationella centrum från 2002 till och med 2016, då Skolverket tog över.

Hur gick det praktiska arbetet till i början?

De svenska forskarna som deltog i den första PISA-undersökningen fick i viss utsträckning vara med och påverka det internationella arbetet. Bland annat 2. Från 1993 till 2005 Mitthögskolan.

PISA_inlagan.indd 18

2018-06-20 15:45

Bakgrund till ­PISA-undersökningarna

19

bidrog de med uppgifter i både läsförståelse och matematik och senare också i naturvetenskap. Många självvärderingsfrågor som användes i PISA var hämtade från Sverige och inspirerade av de frågor som använts vid den nationella utvärderingen som genomfördes 1992.

Det praktiska arbetet på hemmaplan innebar granskning av ramverk, uppgifter, enkätfrågor och översättningar, kodning av elevlösningar samt rapport­skrivning.

Andra arbetsuppgifter utgjordes av rekrytering av provledare, kodare och data-­ entrypersonal och utbildning av dessa. En viktig och tidskrävande uppgift var att hålla i kontakten med skolor, och särskilt då med rektorer och lärare som var involverade i undersökningens genomförande på skolnivå. Det visade sig att intresset från skolorna inte alltid var så stort. Man såg det som ytterligare en arbetsbörda och förstod inte alltid syftet med undersökningen.

Kontakter och samarbeten med det konsortium som under ledning av Australian Council for Educational Research (ACER) hade ansvaret för att designa och implementera PISA-undersökningarna var omfattande. Information utväxlades med forskare i andra deltagande länder vid internationella möten runt om i världen men framför allt via internet.

I PISA-konsortiet ingick även Westat, en institution som bland annat utför statistiska analyser inom det samhällsvetenskapliga området för USA:s högsta ledning. Vid internationella möten fick varje lands projektledare konsultationer i enrum av urvalsexperter från Westat, som bistod vid det viktiga urvalet av deltagande elever i varje land.

Inför den mycket känsliga kodningen av så kallade öppna svar drillades de personer som nationellt utsetts att vara ansvariga för kodningen under flera dagar vid internationella möten. Vid hemkomsten fick dessa personer ansvara för att utbildningen i det egna landet genomfördes i enlighet med de internationella instruktionerna.

I enlighet med PISA:s högt ställda kvalitetskrav skulle alla uppgifter nogsamt prövas ut och kvalitetsgranskas. Genomförandet måste dessutom se ut på exakt samma sätt i alla deltagande skolor. Därtill fick inte bortfallet på skol- och ­elevnivå vara för stort. Informationen till skolorna var särskilt viktig.

PISA_inlagan.indd 19

2018-06-20 15:45

20

pisa under 15 år

Undersökningens genomförande kontrollerades i varje land av personer från OECD och ACER, utöver nationella kvalitetsgranskare.

I samband med att de utvalda skolorna skulle genomföra PISA-undersökningen skickade Skolverket ut ett pressmeddelande, där det bland annat framgick att: • Drygt 150 skolor med cirka 5 000 elever i Sverige deltar.

• Det är den största internationella mätningen någonsin och den kommer att visa hur de svenska eleverna står sig internationellt.

• 32 länder deltar i undersökningen, förutom de flesta OECD-länderna också bland annat Ryssland och Brasilien.

• Det är utomordentligt viktigt att Sverige deltar, eftersom det är ett brett internationellt deltagande och den mest ambitiösa internationella mätningen av elevprestationer som någonsin genomförts.

• PISA-undersökningen kommer att upprepas vart tredje år.

• I varje utvald skola väljs 35 elever som är födda 1984 att delta. Alla urval är helt slumpmässiga.

• Undersökningen består av kunskaps-/förmågetest för varje enskild elev och ett frågeformulär där eleven får fylla i relevanta bakgrundsuppgifter.

• Även rektorn på skolan får fylla i ett formulär med uppgifter om skolan.

(Skolverket, 2000) Det visade sig att en av svårigheterna för skolorna var att de inte hade tillräckligt stora lokaler för att rymma 35 elever. En konsekvens av detta blev att vid senare undersökningar valdes endast 30 elever ut, men från ett större antal skolor.

Eftersom PISA 2000 var en ny företeelse förekom det att rektorer och lärare ibland inte riktigt förstod betydelsen av att strikt följa alla instruktioner. Det förekom även att rektorer sa sig inte ha tid att låta sina skolor medverka. Skolverket gick emellertid ut och meddelade att det ingick i skolornas förpliktelser och att skolorna var tvungna att delta. Det underlättade arbetet för de forskare som ansvarade för genomförandet och bidrog framför allt till att bortfallet kunde hållas på lägsta möjliga nivå. I början var allt nytt för de uttagna skolorna.

PISA_inlagan.indd 20

2018-06-20 15:45

Bakgrund till ­PISA-undersökningarna

21

Genomförandet tog mycket tid och var administrativt besvärligt eftersom inte hela klasser skulle delta utan bara delar av klasser. Projektet blev därför ibland ifrågasatt. Senare PISA-undersökningar har haft en betydande draghjälp av att projektet med tiden blivit så allmänt känt via massmedia.

Intryck och minnen från den första datainsamlingen 2000 Den forskargrupp som arbetade med den första PISA-undersökningen rapporterade om intressanta och mycket värdefulla erfarenheter. Inte minst det konstruktiva samarbetet både inom och mellan länder upplevdes som positivt.

Arbetet med detta stora och internationella projekt innebar dock även en enorm arbetsbörda med alla små och stora problem som skulle lösas. Forskargruppens tidigare erfarenheter av datainsamlingar avseende elevprestationer både nationellt och internationellt var en viktig förutsättning för att riktigt förstå betydelsen av att rigoröst följa de internationella instruktionerna och att inte tveka att ställa frågor till den internationella projektledningen vid upplevda oklarheter.

Det är viktigt att komma ihåg att det praktiska arbetet med PISA i stor utsträckning styrdes av ACER i Australien. Skulle hela denna omfattande och komplexa datainsamling hinna genomföras under den stipulerade tiden var den internationella projektledningen tvungen att hålla de nationella projektledarna i strama tyglar.

Att få fram personal var en kritisk fråga. Framför allt var det knepigt att hitta tillräckligt kvalificerade översättare som skulle översätta texter och uppgifter både från franska och engelska, en tredje person som skulle jämföra de två översättningarna, samt en fjärde som skulle granska texter och uppgifter utifrån respektive ämnesområden. Det behövdes även personal som skulle kontakta skolor och lärare, vara provledare på fältet, koda alla öppna svar, skriva in alla elevsvaren på en dator, genomföra statistiska analyser med mera. Alla medarbetare skulle utbildas för sina respektive uppgifter i enlighet med detaljerade manualer utsända från det internationella centret. Ytterligare en svår uppgift

PISA_inlagan.indd 21

2018-06-20 15:45

22

pisa under 15 år

var att skaka fram lämpliga lokaler och datorer för arbete med kodning och inmatning av uppgifterna.

Från de skolor som deltog i PISA 2000 kom också rapporter om problem. Ett sådant var att se till att samtliga uttagna elever kom till den lokal där testningen skulle äga rum och i tid. Ett annat var att se till att de inte lämnade lokalen i förtid utan satt kvar tills samtliga var klara. Att bjuda eleverna på fika eller pizza i en paus dök tidigt upp som ett sätt att motivera dem.

De svårigheter som beskrivs här har funnits vid samtliga PISA-undersökningar men svårigheterna var förmodligen störst vid den första omgången. Detta mycket på grund av att allt var helt nytt både för den nationella projektledningen men också för den institution som fått ansvaret för att genomföra projektet.

Dessutom var PISA-projektet i det här tidiga skedet inte känt från massmedia, till skillnad från senare PISA-undersökningar där det funnits en viss strålglans kring detta mycket omfattande internationella projekt.

Förutom det stöd som erhölls från internationella samarbetspartners – särskilt det från övriga nordiska länder – fick projektledningen stort stöd av Skolverket och den nationella referensgrupp som tillsattes av Skolverket. Denna referensgrupp följde arbetet och gav konstruktiva synpunkter bland annat på vad som skulle tas upp i den svenska resultatrapporten. Syftet med referensgruppen var också att förankra information om PISA i vidare kretsar och vara ett stöd i det operativa arbetet. Den skulle också medverka vid spridningen av resultaten, initiera forskning på insamlade data och ge förslag på tematiska studier (Wester, 2002).

Internationellt kunde projektledningen alltid vända sig till ACER i Australien vars personal tålmodigt gav svar på alla frågor oavsett svårighetsgrad. Vidare kunde projektledarna luta sig mot Westat i USA när det gällde frågor om urval av elever och vid problem med översättningarna till en institution i Belgien som hade ansvaret för dessa.

PISA_inlagan.indd 22

2018-06-20 15:45

Bakgrund till ­PISA-undersökningarna

23

Referenser Bieber, T. & Martens, K. (2011). The OECD PISA Study as a Soft Power in Education?

Lessons from Switzerland and the US. European J. of Education, 46, 101–116.

Elley, W.B. (1992). How in the World do Students Read? Hamburg: IEA. Elley, W.B. (1994). The IEA Study of Reading Literacy: Achievement and Instruction in Thirty-Two School Systems. Oxford: Pergament Press.

Foshay, A.W., Thorndike, R.L., Hotyat, F., Pidgeon, D.A. & Walker, D.A. (1962). Educational achievements of thirteen-year-olds in twelve countries: Results of an international research project, 1959–1961. Hamburg: UNESCO Institute for Education.

Henry, M., Lingard, B., Rizvi, F. & Taylor, S. (2001). The OECD, Globalisation, and Policy Making in Education. Oxford: Pergamon/Elsevier.

Husén, T. (red.). (1967). International study of achievement in mathematics: A comparison of twelve countries (Vols. 1–2). Stockholm: Almqvist & Wiksell.

Högskolan i Kalmar (2002). Uppsägning av avtal mellan Skolverket och Högskolan i Kalmar angående konsultkontrakt. (Dnr HiK 1.3-98/01).

Munck, I. Telefonintervju september 2017.

OECD (1997). International indicators of educational system: Network A Strategy for Student Achievement Outcomes.

OECD (2017). Education at a Glance 2017: OECD Indicators. OECD Publishing, Paris. http://dx.doi.org/10.1787/eag-2017-en Olsen, R.V. (2005). Achievement test from an item perspective: An exploration of single item data from the PISA and TIMSS studies, and how much data can inform us about students’ knowledge and thinking in science. Oslo: Department of Teacher Education and School Development, University of Oslo.

Pettersson, D. (2008). Internationell kunskapsbedömning som inslag i nationell styrning av skolan. Doktorsavhandling. Uppsala: Uppsala universitet.

Postlethwaite, T.N. (1994). Torsten Husén. I Morsy, Z. (red.), Thinkers on Education.2.

Paris: Unesco Publishing.

Skolverket (1994). Deltagande i OECD INES ”Student outcome”. Beslut 1994-12-07, Dnr 94:42.

PISA_inlagan.indd 23

2018-06-20 15:45

24

pisa under 15 år

Skolverket (1997). Anbudsförfrågan Nationell projektledare för OECD-projektet ”A Strategy for Student Achievement Outcomes”. Dnr 97:1597.

Skolverket (1998a). Konsultkontrakt 1998-03-05. Dnr 97:1597.

Skolverket (1998b). OECD/INES projekt ”Student outcome”: Projektplan. Beslut reviderat 1998-01-12, Dnr 1997:1597.

Skolverket (2000). Pressmeddelande 2000-03-07. 100 000 skolelever världen över undersöks.

Skolverket (2001a). PISA 2000: Svenska femtonåringars läsförmåga och kunnande i matematik och naturvetenskap i ett internationellt perspektiv. Rapport 209. Stockholm: Skolverket.

Skolverket (2001b). OECD INES projekt PISA, Network A: Projektplan. Beslut 2001-02-19, Dnr 1997:1597.

Skolverket (2001c). Konsultkontrakt 2001-01-25. Dnr 97:1597, 75-2001:386.

Skolverket (2003). Beslut 2003-09-09 om deltagande i PISA 2006.

Skolverket (2004). Nationella utvärderingen av grundskolan 2003. Sammanfattande huvudrapport. Stockholm: Skolverket.

Thorndike, R.L. (1973). Reading Comprehension Education in Fifteen Countries. Stockholm: Almqvist & Wiksell.

Wester, A. (2002). Arbetsplan för PISA 2003, projektnummer 11 30 12, Dnr 1997; 752001:386. PM inom Skolverket 2002-05-07.

PISA_inlagan.indd 24

2018-06-20 15:45

Kapitel 2

Hur PISA-undersökningarna genomförs Maria Lundgren & Karl Göran Karlsson

PISA-undersökningen är som en maskin med många komponenter. Alla komponenter är viktiga för att maskineriet ska fungera och det spelar ingen roll om det handlar om att klippa upp femtusen USB-förpackningar av hårdplast eller att i kammarrätten försvara rätten att inte behöva lämna ut listor över deltagande skolor. Om maskinen fungerar som den ska blir slutprodukten en pusselbit. En bild av svensk skola växer fram och forskarna som tålmodigt lägger pusslet får en ny pusselbit vart tredje år. Det här kapitlet handlar om hur det går till när PISA-undersökningarna genomförs.

Ett lutande torn i Italien Startskottet för PISA-undersökningen var datainsamlingen våren 2000. Sverige och 31 andra länder samlade in data för vad som skulle bli den första i raden av många undersökningar. I Sverige deltog 4 416 elever i 154 skolor. Läsförståelse, matematik och naturvetenskap var de ämnesområden som ingick i det första pappersprovet och läsförståelse var huvudområde. PISA har sedan dess genomförts var tredje år, så undersökningen 2000 följdes av datainsamlingar 2003, 2006, 2009, 2012 och 2015. Vad som var huvudområde växlade mellan läsförståelse, matematik, och naturvetenskap, och med den sjätte undersökningen 2015 hade varje ämnesområde således varit huvudområde två gånger.

PISA_inlagan.indd 25

25

2018-06-20 15:45

26

pisa under 15 år

Efter varje datainsamling släpptes både en internationell och en svensk rapport. Resultatet från PISA 2000 visade att svenska elever var goda läsare i ett internationellt perspektiv med relativt små skillnader mellan elever och skolor (Skolverket, 2001). Den svenska rapporten fick inte några stora rubriker i tidningarna. PISA var för de allra flesta fortfarande bara ett lutande torn i Italien.

Förberedelser Det krävs två års förberedelser innan eleverna kan sätta sig ner med sina prov på provdagen. Proven ska ge eleverna förutsättningar att visa vilka kunskaper de har, och vilka kunskaper som ska mätas är hela tiden under förhandling. Två av de viktigaste delarna i förberedelsearbetet är att ta fram provuppgifter och översättningen.

Provuppgifter och enkätfrågor tas fram Utvecklandet av provuppgifter i PISA utgår från ett väl definierat ramverk och har samordnats av en internationell projektgrupp under ledning av experter från de deltagande länderna. Varje PISA-undersökning föregås av en förstudie där nya uppgifter utprövas. Urvalet av material har gjorts utifrån teknisk kvalitet, kultu­ rell lämplighet, intressenivå för femtonåringar, överensstämmelse med P ­ ISA:s ramverk samt utifrån kravet på uppgifter med varierande svårighetsgrad. En kontext eller företeelse som är vardaglig i ett land kan vara helt obegriplig i ett annat. Då blir förutsättningarna för eleverna orättvisa. I vissa länder kan också uppgifter med visst innehåll vara olämpliga.

Provuppgifterna i PISA-provet innehåller vanligtvis ett så kallat stimulus och olika deluppgifter. Stimulus är i regel en kort text som eleverna behöver läsa för att kunna göra de deluppgifter som är kopplade till varje stimulus. Varje deluppgift kan kategoriseras efter innehåll, kompetens, sammanhang och uppgiftstyp (se vidare kapitel 3, 4 och 5).

Uppgiftstyp innebär att frågor kan vara av flervalstyp, komplex flervalstyp

PISA_inlagan.indd 26

2018-06-20 15:45

Hur PISA-undersökningarna ­g enomförs

27

eller öppna frågor. För flervalsfrågor och komplexa flervalsfrågor ska eleverna markera ett eller flera svarsalternativ. Som svar på de öppna frågorna måste de skriva ett eget svar. För vissa sådana frågor kan det räcka med ett relativt kort svar, medan andra kan kräva ett något längre svar som kan innefatta flera meningar.

Antalet uppgifter inom varje ämnesområde skiftar i de olika PISA-undersökningarna. Fler uppgifter används för huvudområdet, medan biområdena har färre. Det betyder att data för huvudområdet är mer tillförlitliga och att fler aspekter kan mätas. Exempelvis kan olika delkompetenser inom huvudområdet mätas (se vidare kapitel 3, 4 och 5).

För att verkligen kunna göra jämförelser över tid krävs att en del av ­PISA-uppgifterna används vid fler än en undersökning. Det innebär att det inte är möjligt att publicera samtliga PISA-uppgifter. För att ändå kunna visa hur en uppgift kan se ut för en bredare allmänhet har uppgifter som inte ska användas igen publicerats. Skolverket har på sin hemsida publicerat sådana uppgifter. Risken för att fortsatt hemliga provuppgifter ska få spridning har naturligtvis ökat med användningen av mobiltelefoner. Och när provet blev helt datorbaserat 2015 låg stort fokus på att göra det så svårt som möjligt att sprida provet.

I PISA-undersökningarna får både elever och rektorer svara på enkätfrågor.

Dessa frågor är tänkta att ge förklaringar till provresultaten och används vid analysen för att relatera elevers och länders förutsättningar till provresultaten.

Elevenkäten innehåller frågor om till exempel elevernas hem- och familjeför­ hållanden, deras intressen och ambitioner och hur de trivs i skolan och med sina lärare. Rektorerna får svara på frågor om bland annat skolans storlek, i vilken typ av ort den finns, om det finns tillräckliga resurser och hur lätt eller svårt det är att rekrytera lärare. Dessutom ingår frågor om grad av autonomi, examinationsformer och samverkan med föräldrar. Vissa av enkätfrågorna har varit desamma från första undersökningen och framåt, medan andra frågor har kommit och gått. De enskilda länderna är inte med i processen med att ta fram nya enkätfrågor, men de uppmanas att tycka till om färdiga förslag

PISA_inlagan.indd 27

2018-06-20 15:45

28

pisa under 15 år

och har möjlighet att lägga till nationella enkätfrågor i slutet av elevenkäten.

Enkätfrågorna är inte hemliga utan finns publicerade på Skolverkets hemsida.

Översättning Varje undersökning föregås alltså av en förstudie. Internationella expertgrupper inom varje ämnesområde väljer ut de provuppgifter som ska ingå i den.

I förstudien provas ett stort antal nya frågor ut men bara en del överlever till huvudstudien. Alla länder får inför förstudien översätta nya provuppgifter och enkätfrågor. Det finns två original av varje provuppgift respektive enkätfråga, ett på engelska och ett på franska. Två oberoende översättare översätter var sitt original vilket ger två svenska versioner. De två svenska versionerna jämkas sedan ihop av en tredje person till en tredje version som i sin tur granskas av ämnesexperter. Den tredje versionen skickas sedan till en internationellt utsedd språkvetare som går igenom de svenska översättningarna, och sedan diskuteras det fram och tillbaka tills språkvetare och ämnesexperter är nöjda med slutversionen. Det gäller att inom ramen för den engelska och franska versionen hitta en för svenska förhållanden optimal översättning. Det går alltså inte att bedöma översättningen enbart utifrån det engelska originalet.

Det är också viktigt att i översättningen inte göra uppgifter svårare eller lättare än originalen. Det kan till exempel handla om ordval. Ska det vara ett vardagligt eller vetenskapligt ord, och var går gränsen? I engelskan används ofta de vetenskapliga orden även i vardagsspråket, vilket inte lika ofta är fallet i svenskan. En provfråga får inte bli svårare för att svenska elever inte vet vad ett ord betyder om det på andra språk är ett helt vardagligt ord. Lyckligtvis upptäcks oftast sådana skillnader i analysen av förstudien. Ibland går det att rätta till översättningar som blivit missvisande men ibland visar det sig att uppgifter helt enkelt inte förstås på samma sätt i alla länder och därför stryks från uppgiftspoolen.

Förstudien ska förutom att prova ut översättningar av nya uppgifter även testa metoderna för datainsamlingen. När väl huvudundersökningen genomförs ett år senare är det skarpt läge, då måste allt fungera. Det finns ingen andra chans.

PISA_inlagan.indd 28

2018-06-20 15:45

PISA_inlagan.indd 29

2018-06-20 15:45

  är docent i pedagogik och verksam vid Stockholms universitet. Han har arbetat med PISA sedan  och haft ansvar för läsdelen tillsammans med Karin Taube mellan – och Maria Rasmusson –.

  är seniorprofessor i pedagogik vid Stockholms universitet och ämnesexpert i PISA . Hon har arbetat med PISA sedan starten  och haft ansvar för matematikdelen fram till och med .

• Bakgrunden till undersökningen, hur den har utvecklats och genomförts.

• Resultaten från samtliga sex undersökningar, ur både ett nationellt och internationellt perspektiv.

• Skillnader i resultat utifrån likvärdighet, genus och utländsk bakgrund i olika tvärstudier som utgått från PISA-undersökningen.

Författarna diskuterar genomgående vad vi kan lära oss av PISA och tar även upp den kritik som riktats mot undersökningen. Avslutningsvis lyfts hur framtiden för PISA kan komma att se ut.

Boken vänder sig till alla som är intresserade av PISA och de svenska resultaten, såsom lärarstudenter, lärarutbildare, yrkesverksamma lärare, utbildningsforskare och skolpolitiker.

PISA under 15 år

   är seniorprofessor i fysik med didaktisk inriktning vid Mittuniversitetet. Han har arbetat med PISA sedan  och haft ansvar för den naturvetenskapliga delen från , sedan  tillsammans med Nina Eliasson. Han var även projektledare för PISA –.

PISA-undersökningen är politiskt sprängstoff och har ofta stått i centrum i de senaste årens utbildningspolitiska diskussion. Undersökningen har inte sällan använts för att rättfärdiga olika förslag till reformer, samtidigt som kritik riktats mot olika aspekter av PISA. I den här unika boken ger de forskare som arbetat med undersökningen i Sverige sin bild av vad som hänt under de femton år som gått sedan den första undersökningen genomfördes. Här beskrivs bland annat:

Ulf Fredriksson K arl Gör an K arlsson Astrid Pettersson (red.)

Redaktörer

Ulf Fredriksson K arl Gör an K arlsson Astrid Pettersson (red.)

PISA

PISA kan med rätta betecknas som världens största kunskapsundersökning.

UNDER 15 ÅR – resultat och trender

ISBN 978-91-27-81981-8

:  ,   

NOK_FREDRIKSSON_PETTERSSON_KARLSSON.indd Alla sidor

9 789127 819818

2018-06-19 10:54