Page 1

FOTO: MATTIAS PETTERSSON

Christina Wikström är fil.dr i beteende­ vetenskapliga mätningar och arbetar som forskare vid Institutionen för tilllämpad utbildningsvetenskap, Umeå universitet. Hon har en bakgrund som grundskollärare och provkonstruktör och har i sin forskning särskilt intresserat sig för hur betyg och prov kan förbättra undervisningen och fungera som kunskapsmått.

Konsten att göra bra prov

Att utveckla ett bra prov som mäter rätt och ger tillförlitlig information är ingen lätt uppgift. Dåliga prov – eller prov som används på fel sätt – kan ge missvisande eller i värsta fall helt felaktig vägledning. Samtidigt kan ett väl utvecklat och använt prov vara värdefullt för såväl eleven som läraren och gynna undervisning och lärande. Konsten att göra bra prov handlar om prov i teori och praktik. Boken ger bland annat råd och riktlinjer för uppgiftskonstruktion samt förklarar olika principer för kravgränssättning, vilket ofta är ett dilemma för den som ska använda och tolka provresultat. Författaren vänder sig framför allt till blivande eller yrkesverksamma lärare, men även till alla som vill lära sig att konstruera och använda prov på ett så bra sätt som möjligt.

CHRISTINA WIKSTRÖM

Vad lärare behöver veta om kunskapsmätning

CHRISTINA WIKSTRÖM

Konsten att göra bra prov – vad lärare behöver veta om kunskapsmätning

ISBN 978-91-27-13241-2

9 789127 132412

NOK_WIKSTROM_KONSTEN_ATT_GORA_BRA_PROV_omslag.indd Alla sidor

2013-11-25 09:58


Konsten att gรถra bra prov.indd 2

2013-12-11 11:49


Innehåll

Förord . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Inledning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Något om bokens terminologi . . . . . . . . . . . . . . . . . . . . 12 Bokens upplägg och innehåll . . . . . . . . . . . . . . . . . . . . . 14

Del 1. Provteori . . . . . . . . . . . . . . . . . . . . . . . 17 1.  En tillbakablick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 Provens historia . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 Svenska kunskapsmätningar . . . . . . . . . . . . . . . . . . . . . 26 2.  Ett prov med kvalitet . . . . . . . . . . . . . . . . . . . . . . . . . . 36 Reliabilitet i mätning . . . . . . . . . . . . . . . . . . . . . . . . . 39 Validitet i mätning . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3. Olika tolkningar – olika prov . . . . . . . . . . . . . . . . . . . . . . 53 Tolkningen styr utformningen . . . . . . . . . . . . . . . . . . . . 53 Normrelaterade prov . . . . . . . . . . . . . . . . . . . . . . . . . 54 Kriterierelaterade prov . . . . . . . . . . . . . . . . . . . . . . . . 56 Summativa och formativa tolkningar . . . . . . . . . . . . . . . . 58 4.  Formatets betydelse . . . . . . . . . . . . . . . . . . . . . . . . . . 62 Provets format . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 Format: öppna eller stängda frågor . . . . . . . . . . . . . . . . . 71

Del 2. Provkonstruktion . . . . . . . . . . . . . . . . . . .83 5. Utvecklingsprocessen . . . . . . . . . . . . . . . . . . . . . . . . . . 85 Planering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 Konstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 Utvärdering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 6. Förarbetet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 Dokumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 Provspecifikation . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

Konsten att göra bra prov.indd 5

2013-12-11 11:49


7. Frågekonstruktionen . . . . . . . . . . . . . . . . . . . . . . . . . . 100 Att fånga rätt kunskap . . . . . . . . . . . . . . . . . . . . . . . 101 Konstruktionsregler . . . . . . . . . . . . . . . . . . . . . . . . . 103 Granskningen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 8. Poängsättningen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 Provets innehåll . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 Poängsättningens konsekvenser . . . . . . . . . . . . . . . . . . . 122 Håll det enkelt! . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 Att tolka information – skalans betydelse . . . . . . . . . . . . . . 124 Varför är skalan viktig? . . . . . . . . . . . . . . . . . . . . . . . 127 9. Rättningen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rättning av olika format . . . . . . . . . . . . . . . . . . . . . . Holistisk och analytisk rättning . . . . . . . . . . . . . . . . . . . Praktiska tips för förbättrad mätsäkerhet . . . . . . . . . . . . . . Som man frågar får man svar? . . . . . . . . . . . . . . . . . . .

129 129 133 134 136

10. Kravgränssättningen . . . . . . . . . . . . . . . . . . . . . . . . . 138 Delområden med olika vikt . . . . . . . . . . . . . . . . . . . . . 141 Metoder för kravgränssättning . . . . . . . . . . . . . . . . . . . 142 Några praktiska tips . . . . . . . . . . . . . . . . . . . . . . . . 147 . . . och några fler metoder . . . . . . . . . . . . . . . . . . . . . . 147 Vilken metod ska man välja och hur bör man tänka? . . . . . . . . 149 11.  Hur bra blev provet? . . . . . . . . . . . . . . . . . . . . . . . . . Utprövning och analys . . . . . . . . . . . . . . . . . . . . . . . Frågornas kvalitet . . . . . . . . . . . . . . . . . . . . . . . . . Svarsalternativens funktion . . . . . . . . . . . . . . . . . . . . . Provets kvalitet . . . . . . . . . . . . . . . . . . . . . . . . . . . Validiteten . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

151 151 152 160 162 167

12. Att tolka och använda prov . . . . . . . . . . . . . . . . . . . . . Ge rätt förutsättningar . . . . . . . . . . . . . . . . . . . . . . . Elever med svårigheter . . . . . . . . . . . . . . . . . . . . . . . Fusk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Att kommunicera provresultat . . . . . . . . . . . . . . . . . . . Ge feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . Etik kring prov . . . . . . . . . . . . . . . . . . . . . . . . . . .

172 173 175 175 176 179 180

Riktlinjer för rättvisa prov inom utbildning (The Code of Fair Testing in Education) . . . . . . . . . . . . . . . . . A. Utveckla och välja lämpliga prov . . . . . . . . . . . . . . . . B. Administrera och rätta prov . . . . . . . . . . . . . . . . . . . C. Rapportera och tolka provresultat . . . . . . . . . . . . . . . . D. Informera provtagare . . . . . . . . . . . . . . . . . . . . . .

183 183 185 186 187

Litteraturförteckning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189

Konsten att göra bra prov.indd 6

2013-12-11 11:49


Förord

Varför läsa en bok om provkonstruktion? För dig som valt att öppna den här boken är svaret förhoppningsvis självklart, men långt ifrån alla tycker att prov är intressanta eller viktiga. Inte minst lärare har mycket annat att ägna sig åt. Men oavsett vad man tycker om prov går de sällan att undvika, i synnerhet i sko­ lans värld. Och eftersom välutvecklade prov kan vara använd­ bara och ge positiva effekter – och dåliga prov kan göra mer skada än nytta – så känns det viktigt att skriva om hur bra prov konstrueras och vad som skiljer bra prov från dåliga. Mitt eget intresse för olika former av pedagogiska mätningar och bedömningar började någon gång för ungefär tjugo år se­ dan när jag var nyutexaminerad lärare. Mitt första arbete var ett längre vikariat på en högstadieskola, där jag i princip bara undervisade i ett ämne och därför hade flera klasser och många elever. Det var hösttermin och ganska snart insåg jag att det inte var långt kvar tills eleverna skulle få sina betyg. Det var viktiga betyg som de skulle använda sig av för att söka till gymnasie­ skolan. Men jag visste ju så lite om dessa elever! Hur skulle jag veta vad de kunde efter nästan nio år i skolan, eller hur deras kunskaper stod i relation till landets övriga elever? (På den tiden var det just sådana jämförelser som skulle ligga till grund för elevernas betyg.) Jag insåg att prov kunde vara ett användbart hjälpmedel för att ge mig mer information, men jag hade ingen kunskap om hur de konstrueras eller hur man tolkar informa­ tionen från prov, mer än i väldigt grova drag. Jag gjorde så gott jag kunde. Resultaten tolkade jag utifrån något slags medelprestation och hur de fördelade sig i relation till detta snitt. Hur resultaten stod i förhållande till betygsskalan visste jag inte riktigt: Mina egna elever blev den norm jag utgick

Konsten att göra bra prov.indd 7

2013-12-11 11:49


8

ifrån. Så försökte jag väga samman resultatet från provet med annan information jag samlat in i klassrummet och hoppades att jag hamnade någorlunda rätt. Förmodligen blev provet inte särskilt bra, men kanske inte sämre än många andra prov i skolan. Om betygen som sedan sattes blev rättvisa vet jag inte heller. Ingen protesterade, och förmodligen blev inga beslut helt uppåt väggarna. Insikten om att mina beslut skulle påverka elevernas möjligheter till vida­ re utbildning eller deras upplevelse av skolan som rättvis eller orättvis var ny och ansvaret kändes tungt. Jag blev också rejält frustrerad över yrkesutbildningens oför­ måga att förbereda mig och mina studiekamrater på ett bättre sätt, men också över min egen naiva inställning som gjort att jag inte ifrågasatt detta mer. Mot den bakgrunden väcktes också en vilja att lära mig mer om pedagogiska mätningar som prov och betyg. Det första steget blev att läsa boken Prov och provkonstruk­ tion (1988) av professor Ingemar Wedman, vilket ledde till en uppmuntrande upptäckt: Det fanns andra som kände som jag och som dessutom hade kunskaper nog att skriva en bok om det. Ingemar hade jag träffat under mina studier i  pedagogik, men senare fick jag förmånen att lära känna honom och ta del av hans kunskaper, entusiasm och energi. På grund av mitt ny­ vaknade intresse för pedagogiska mätningar, och efter en del ganska slumpmässiga omständigheter, kom min karriär senare att handla om just detta. Efter en kort tid som lärare gick jag vi­ dare till ett arbete som provkonstruktör och senare hamnade jag på universitetet och i forskningens (men också provkonstruktio­ nens) värld. I dag arbetar jag vid den institution där Ingemar var verksam, även om den heter något annat nu. Jag forskar om mätningar i olika former, mest om hur urval till olika utbildningar går till, när man använder till exempel prov eller betyg för att rang­ ordna sökande. Även om mitt arbete huvudsakligen handlar om forskning och undervisning tycker jag att provkonstruktion som

Konsten att göra bra prov.indd 8

2013-12-11 11:49


9

hantverk är mycket intressant. Prov är viktiga! Resultatet från ett prov kan bestämma vilket betyg en person ska få, om han eller hon ska komma in på en viss utbildning, få ett visst jobb eller ha rätt att köra bil. Ett dåligt eller fel använt prov kan vara missvisande och leda till en hel del problem och orättvisor, med­ an ett bra prov kan ge både relevant och tillförlitlig information. Med tanke på att resultaten kan få stora konsekvenser för den som genomför provet men också för andra, både i ett kort och ett långt perspektiv, är det viktigt att alltid förhålla sig kri­ tisk – görs mätningen på bästa sätt, kan vi lita på resultatet och vilka konsekvenser kan tolkningarna få? Det är sådana viktiga frågor jag och mina kolleger arbetar med. Om vi nu prompt ska mäta olika saker är det väl bäst att vi gör det på rätt sätt! Min förhoppning är att den här boken ska väcka ett intresse för prov och andra pedagogiska mätningar, och även bidra till att de prov som används i skolan blir bättre och mer användbara. Boken riktar sig i  första hand till lärare och blivande lärare, men förstås även till andra som behöver mäta kunskaper eller färdigheter i olika sammanhang eller bara är nyfikna på vad det handlar om.

Tack Jag vill passa på att tacka ett antal viktiga personer för den här bokens tillkomst. En viktig person är Ingemar Wedman, dels för att han väckte mitt intresse för mätområdet, dels för hans uppmuntrande tillrop på min resa att försöka lära mig mer om fältet. Tyvärr gick Ingemar bort för några år sedan, men jag tror att han hade blivit glad om han fått veta att jag fick möjligheten att bära stafettpinnen en bit vidare i och med denna bok. Jag tänker även på min mentor och före detta handledare, professor Widar Henriksson, samt kollegerna Peter Nyström och Simon Wolming, som under många år pratat om vikten av en bok om provkonstruktion – och att den måste skrivas av någon av oss här vid avdelningen för Beteendevetenskapliga mätningar. Jag vill även passa på att tacka min familj för att ni har tålamod med mig och mina spontana projekt.

Konsten att göra bra prov.indd 9

2013-12-11 11:49


10

Jag vill också rikta ett särskilt tack till alla som hjälpt till praktiskt med boken: Theres Lagerlöf, Johan Ekelund, Patricia Wadensjö och Nina Danielsson vid bokförlaget Natur & Kultur för deras stöd och stora tålamod när det gäller bokens innehåll och struktur, min man Magnus Wikström för läsning och kloka råd, och så kollegerna: Björn Sigurdsson som hjälpt mig med fina illustrationer och Widar Henriksson, Anna Lind Pantzare och Per-Erik L ­ yrén som läst och gett värdefulla synpunkter på faktainnehållet. Eventuella felaktigheter eller oklarheter som smugit sig in är dock helt och hållet mitt ansvar. Slutligen, som traditionen bjuder vid den arbetsplats där jag verkar, vill jag passa på att citera Douglas Adams och John Lloyd från deras fantastiska bok The Meaning of Liff (1983): AINDERBY STEEPLE (n.) One who asks you a question with the apparent motive of wanting to hear your answer, but who cuts short your opening sentence by leaning forward and say­ ing ”and I’ll tell you why I ask . . .” and then talking solidly for the next hour.

Christina Wikström, november 2013

Konsten att göra bra prov.indd 10

2013-12-11 11:49


Inledning

I skolan utvecklas och används många olika typer av prov. Vissa kanske vi inte ens tänker på som prov, då vi ofta har en före­ ställning om att ett prov måste bestå av ett antal frågor eller uppgifter på ett papper. Men ett prov kan lika gärna vara munt­ ligt eller praktiskt; det kan vara omfattande eller utföras på ett ögonblick. Genom att observera och värdera utförandet eller resultatet fattas sedan någon sorts beslut. Vissa prov kan an­ vändas för att ge en fingervisning om något, visa på en riktning, eller för att motivera elever att söka mer kunskap. Andra prov kan vara rejält omfattande och användas för betydligt större beslut, exempelvis om en elev har uppnått målen inom en kurs alternativt om någon ska få rätten att handha ett fordon eller utöva en viss syssla eller profession. Prov kan också användas för urval och då handlar beslutet i regel om vem som ska antas till en utbildning eller anställning. Längden på provet bestämmer förstås inte hur det ska användas och tolkas, men generellt är det så att ju säkrare man vill veta något och ju större konsekvenser utfallet får, desto grundligare måste man vara. Att konstruera bra prov är ett svårt men också intressant arbete, och man kan spara mycket tid och vånda på att följa en vetenskapligt underbyggd konstruktionsprocess. Den här boken riktar sig till alla som vill konstruera prov, men i  första hand till lärare och blivande lärare. Att proven i skolan håller god kvalitet är förstås mycket viktigt. För oavsett vad man tycker om prov, så används de flitigt, och många prov i skolan har stor betydelse för eleverna. Prov vars resultat ska användas för beslut som ger konsekvenser för elever, lärare eller skolor måste naturligtvis utvecklas och användas med eftertan­ ke. Bra prov kan också ta tid att konstruera, men ofta är tiden

Konsten att göra bra prov.indd 11

2013-12-11 11:49


12

begränsad. I valet mellan att konstruera ett bristfälligt prov eller inget alls, kanske det senare är att föredra. För stora beslut är det i regel bäst att använda sig av professionellt utvecklade prov. Men det går att konstruera bra prov även med små medel och på kort tid. Det handlar då om att lägga krutet på rätt saker och att tolka resultatet med förnuft. Det finns redan en imponerande mängd litteratur om prov­ teori och provkonstruktion, men den är ofta på en ganska avan­ cerad nivå och i regel på engelska, oftast med amerikanska ut­ bildnings- och provsystem som utgångspunkt. Ambitionen med den här boken är att ge en översiktlig introduktion till fältet på svenska. Vissa delar av boken kan vara mer eller mindre rele­ vanta för olika läsare eftersom ambitionen är att ge en översikt. Jag beskriver alltså, om än kortfattat, även metoder och teorier kring prov och provkonstruktion som inte är helt vanliga i skol­ miljö. Det är värdefullt att ha förståelse för de möjligheter som finns, även om de inte alltid är direkt tillämpbara. Provkonstruktionsprocessen inkluderar många steg och i bo­ ken tar jag upp aspekter kring utprövning och analys som inte alla har tid eller möjlighet till. Men även om man inte kan pröva ut ett prov empiriskt för att garantera kvalitet eller förbättra det, kan det vara bra att veta något om hur sådant kan göras. Av det skälet, och för att förhindra att boken blir alltför omfattande, går jag inte in på detta i detalj. För den som är intresserad av att veta mer om olika analysmetoder finns hänvisningar till relevant litteratur i anslutning till de olika avsnitten. Det viktigaste är att den som utvecklar och använder prov är medveten om vad som kännetecknar ett bra prov, hur man kan och inte kan använda prov och hur man undviker de vanligaste fallgroparna på vägen. Förhoppningsvis kan den här boken bidra till detta.

Konsten att göra bra prov.indd 12

2013-12-11 11:49


13

Något om bokens terminologi Innan vi går över till bokens innehåll kan det vara bra att beröra den terminologi man kan stöta på inom provteori. Det finns en viss problematik här som beror på att huvuddelen av litteratu­ ren om prov och provkonstruktion är engelskspråkig, och där­ för finns det inte alltid självklara översättningar och vedertagna begrepp på svenska. Ibland fogar jag dock in en översättning vid sidan av den engelska termen. Ett sådant exempel är test och prov. På engelska heter det test och på svenska prov. Samtidigt används begreppet test även i svenskan, men vanligtvis vid mät­ ningar inom områden utanför utbildningsfältet, såsom medicin eller psykologi. Det förekommer dock i  utbildningssituationer och är vanligt när det handlar om olika typer av certifieringar. När det handlar om kunskapsmätningar i utbildningssamman­ hang används benämningen prov oftare, och så även i den här boken. När det gäller begrepp som saknar en vedertagen över­ sättning kommer det engelska begreppet att användas. Det finns andra exempel på begrepp som överlappar, men där det inte handlar om översättningsproblematik. Ett sådant är när man talar om mätningar och bedömningar. Ibland används de på samma sätt, men ofta görs en viss åtskillnad. Det är inte direkt problematiskt, men det kan finnas vinster med att skilja mellan begreppen. En mätning karaktäriseras av att man vill fastställa storleken på eller omfattningen av en viss enhet och kvantifiera detta. En bedömning är en värdering av vad mät­ ningens utfall innebär i relation till något. Att använda prov bör nog räknas som en mätning snarare än en bedömning. Ett prov ger information om hur många upp­ gifter en provtagare besvarat rätt. Det kan ge upplysningar av olika slag men betyder ingenting förrän resultatet sätts i ett sam­ manhang. Resultatet värderas utifrån ett kriterium eller tidigare prestationer alternativt utifrån andra elevers prestationer. Efter­ som den här boken i första hand handlar om kriterierelaterade (eller målrelaterade) prov värderar vi resultatet utifrån exempel­

Konsten att göra bra prov.indd 13

2013-12-11 11:49


14

vis de kriterier som är uppsatta för ett visst ämne eller kursmo­ ment och gör en bedömning av i vilken mån dessa har uppnåtts. Ett annat dilemma när det gäller terminologi gäller om man ska välja att kalla provets beståndsdelar för frågor eller uppgif­ ter. För enkelhetens skull används här termen frågor, även om det i många fall snarare handlar om att lösa en uppgift. Ett sista förtydligande gäller de olika roller som nämns i boken. Det har inte varit lätt att bestämma om dessa ska be­ nämnas lärare och elever eller, mer formellt, provkonstruktör och provtagare. Eftersom boken inte bara riktar sig till lärare i  skolan blev valet det formella, även om det förekommer en viss inkonsekvens eftersom provkonstruktören i regel är en lä­ rare och provtagaren i regel en elev. Det finns också ytterligare en aktör: provanvändaren. Provanvändaren är i regel en lärare som använder sig av provresultatet eller den information som provet ger för att fatta beslut om måluppfyllelse, men det kan också vara någon annan: elever, föräldrar, skolledare. Ibland är provanvändaren alla inblandade.

Bokens upplägg och innehåll Konsten att göra bra prov handlar huvudsakligen om prov som är användbara i den målrelaterade skolan, det vill säga prov som mäter en viss domän av kunskaper och färdigheter och som i lit­ teraturen går under beteckningen kriterierelaterade prov. I övrigt är ansatsen generell och riktas inte primärt mot någon särskild typ av prov. Förhoppningen är att läsaren ska kunna tillämpa den teori som boken förmedlar på olika typer av prov och områ­ den. En stor del av boken ägnas åt provkonstruktionsprocessens olika delar, eftersom de utgör ryggraden i all provkonstruktion, men det finns även anledning att ta upp saker om prov som är allmängiltiga, exempelvis historiken bakom de prov vi ser i sam­ hället och i skolan i dag och vilka olika typer av prov som är vanligt förekommande. Därför kommer boken även att ta upp sådant som inte direkt anknyter till de prov vi vanligtvis ser i da­

Konsten att göra bra prov.indd 14

2013-12-11 11:49


15

gens skola, men som ändå har betydelse för hur vi kan och bör tänka när vi planerar och använder de prov vi konstruerar. Boken är indelad i två delar. Den första delen innefattar ka­ pitel 1–4 som handlar om prov ur ett huvudsakligen teoretiskt perspektiv. Den andra delen, kapitel 5–12, har en mer praktisk inriktning och handlar om hur prov planeras, konstrueras, ut­ prövas och administreras. Kapitlen är upplagda på följande sätt: Kapitel 1: ”En tillbakablick ” handlar om provens historia, men också något om synen på proven förr och nu. Ett vidare och längre perspektiv är viktigt för att förstå varför de prov vi an­ vänder oss av i dag ser ut och används som de gör. Kapitel 2: ”Ett prov med kvalitet” tar upp olika typer av kvali­ tetsaspekter, med ambitionen att klargöra vad som känneteck­ nar prov av god (och dålig) kvalitet och vad man bör tänka på när man ska konstruera, använda eller tolka ett prov. Kapitel 3: ”Olika tolkningar – olika prov” behandlar skillnaden mellan norm- och kriterierelaterade prov samt hur man tänker kring prov som används för formativa och summativa syften. Kapitel 4: ”Formatets betydelse” handlar om såväl provformat som frågornas format. Kapitlet beskriver framför allt vad som skiljer traditionella papper–och–penna-prov från datorbaserade prov, och vad som kännetecknar så kallade öppna respektive stängda frågor. Kapitel 5: ”Utvecklingsprocessen” beskriver hur själva kon­ struktionsarbetet bör bedrivas för att provet ska bli så bra som möjligt. Kapitel 6: ”Förarbetet” handlar om hur man börjar planera för prov genom att dokumentera vad provet ska mäta och hur re­ sultatet ska användas samt hur man därefter specificerar hur provet ska utformas.

Konsten att göra bra prov.indd 15

2013-12-11 11:49


16

Kapitel 7: ”Frågekonstruktionen” ger riktlinjer inför arbetet med att konstruera frågor och vad man kan tänka på för att frågorna ska hålla så god kvalitet som möjligt. Kapitel 8: ”Poängsättningen” handlar om hur man kan tänka när man ska bestämma vad provets frågor ska vara värda och hur man sedan väger ihop dessa till ett slutligt resultat. Kapitel 9: ”Rättningen” handlar om vad som händer när provet väl är konstruerat och frågorna ska rättas. Kapitel 10: ”Kravgränssättningen” beskriver olika metoder man kan använda sig av för att fastställa gränser – godkändgränser eller betygsgränser – och som kan passa prov för klassrumsbruk. Kapitel 11: ”Hur bra blev provet?” handlar om hur man så­ väl kvalitativt som kvantitativt undersöker provets kvalitet och vilka egenskaper frågorna i provet har. Kapitel 12: ”Att tolka och använda prov” handlar om vad man bör tänka på när prov ska administreras och hur man under­ lättar för provtagare med olika typer av svårigheter. Kapitlet avslutas med ett avsnitt om etiska frågor kring provanvändning och en översättning av den amerikanska Code of Fair Testing, en kodex för etik kring prov.

Konsten att göra bra prov.indd 16

2013-12-11 11:49


DEL 1

Provteori

Konsten att gรถra bra prov.indd 17

2013-12-11 11:49


Konsten att gรถra bra prov.indd 18

2013-12-11 11:49


1.  En tillbakablick

Proven har en lång och brokig historia. Mycket känns avlägset men har ändå stor betydelse för de teorier och metoder som prov bygger på i dag. Det här kapitlet ger en kortfattad historisk tillbakablick och diskuterar bra och dåliga prov, men berör även något om attityder till prov i dag.

I den svenska skolan har vi i modern tid bytt betygssystem rela­ tivt ofta och även genomfört andra förändringar som påverkat synen på hur prov kan och bör användas i skolan. Sedan vi av­ skaffade det som gick under benämningen studentexamen har vi skilt oss från de flesta andra länder genom att inte längre ha examinerande prov i slutet av kurser i grund- och gymnasiesko­ lan. Det gör att de flesta prov som förekommer i den svenska skolan inte ger lika stora konsekvenser som prov i många andra skolsystem, men också att det blir mindre insyn i hur proven ser ut och används. Den som konstruerar och använder ett prov får själv avgöra hur det ska utformas och användas. På senare år har stora förändringar av skolan och skolsys­ temet skett, vilket har lett till att proven fått betydligt större uppmärksamhet. Den ökade målfokuseringen har höjt kraven på faktiska resultat. Lärare mäter relativt frekvent elevernas måluppfyllelse genom olika typer av prov. Syftet är i regel sum­ mativt, det vill säga att få information inför beslut om betyg. Men det blir också vanligare att prov kommer uppifrån, när skolor eller system ska utvärderas. När den här boken skrivs ar­ gumenterar ledande politiker ivrigt för fler kunskapsmätningar i skolan – ett exempel är det nationella provsystemet som ska utvidgas på olika sätt och få större betydelse för elever, lärare och skolor.

Konsten att göra bra prov.indd 19

2013-12-11 11:49


20

Det förekommer också en flitigare användning av andra ty­ per av prov (eller test), exempelvis sådana som används för att diagnostisera elever med läs- och skrivsvårigheter. De är i sig bara ett instrument för att samla in information, men när de utgör underlag för olika beslut som ger konsekvenser för indivi­ der är det viktigt att värdera denna information på rätt sätt. När insatserna höjs bör man först och främst veta varför man gör på ett visst sätt. Historien kan dels förklara varför dagens prov ser ut som de gör, dels visa på bra och dåliga exempel – inte minst vad som kan hända när prov används på fel sätt.

Provens historia I alla tider har människor mätt saker och ting. Det är dock inte helt fastställt när de första proven eller testen som påminner om de skriftliga prov vi är vana vid i dag ordnades. De första skolorna sägs ha funnits i Mesopotamien redan för 4 000 – 5 000 år sedan och då ska man också ha kontrollerat elevernas kun­ skaper genom skriftliga prov. Kineserna var också tidiga med prov, i  synnerhet för urval till attraktiva tjänster och positio­ ner. Som med så mycket annat under den här tidsperioden var Europa långt efter. Först omkring tusen år efter kineserna, på 1100-talet, började européer använda prov för att examinera studenterna vid högskolorna. I Sverige ligger denna utveckling ännu längre fram i tiden – det dröjde ännu några hundra år innan vi fick högre utbildning där examinationer blev viktiga. Senare låg vi däremot i  fram­ kant när det gällde en annan form av kunskapsmätningar. Un­ der 1600-talet infördes nämligen de så kallade husförhören. Det var en sorts prov som berörde större delen av landets invånare då alla församlingsbors kunskaper skulle kontrolleras årligen: Framför allt handlade det om att pröva läskunnighet och kun­ skaper om den bibliska historien. Mycket finns ännu bevarat av dessa husförhörslängder och de har länge varit en värdefull källa till information för forskare av olika slag. Dessa kunskaps­ mätningar var dock inte alltför tillförlitliga eftersom de hade

Konsten att göra bra prov.indd 20

2013-12-11 11:49


21

en hel del brister, som hade med att göra med den varierande kompetensen hos dem som skötte förhören och därefter ned­ tecknade sina slutsatser. När den allmänna folkskolan infördes tog den över rollen som kunskapskontrollant och därefter har mätningarna i skolan i huvudsak varit av den typ vi ser än i dag, det vill säga skriftliga prov inom de olika skolämnena.

Mätningar som vetenskap De teorier som utgör grunden för utvecklingen av dagens tes­ ter och prov bygger på teorier som etablerades inom den ti­ diga psykometrin, vilken etablerades som vetenskap i slutet av 1800-­talet. Psykometrikerna var (och är fortfarande) intresserade av människors mentala förmågor och funktioner, hur man teore­ tiskt kan beskriva och sedan mäta dessa. Till de första psykomet­ rikerna brukar man först och främst räkna den brittiske psy­ kologen sir Francis Galton och den tyske psykologen Wilhelm Wundt. Galton kallas ofta ”psykometrins fader”, men Wundt bidrog starkt till området och i  synnerhet till framkomsten av fler kända psykometriker – vid sitt välkända laboratorium i Leipzig handledde han bland andra James McKeen Cattell och Charles Spearman. (Den som vill ge sig in i den psykometriska litteraturen kommer snart att stöta på några av dessa personer.) Vetenskapssamhället var under denna tid en relativt begrän­ sad värld och forskarna rörde sig ofta ganska fritt över fälten. ­Galton är ett bra exempel på detta, då han förutom sitt intresse för psykometriska frågor även skrev böcker om resor i Afrika och utvecklade de första meteorologiska kartorna för Europa. Han uppfann och utvecklade även fingeravtryckssystemet. Att Galton var kusin med Charles Darwin kan förklara hans intres­ sen: Utöver att kartlägga individers mentala förmågor likt de övriga psykometrikerna studerade han även hur mentala för­ mågor nedärvs. Men därmed kom Galton in på farliga vägar, av skäl som förklaras nedan. Början av 1900-talet var en intensiv tid. Psykometrikernas arbete var till stor del inriktat på att konstruera standardise­

Konsten att göra bra prov.indd 21

2013-12-11 11:49


22

rade instrument och skalor. Metoder inom den klassiska mät­ teorin utvecklades, varav många håller än i dag eller ligger till grund för mer moderna metoder (några av dessa beskrivs i ka­ pitel 11). Framför allt handlade det om att mäta olika former av intelligens. Binet–Simon-testet, som är ett av de mest välkända, utvecklades av den franske psykologen Alfred Binet och hans medhjälpare Theodore de Simon redan 1905. Binet skilde sig från sina kolleger genom att koppla sin forskning till skolan. Det bottnade i  ett intresse för att studera hur individers fär­ digheter och mentala förmågor utvecklas med åldern, och hur dessa kan mätas. Genom att veta mer om detta skulle det gå att göra skolan effektivare; elever skulle enkelt kunna placeras på relevant utbildningsnivå och elever som var i behov av särskilda stödinsatser skulle kunna identifieras. Inom det fältet kom även den schweiziske psykologen Jean Piagets forskning att få stor betydelse, men av en annan anledning. Piaget hade ett intresse för hur frågor och tester kunde ge mer ingående information om elevernas kunskaper och tänkande, och även han var intresserad av hur åldern spelade in. I sin forskning var han dock inte lika intresserad av vilka frågor barnen kunde besvara, som av vilka de inte kunde svara på och i synnerhet varför de svarade som de gjorde. Piaget kom senare att identifiera olika stadier i barns utveckling, och hans forskning fick stort genomslag. Fram till denna tid hade testutvecklingen huvudsakligen handlat om forskning. I  takt med att samhället förändrades framträdde plötsligt en större nytta med dessa mätningar: att man på ett effektivt sätt kunde mäta och kartlägga människors kunskaper och förmågor för olika ändamål. Framför allt såg man nyttan i  försvarssammanhang, då de stora krigen krävde massrekrytering och massutbildning, något som inte alltid var helt oproblematiskt. Under första världskriget utvecklades det välkända men också beryktade testet Army Alpha. Den första versionen byggde på Stanford–Binet-testet, som i sin tur var en vidareutveckling av det tidiga Binet–Simon-testet. Army Alpha användes för att välja ut lämpliga rekryter till olika befattningar inom den amerikanska armén. Det var dock inte nödvändigtvis

Konsten att göra bra prov.indd 22

2013-12-11 11:49


23

ett mått på intelligens som efterfrågades, utan även på personlig­ het och speciella förmågor, vilket påverkade provets omfattning och utformning. Eftersom det handlade om hundratusentals re­ kryter blev testet ett effektivt hjälpmedel för att få information om vilka som passade bäst för de olika militära inriktningarna och stora ansträngningar lades på att vidareutveckla både testet och administrationen kopplad till detta. Snart uppkom nya behov. Under mitten av 1900-talet bygg­ des utbildningssystemen ut och allt fler sökte till högre utbild­ ning. Ofta fanns det fler sökande än det fanns platser. I det ame­ rikanska utbildningssystemet infördes därför ett test, eller prov, för att rangordna de sökande efter prestation. Det fanns en stark tro på rättvisa genom kunskapsmätningar och provet sågs som ett modernt sätt att i demokratisk anda examinera kunskaper och därmed ge möjligheter till rättvisa urval till utbildningsplat­ ser eller yrken. Det handlade också om att effektivisera rekryte­ ringen, det vill säga att sätta rätt man (för det handlade oftast om män) på rätt plats. Det prov som först infördes, och som också blev det största, kallades Scholastic Aptitude Test (SAT) och var intressant nog en vidareutveckling av Army Alpha. Att utgå från ett test som hör till kategorin intelligenstest har inte enbart setts som något positivt, och SAT har också fått en hel del kritik för sitt ursprung, i synnerhet på senare år. Detta trots att provet förändrats många gånger och nu är ett prov som mä­ ter kunskaper och färdigheter som bedöms vara viktiga för att klara högre utbildning. Men det är en annan historia.

Prov för sortering Som beskrivs ovan har provens utveckling styrts av vetenskap­ liga frågeställningar om vad och hur man kan mäta olika saker, men också av praktiska behov. Även om det tidigt konstatera­ des att proven bidrog till ökad effektivitet och förhoppningsvis också större rättvisa i rekrytering och urval, så användes och tolkades prov också på både felaktiga och högst olämpliga sätt. Eftersom de tidiga psykometrikerna inte hade etablerade teo­ rier att vila på experimenterade de friskt, och en naturlig väg

Konsten att göra bra prov.indd 23

2013-12-11 11:49


24

blev att försöka hitta samband mellan fysiska attribut och olika typer av mentala förmågor. Problemen uppstod när man bör­ jade göra mer långtgående tolkningar av det man kunde iden­ tifiera, med tillämpningar som vi i dag ser som helt förkastliga. Ett exempel på detta var när Galton i boken Hereditary Genius (Galton, 1869) framförde teorier om att mentala egenskaper är starkt ärftliga, men också om eugenik, det vill säga läran om människors förbättring genom medveten reproduktion. Han föreslog helt enkelt att man skulle mäta människors mentala förmågor och sedan uppmuntra särskilt begåvade individer att reproducera sig (och mindre begåvade att avhålla sig från det) och därigenom höja intelligenskvoten i  landet. Sådana teorier fick visst fäste och det finns många exempel på när det gått all­ deles för långt, både när det gäller experimenterande och slut­ satser. Även i vårt land har det förekommit skallmätningar och liknande, och den samiska befolkningen blev särskilt utsatt (­Furuhagen, 2007). Det ska också nämnas att en dålig mätning inte bara är den som bygger på felaktiga teorier och metoder, utan även när ett i grunden bra instrument används och tolkas på felaktigt sätt. Ett exempel på det var när den amerikanske psykologen Henry Herbert Goddard använde en egen översättning av en tidig ver­ sion av Binet–Simon-skalan i  syfte att testa immigranter som landsteg vid Ellis Island. Goddard var likt Galton anhängare av eugenik och drevs av ambitionen att identifiera personer med vad han kallade ”feeble-mindedness” för att finna vägar att för­ bättra intelligensen hos befolkningen i USA. Han förespråkade bland annat att ”obegåvade” skulle fråntas rätten att skaffa barn, och att immigranter som inte kunde visa upp ett gott in­ tellekt skulle vägras inresa. Att frånta individer rättigheten att skaffa barn kan jämföras med tvångssterilisering och annat som förekommit i vårt land och som till och med godkändes i svensk lag 1934. I många fall var det personer med förståndshandikapp som utsattes, men det fanns även andra grupper som drabbades av skäl som kunde vara mer eller mindre godtyckliga. Som un­ derlag för beslut låg inte sällan olika typer av testresultat.

Konsten att göra bra prov.indd 24

2013-12-11 11:49


Konsten att gรถra bra prov.indd 25

2013-12-11 11:49


FOTO: MATTIAS PETTERSSON

Christina Wikström är fil.dr i beteende­ vetenskapliga mätningar och arbetar som forskare vid Institutionen för tilllämpad utbildningsvetenskap, Umeå universitet. Hon har en bakgrund som grundskollärare och provkonstruktör och har i sin forskning särskilt intresserat sig för hur betyg och prov kan förbättra undervisningen och fungera som kunskapsmått.

Konsten att göra bra prov

Att utveckla ett bra prov som mäter rätt och ger tillförlitlig information är ingen lätt uppgift. Dåliga prov – eller prov som används på fel sätt – kan ge missvisande eller i värsta fall helt felaktig vägledning. Samtidigt kan ett väl utvecklat och använt prov vara värdefullt för såväl eleven som läraren och gynna undervisning och lärande. Konsten att göra bra prov handlar om prov i teori och praktik. Boken ger bland annat råd och riktlinjer för uppgiftskonstruktion samt förklarar olika principer för kravgränssättning, vilket ofta är ett dilemma för den som ska använda och tolka provresultat. Författaren vänder sig framför allt till blivande eller yrkesverksamma lärare, men även till alla som vill lära sig att konstruera och använda prov på ett så bra sätt som möjligt.

CHRISTINA WIKSTRÖM

Vad lärare behöver veta om kunskapsmätning

CHRISTINA WIKSTRÖM

Konsten att göra bra prov – vad lärare behöver veta om kunskapsmätning

ISBN 978-91-27-13241-2

9 789127 132412

NOK_WIKSTROM_KONSTEN_ATT_GORA_BRA_PROV_omslag.indd Alla sidor

2013-11-25 09:58

9789127132412  
Read more
Read more
Similar to
Popular now
Just for you