9789127145634 by Smakprov Media AB

Carsten Elbro Mads Poulsen

Mads Poulsen är lektor i psykolingvistik och språkforskare vid Köpenhamns universitet, där han bland annat undervisar i statistik.

Med hjälp av den här boken får du grundläggande kunskap om hur du värderar och förstår forskningsresultatens bakomliggande statistik. På så vis kan du kritiskt granska anspråken på evidens och därmed utvärdera din egen undervisning. Boken är skriven ur en lärares perspektiv, inte en statistikers. Exemplen handlar om undervisning och förklaringarna utgår från elever och klasser. På ett enkelt och lättillgängligt sätt förklaras centrala begrepp inom metod och statistik. Utvärdera din undervisning är en grundbok i statistik och evidens för lärarstudenter så väl som praktiserande lärare.

Elbro Poulsen Utvärdera din undervisning

Carsten Elbro är professor i läsinlärning vid Köpenhamns universitet, en internationellt välkänd forskare.

ndervisning ska vila på vetenskaplig grund. Den ska baseras på forskning och beprövad erfarenhet som visar vad som effektivt fungerar och skapar lärande i klassrummet. Men hur kan du som lärare försäkra dig om att de metoder och aktiviteter du använder i din undervisning faktiskt håller god kvalitet? Hur ska du bedöma exempelvis artiklar, rapporter och kurser för att veta vilka resultat du kan lita på?

Utvärdera din undervisning

– lär dig värdera och förstå statistik och evidens

»Carsten Elbro och Mads Poulsen har skrivit en bok som på ett lätt fattligt och lättläst sätt visar att lärare kan bidra till att skapa egen syste matisk kunskap och att utforma undervisningen i enlighet med ett vetenskapligt förhållningssätt.« Ur förord av Martin Karlberg

ISBN 978-91-27-14563-4

9 789127 145634

978-91-27-14563-4_elbro_jensen.indd Alla sidor

2016-04-08 10:34

Elbro_Poulsen_ORIG.indd 2

2016-04-07 19:28

Innehåll

Förord. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Faktagranskarens förord. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1. Bra underlag. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Om hur statistik och evidens kan användas i undervisning

2. Helt fantastiskt – små och stora skillnader. . . . . . . . . . . . . . . . . . . . . . 19 Om att uttrycka och förstå skillnaders storlek

3. Alldeles säkert – pålitliga källor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 Om statistisk signifikans och hur man skiljer mellan slumpmässiga och säkra skillnader

4. Fungerar det? Att jämföra framsteg. . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 Om att begränsa systematiska fel, om variansanalys och interaktionseffekt

5. Samband. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 Om korrelation och regression

6. Det onormala – när normalfördelningen inte stämmer. . . . . . . . . 133 Om kategoriindelning, rangordning och en känsla för proportioner

7. Det omätbara – och kvaliteten på mätningarna. . . . . . . . . . . . . . . . 149 Om testers giltighet, pålitlighet och känslighet

Statistiska tester – en översikt. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 Exempeldata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 Litteratur .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 Register. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169

Elbro_Poulsen_ORIG.indd 5

2016-04-07 19:28

Elbro_Poulsen_ORIG.indd 6

2016-04-07 19:28

Förord

Arbetet med den här boken inleddes för många år sedan och tog sin början som stödanteckningar för undervisning i vetenskaplig metod och statistik. Anteckningarna gjordes för att förklara grund begrepp i statistik med vardagliga ord och begrepp. Det skulle vara begripligt även för studenter som inte var så bra på matematik. Eftersom ämnet var statistik för blivande språklärare låg det nära till hands att använda exempel från undervisning. Responsen från eleverna var så positiv och användbar att det till slut blev en hel bok av dessa anteckningar. Det hade varken blivit anteckningar eller en bok om undervisning i metod och statistik utan alla duktiga och entusiastiska elever på den audiologopediska utbildningen på Köpenhamns universitet. Ett stort tack till er alla. Vi är också tacksamma för alla kommentarer, frågor och förslag som vi har fått från kandidater, nuvarande och tidigare kolleger, professor Peter Allerup, professor Elisabeth Engberg-Pedersen, lektor Anna Gellert, audiologoped Amalie K.D. Gravgaard, audiologoped Pernille H.E. Jensen, lektor Holger Juul och många fler. Till sist vill vi tacka professor Anders Holm för en noggrann granskning av manuset. Ingen av de ovanstående är dock ansvarig för eventuella fel eller otydliga formuleringar i boken. Oktober 2014 Carsten Elbro och Mads Poulsen

Elbro_Poulsen_ORIG.indd 7

2016-04-07 19:28

Faktagranskarens förord

Undervisningen i den svenska skolan ska, enligt skollagen, vila på vetenskaplig grund och beprövad erfarenhet. I korthet betyder det att undervisningen och de metoder som används ska baseras på forskning. Ett inte obetydligt hinder för detta är att forskningen inte har kartlagt effekten hos de flesta av de metoder som används i skolan. Tidigare har lärare i viss mån resonerat som så att det inte spelar så stor roll vilka metoder man använder eftersom alla metoder är lika bra. Modern forskning visar att detta påstående inte stämmer. Frågan är då vad lärare kan göra när det finns ett krav i skollagen att basera undervisningen på vetenskap samtidigt som forskningsläget är svagt. En möjlighet är att lärare själva bidrar till att skapa vetenskap. Carsten Elbro och Mads Poulsen har skrivit en bok som på ett lättfattligt och lättläst sätt visar att lärare kan bidra till att skapa egen systematisk kunskap och att utforma undervisningen i enlighet med ett vetenskapligt förhållningssätt. Det har varit ett sant nöje att arbeta med boken och jag hoppas att många lärare och lärarstudenter kan dra nytta av den. December 2015 Martin Karlberg

Elbro_Poulsen_ORIG.indd 8

2016-04-07 19:28

KAPITEL 1

Bra underlag

Syftet med det här kapitlet är •• att visa hur statistik och evidens kan användas i utbildning •• att visa de möjligheter till överblick och kunskap som statistiken ger •• att presentera bokens syfte. En lärare har hört talas om ett spännande utvecklingsprojekt med små datorer (surfplattor och liknande). Genom att spela spel har eleverna blivit mycket bättre på svenska. De har både blivit bättre på att minnas och på att läsa. Läraren är nyfiken, men också lite skeptisk. Hon är inte säker på om det här skulle gå att testa på hennes elever. Hon hittar en rapport om utvecklingsarbetet på internet. Den berättar detaljerat om projektet men upplyser bara om att både elever och lärare var nöjda. Den berättar egentligen inget om resultaten – varken när det gäller minne, läsfärdigheter eller intresse för läsning. Hon kontaktar därför den speciallärare som har varit en inspirationskälla för projektet och som hänvisar till en brittisk forskningsrapport. Den finns också på internet, men läraren har svårt att förstå den då den mest består av tabeller och statistik. Den ser ut att innehålla en hel del information om resultaten men läraren kan inte läsa av siffrorna. Dessutom vet hon inte om det går att jämföra de brittiska resultaten med de svenska. Så hon vet fortfarande inte vad hennes elever skulle kunna få ut av det här. 9

Elbro_Poulsen_ORIG.indd 9

2016-04-07 19:28

Hur ser det ut i verkligheten? Läraren, skolledningen och specialläraren behöver verklighetsförankring. Läraren måste veta hur hennes elever mår, hur det går för dem rent kunskapsmässigt, vilket undervisningsmaterial och vilka aktiviteter som de utvecklas bäst av – och så vidare. Den här kunskapen är själva kärnan i lärarens arbete. Den är helt avgörande för hur hon tänker, väljer och handlar i praktiken. Argument som ”så har vi alltid gjort här” kan vara en anledning till att den unga läraren vill prova något nytt. Hänvisningar till en känd pedagog som verkade på 1930-talet känns inte längre så imponerande och hennes övriga förebilder har bleknat allteftersom hon fått mer erfarenhet. Att kontrollera hur väl en viss teori stämmer med verkligheten är för abstrakt och hjälper knappast läraren att välja rätt innehåll eller se hur eleverna skulle ha nytta av en viss sorts undervisning. Varken gamla traditioner eller abstrakta ideal ger alltså läraren något pålitligt undervisningsunderlag. Läraren måste kunna lita på sin kunskap. Hon måste kunna vara säker på att det hon säger om att Johannes måste få mer stöd i att formulera sig skriftligt är korrekt och relevant information. Läraren måste också få rätt information om vad som skulle kunna hjälpa Johannes och hon måste få veta vad han skulle kunna få ut av en extra åtgärd, så att hon kan rådgöra både med Johannes och hans föräldrar om detta utifrån en stabil kunskapsgrund.

Evidens är verklighetsförankring Evidens är all den dokumentation som pekar mot en bestämd slutsats. Begreppet kommer av det engelska ordet evidence som har en bred betydelse och kan beteckna allt ifrån övertygande bevismaterial och entydig dokumentation till förhållandevis pålitliga uttalanden från enskilda personer. Vi använder ordet ungefär som bevis, till exempel i juridiska sammanhang, dvs. allt som gör att ett påstående har förankring i verkligheten. Om vi överför detta till undervisningssituationen är evidens det som vi bygger våra slutsatser om undervisning på. Det handlar särskilt om vad som sker och vad som fungerar och hur det påver10 UT VÄRDERA DIN UNDERVISNING

Elbro_Poulsen_ORIG.indd 10

2016-04-07 19:28

kar undervisningen. Att undervisningen är evidensbaserad innebär alltså att det finns belägg för att den stämmer med hur det ser ut i verkligheten. Evidensbaserad undervisning kan ha olika mål och syften. Det kan finnas god och stabil evidens för undervisning som har som mål att främja så kallade mjuka värden. Man kan alltså bedriva en väl underbyggd undervisning även när det gäller känslostyrda områden som till exempel litteraturupplevelser, självinsikt eller empati.

Är evidensen stark? Evidens kommer först och främst från iakttagelser. Dessa kan vara mer eller mindre systematiskt utförda. De kan också utföras av många eller ett fåtal. Därmed blir evidensen stark eller svag. Det innebär i sin tur att de slutsatser och den kunskap som det finns evidens för blir mer eller mindre säkra. Läraren är naturligtvis intresserad av att det finns en stark evidens för hennes undervisning – oavsett om den kommer från hennes egna erfarenheter, en kollega eller en föredragshållare på en kurs. Ibland vill man kunna samla ihop iakttagelser från flera olika personer. Då kan man till exempel ställa exakt samma eller ungefär samma frågor till samtliga i en strukturerad intervju. Det kan också vara så att man vill ha exakta svar vid exempelvis test av språkfärdigheter. Då är det kanske ett prov som behövs. Ett prov är också en form av iakttagelse – med så lika villkor som möjligt för alla. Det som kan vara negativt med prov är inte den systematiska iakttagelsen utan hur resultaten används. Det gäller särskilt om resultaten används för att reducera människor till provresultat eller att ge dem en stämpel. Det finns också prov och tester som är fullt berättigade: tester för att se vilka elever som behöver särskild hjälp, stöd och resurser. Eller tester för att förhindra att människor skadar sig själva eller andra, till exempel ett uppkörningsprov eller en tandläkarexamen.

BRA UNDERLAG 11

Elbro_Poulsen_ORIG.indd 11

2016-04-07 19:28

Att iaktta undervisning bevisar inget Evidens är inte samma sak som bevis. Om något har bevisats finns det inget mer att diskutera, saken är klar. Så kan det vara inom matematiken eller i rättssalen. Då kan evidensen leda till slutsatser, som måste vara rätt och därmed är bevisade. Låt oss säga att några misstänkta inbrottstjuvar spelades in på en övervakningsfilm medan inbrottet pågick. Man hittade också både hans och hennes fingeravtryck på flera ställen i butiken och på verktygen som användes vid inbrottet. Det råder därmed inget tvivel om att det är de misstänkta som begick inbrottet. I utbildningsforskning finns inga bevis – det finns det inte i någon forskning som har med människor att göra. Det beror på två saker: För det första handlar utbildningsforskning om generella frågor, inte om vem som har begått ett inbrott. Intressant ny kunskap om utbildning ska inte bara vara intressant för Amanda, utan för många andra elever, till exempel alla i hennes ålder. Annars blir kunskapen om Amanda oanvändbar för alla utom just Amanda. För det andra handlar utbildningsforskning om människor, inte om abstrakta begrepp som i matematiken. Att överföra information från Amanda till Johannes skulle inte vara något problem om alla människor vore lika. Men människor är både olika och oförutsägbara, vilket kanske är tur. Det skulle nog inte vara så roligt annars. Men det innebär alltså att det inte går att exakt jämföra information om Amanda med information om Johannes. Generell kunskap om undervisning kommer aldrig att gälla precis alla. Därför kan man inte säga att något är bevisat här, även om man kan vara ganska säker på att samma sak gäller för Amanda som för Johannes. I utbildningsforskning får man nöja sig med olika grad av evidens. Dessutom tillkommer olika grad av säkerhet när det gäller alla slutsatser. Det finns alltid undantag. Ofta finns det många undantag. Därför blir slutsatserna av typen ”iakttagelserna stämmer ganska bra med idén om att tidiga kommunikationsproblem bland barn ökar risken för asocialt beteende senare i livet” eller ”denna omfattande undersökning visar tydligt på att det finns ett samband mellan språklig bakgrund och lässvårigheter”. 12 UT VÄRDERA DIN UNDERVISNING

Elbro_Poulsen_ORIG.indd 12

2016-04-07 19:28

God utbildningsforskning innebär ofta att ha med många elever och många lärare i varje studie. Det finns undantag, men det brukar vara så. Det bästa är när det finns många studier av samma sak så att man kan jämföra dessa och förhoppningsvis få en samlad och pålitlig bild – även om det som sagt kan finnas enstaka studier som visar avvikande resultat. Det är inget att oroa sig över när man har med människor att göra. Idag finns det till exempel mycket stark evidens för att syntetisk läsinlärning (”ljudning”) är en bättre metod för nybörjare i läsning än till exempel analytisk läsinlärning (”helordsläsning”). Evidensen är här mycket stark eftersom det har gjorts hundratals välutformade studier som pekar i samma riktning (Elbro, 2014, kap. 7). Det finns en del evidens för att direkt undervisning i att aktivera bakgrundskunskaper förbättrar elevers förmåga att förstå text. Men evidensen är inte så stark, eftersom det bara har gjorts några få undersökningar inom området (Elbro, 2014, kap. 8). Poängen är att man kanske aldrig kan bevisa något till hundra procent när det gäller undervisning. Det kan bara finnas mer eller mindre starka belägg för ett resultat eller ett påstående. Därför är det viktigt att kunna bedöma hur stark evidensen är, det vill säga hur väl förankrad informationen är i verkligheten. Med den här boken vill vi visa hur man gör dessa bedömningar.

Överblick och pålitlig information Människor har en tendens att komma ihåg det som ger intryck. Det är det som är stort och nära som gör mest intryck (se t.ex. Sutherland, 2007). Det blir stort när man får veta att ett flygplan har störtat, även om det är 25 gånger farligare att köra bil samma sträcka. Det är nära när man ser sin elev brista i gråt över en uppgift. Då vill man helst undvika just den uppgiften i framtiden även om den skulle vara spännande och givande för andra elever. Att få kunskap om och kunna jämföra risken att köra bil med risken att flyga kräver många iakttagelser – många fler än en människa kan göra. Samma sak gäller information om hur undervisning fungerar. Det kräver fler iakttagelser än vad en enskild BRA UNDERLAG 13

Elbro_Poulsen_ORIG.indd 13

2016-04-07 19:28

lärare klarar av att göra. Även om flera lärare gick ihop och gjorde iakttagelser behöver dessa sammanställas för att man ska kunna få en överblick över informationen. Det finns två stora fördelar med att använda statistik i utbildning. Den första är att statistik kan vara ett hjälpmedel för att samla in och få överblick över många iakttagelser. Den andra är att statistik kan hjälpa oss att skilja mellan pålitliga och slumpmässiga tendenser i iakttagelserna. Dessa båda fördelar visar att statistik kan vara till hjälp när det gäller att förvandla iakttagelser till pålitlig kunskap. Några exempel: Med statistik kan lärare få överblick över den enskilda elevens utveckling, så att eventuella sämre dagar inte riskerar att överskugga övriga resultat. Lärare och utbildningsansvariga i kommunen kan också använda statistik för att få överblick över hur elevernas intresse för till exempel biologi och matematik utvecklas under en viss period. Med statistik går det att se skillnad på tillfälliga och mer varaktiga skillnader. Läraren kan ta reda på om klassen verkligen föredrar den ena historieboken framför den andra. Det går också att se om en klass har klart mindre sjukfrånvaro jämfört med andra klasser i kommunen eller om det bara är en tillfällig skillnad. Med statistik går det att förutse vilka elever som bäst skulle kunna tillgodogöra sig viss sorts undervisning och vilka elever som förmodligen skulle få problem. Med statistik kan lärare få en känsla för proportioner genom att titta på allt som påverkar elevernas vilja att gå i skolan. Allt är inte lika viktigt här. Det finns saker som är mycket viktigare än andra. Genom att utgå från statistik kan lärare rekommendera föräldrar att läsa högt för sina barn och prata om olika ämnen hemma. På samma sätt kan läraren rekommendera sin vuxna elev att läsa mer facklitteratur på fritiden, om läraren kan luta sig mot att det finns ett samband mellan sådan läsning och bättre resultat i läsförståelse. Den här boken handlar i hög grad om hur man får pålitliga svar på frågor som: Vilket resultat ger det här? Hur säker kan man vara? 14 UT VÄRDERA DIN UNDERVISNING

Elbro_Poulsen_ORIG.indd 14

2016-04-07 19:28

Hårklyverier En universitetslektor kallade en gång statistik för hårklyverier. Så kan det se ut vid en första anblick. Statistik skrivs ofta med små svarta punkter och till synes obegripliga siffror och krumelurer. Det kan se ut som fluglortar eller vad som helst. På samma sätt kan en bild av hjärnans aktivitet likna en explosion i en syltfabrik. Och det hektiska arbetet på en aktiebörs kan liknas vid en myrstack. Saker kan se kaotiska och till och med fåniga ut när man inte förstår dem. Men när man tittar närmare ser bilden helt annorlunda ut. Det finns många sätt att avfärda statistik på. Det finns till exempel det allmänt vedertagna påståendet ”allt går att bevisa med statistik” eller som det brukar heta: ”det finns lögn, förbannad lögn och statistik”. Statistiken anses bara vara en yta som ska dölja sanningar, och visst finns det exempel på det. Statistik kan, precis som andra verktyg, missbrukas. En annan invändning brukar vara att ”människor är olika och genomsnittsmänniskan existerar inte”. Det är naturligtvis helt riktigt. Men den slutsatsen är ju ganska pessimistisk om den innebär att det inte går att hitta samband och skillnader när det gäller hur människor lär sig något. Om man resonerar lite mer optimistiskt kan detta vara ett sätt att intressera sig för skillnader och vad de kan medföra. I förlängningen kan därför statistik vara ett bra verktyg för att ta reda på mer.

Bokens syfte, egenart och begränsningar Det här är inte en bok om statistik utan en bok om att använda statistik. Boken ger en introduktion i hur man använder statistik och skapar evidens i utbildning. Boken har en lärares perspektiv, inte en statistikers, så exemplen handlar om undervisning och förklaringarna utgår från elever och verklighet, inte ”individer”, ”stickprov” och ”populationer”. Vårt syfte med boken är dubbelt: För det första är den skriven som ett stöd i att läsa litteratur om utbildningsforskning, dvs. artiklar och rapporter med tabeller och BRA UNDERLAG 15

Elbro_Poulsen_ORIG.indd 15

2016-04-07 19:28

resultat från statistiska analyser. Vi vill gärna ge en så bra inblick som möjligt i vad de olika statistiska analyserna egentligen visar och en känsla för de enheter som används. För det andra är boken ett hjälpmedel för dem som vill försöka sig på egna studier och statistiska analyser. Det kan till exempel vara studenter som med handledning kan analysera egna eller andras iakttagelser och material. Det kan också vara en undervisningsgrupp, som med kvalificerad handledning vill titta närmare på sina elevers färdigheter och resultaten av undervisningen. När det gäller bokens ambitionsnivå kan vi jämföra med körlektioner. Boken erbjuder en del av körkortsundervisningen i undersökningsutformning och statistiska analyser. Den innehåller lite av teorin och övningar i körning på inhägnad bana. Den ger inblick i när och hur analyser fungerar och även en del övning i att använda analyser. Den ger dock inga praktiska övningar i stadstrafik eller på landsväg, inte heller körning på kvällen eller i regnväder. Och den ger naturligtvis inte någon längre erfarenhet. Så tänk på boken som ett stort steg på vägen mot körkort, men räkna inte med att den gör dig till en erfaren användare av utformning av undersökningar eller användning av statistik. De statistiska analyserna i boken är alltså av den typ som brukar användas mest inom pedagogik och psykologi. Det finns många fler analyser än dessa och många av de andra är nyare och mycket bra, men också mer specialiserade verktyg. En mer omfattande översikt finns till exempel i Howitt och Cramer (2014). Dessutom finns det översikter som är kopplade till konkreta handledningar för särskilda statistiska program, till exempel SPSS (se t.ex. Field, 2013). Vi hoppas att bokens perspektiv med en specifik lärare och hennes två klasser kan hjälpa till att göra innehållet mer konkret. Detta perspektiv ger också en tydlig begränsning. Det handlar ju inte om att undersöka vad som gäller generellt i undervisning. Läraren i exemplen kan inte veta om hennes sätt att undervisa fungerar i andra situationer och för andra lärare. Hon kan inte heller veta om hennes klass är speciell, eller om eleverna är typiska för situationen. Läraren – och bokens läsare – kan inte kalla sig expert 16 UT VÄRDERA DIN UNDERVISNING

Elbro_Poulsen_ORIG.indd 16

2016-04-07 19:28

på vad som fungerar i undervisning av vuxna eller undervisning överhuvudtaget. Det ligger utanför bokens ramar att visa hur man praktiskt genomför undersökningar som tillåter en generalisering av resultaten. Boken är alltså ingen forskarutbildning, men den kan förhoppningsvis ge en känsla av vad en sådan handlar om.

Ulrikas lärare Hjältinnan som vi får följa genom hela boken är en lärare som undervisar vuxna i svenska. Hon kan verka enormt ambitiös, men låt dig inte nedslås av det. Hennes undersökningar och analyser är bara exempel på hur de olika verktygen fungerar. Lärarens tanke gångar i bokens exempel är med för att tydliggöra principerna i analyserna. Eleverna och situationerna är med för att visa hur statistiska analyser kan se ut i en välkänd miljö. På så sätt blir de betydligt enklare att förstå. Det är inte meningen att uppmana alla lärare att göra egna statistiska analyser av sina klasser.

Sammanfattning Evidensbaserad undervisning är undervisning med förankring i verkligheten. Det vill säga att det finns systematiska iakttagelser som kan visa att undervisningen leder till goda elevresultat. Evidensen kan vara stark eller svag beroende på om det är säkert eller mindre säkert att undervisningen fungerar väl. Statistik är ett bra verktyg för att systematisera och bedöma hur säkra iakttagelserna är, till exempel av sambanden mellan undervisningen och elevernas utbyte av den. Boken är en introduktion i att använda statistik i undervisningen. Det är inte en allmän bok om statistik. Den är först och främst tänkt som en hjälp i att läsa forskningsrapporter om utbildning, alltså att förstå de statistiska översikter och analyser som finns i artiklar och rapporter. Förhoppningsvis kan den också vara ett första steg mot att själv använda statistik för att få överblick och kunna bedöma säkerheten hos iakttagelser som görs. Men boken är inte en ersättning för en kvalificerad handledare. BRA UNDERLAG 17

Elbro_Poulsen_ORIG.indd 17

2016-04-07 19:28

Läraren behöver kunna läsa rapporter om tester i undervisningen på ett kritiskt sätt. Hon tar hjälp av två kolleger och tillsammans ger de sig i kast med den engelska rapporten samtidigt som de läser statistiken.

18 UT VÄRDERA DIN UNDERVISNING

Elbro_Poulsen_ORIG.indd 18

2016-04-07 19:28

KAPITEL 2

Helt fantastiskt – små och stora skillnader

Syftet med det här kapitlet är •• att ge grundläggande kunskaper för säkrare bedömning genom att stärka kunskapen om jämförelser •• att ge ökad känsla för proportioner •• att göra standardavvikelser (på engelska: standard deviation, SD), standardpoäng (exempelvis z-poäng) och effektstorlek (d) till användbara verktyg •• att visa sambanden mellan olika skalor som bygger på normalfördelning. Ulrika har precis börjat på en kurs i svenska för vuxna. Hon berättar att hon tycker att det är svårt att hjälpa sina barn med läxorna. Hon är inte säker på om hon har egna svårigheter eller om hon helt enkelt bara behöver övning. Det är ju trots allt några år sedan hon själv gick i skolan. I skolan hade hon inte så bra betyg i svenska och hon fick underkänt i uppsatsskrivning. Men det var det många som fick. Här måste läraren först och främst ta reda på vad Ulrika behöver arbeta med. Vilka är hennes svaga sidor och vilka är hennes starka sidor som hon kan bygga vidare på? Läraren ska förstås även undervisa och förklara för Ulrika vilka resultat hon kan förvänta sig om hon arbetar med de rekommenderade uppgifterna.

Elbro_Poulsen_ORIG.indd 19

2016-04-07 19:28

Från jämförelse till rekommendation Bedömningar görs genom att jämföra. Det gäller även när man säger: ”Vilken fantastisk film!”, ”Härligt väder idag!” eller bara ”Usch!” Man jämför kanske inte alla sina tidigare filmupplevelser eller alla sorters väder, men de utgör ändå grunden för bedömningarna. Man måste ha något att jämföra med för att kunna bedöma. Om alla ölsorter smakade likadant skulle det inte vara någon mening med att utse den godaste. Om solen alltid sken skulle det inte vara någon mening med att utbrista ”vilket härligt väder!” Det skulle varken vara bättre eller sämre än igår. En mycket positiv bedömning grundar sig på en mycket stor skillnad. När en film är ”helt fantastisk” brukar det betyda att det är mycket stor skillnad på upplevelsen som just den här filmen ger jämfört med andra filmer. En film som är ”riktigt bra” skiljer sig däremot inte lika mycket från andra filmer. Skillnadens storlek är alltså det viktiga när man bedömer något – en film, ett betyg, en ölsort, vädret etc. Skillnadens storlek bestämmer därför vilket ord man sätter på sin bedömning när man berättar om den för andra: helt fantastisk, riktigt bra, okej, sådär, rätt dålig, totalt hopplös osv. Ju mindre skillnader det går att uppfatta, desto bättre blir underlaget för att göra en exakt och nyanserad bedömning. Exakta och nyanserade bedömningar är mycket intressantare än bedömningar som ”helt fantastisk” och ”totalt hopplös”. Man blir snabbt trött av full fart framåt eller av att trycka hårt på bromsen. En exakt och nyanserad bedömning kan vara något som andra vill ha. Det gäller inte bara filmrecensioner, reklam eller undervisning. Det gäller också exempelvis när man lämnar feedback, uppmuntrar någons framsteg i ett visst ämne eller ger ett omdöme om en inlämningsuppgift. Om Ulrika inte tycker att hon kan hjälpa sina barn tillräckligt bra med läxorna, så är hon inte intresserad av att få veta om hennes språkkunskaper är ”totalt hopplösa” eller ”helt fantastiska”. Om Ulrikas hemkommun ska kunna bedöma om hon ska erbjudas extra resurser eller inte måste bedömningen vara exakt. Den ska inte kunna gälla för de flesta andra vuxna i samma kommun. 20 UT VÄRDERA DIN UNDERVISNING

Elbro_Poulsen_ORIG.indd 20

2016-04-07 19:28

En exakt bedömning behövs också när man ska diskutera om det finns behov av särskild undervisning: ”Jag rekommenderar att du arbetar så här. Då kan du bli – helt fantastisk, riktigt bra, något bättre, en smula bättre – inom ett år.” Det är både omoraliskt och oprofessionellt att lova alla en ”fantastisk” förbättring. Det gäller oavsett om man är lärare, tränare, läkare, vägledare, konsult eller livsstilscoach. Att göra en exakt bedömning kräver att man vet hur man ska göra och att man anstränger sig när man gör det. Att anstränga sig innebär oftast att man lämnar sin kognitiva trygghetszon. Det här kapitlet om jämförelse och skillnader kan inte göra jobbet åt dig. Inte heller innehåller det allt som finns att veta om jämförelse och skillnader. Men här finns verktyg för att undersöka och uttrycka skillnader i storlek – något som är grundläggande för att kunna göra exakta bedömningar och rekommendationer.

Jämförelse med en större grupp Exakta bedömningar kräver en typ av måttstock. Det finns många: meter för längd, kilo för vikt, stjärnor för hotell och det finns år, dagar, timmar och minuter för tid etc. Dessutom finns rena antal: det fanns 17 studenter på caféet redan innan klockan 10. I kapitel 6 och 7 kan du läsa mer om måttstockar och om det omätbara. Naturligtvis räcker det inte med bara en måttstock. Är det trångt på caféet där det sitter 17 personer? Hur stort är Ulrikas ordförråd om hon känner till 20 av 25 ord på ett ordförståelseprov? Det måste finnas något att jämföra med. Ju bättre underlag för jämförelse det finns, desto bättre kan bedömningen bli. Ett bra underlag går att få fram på olika sätt. Det kan till exempel vara att man har lång erfarenhet av att besöka caféer, vilket gör att man kan påstå att 17 personer är ovanligt många. Det kan också vara att det är många andra som har gjort samma ordförståelseprov som Ulrika, så att man kan jämföra med deras resultat. Ulrika går i en klass med 25 andra vuxna. I början av kursen gjorde alla ett ordförståelseprov för att se hur många ord de kände till (Petersen, 2009). Därmed går det att bedöma deltagarnas ordHELT FANTASTISKT – SMÅ OCH STORA SKILLNADER 21

Elbro_Poulsen_ORIG.indd 21

2016-04-07 19:28

förråd och anpassa nivån på undervisningen efter deras kunskaper. Dessutom kan man ta reda på om de känner till fler ord efter avslutad kurs. Ulrika kände till 20 av 25 ord på testet. Ulrika

Antal ord

Figur 2.1. I Ulrikas klass känner eleverna till mellan 14 och 23 av orden på ordförståelseprovet. Ulrika och tre andra deltagare känner till 20 av orden.

För att bedöma Ulrikas ordförråd kan man jämföra det med övriga i klassen. Då blir gruppen underlag för jämförelsen. En sådan jämförelse kallas normrelaterad, eftersom den jämför Ulrika med en norm som utgår från resultaten i en större grupp. Det ligger nära till hands att jämföra med klassen – både för Ulrika och för hennes lärare, eftersom de finns på samma ställe. Övning 2.1. Andra jämförelseunderlag – andra normer • Vilka andra grupper – och därmed andra normer – skulle Ulrika kunna jämföra sig med?

Man skulle kunna jämföra Ulrikas ordförråd med ganska många andra grupper. Det är till exempel vanligt att jämföra med en större grupp i samma ålder. Det skulle ge en annan sorts normrelaterad bedömning. Då krävs ett standardiserat ordförståelseprov, vilket innebär att provet har gjorts av tillräckligt många, slumpmässigt utvalda, personer för att man med god säkerhet ska kunna säga något om färdigheterna i hela den givna åldersgruppen eller utbildningsnivågruppen i befolkningen. Ordförrådet i Ulrikas klass är faktiskt ganska normalt jämfört med en mycket större grupp vuxna elever (se Arnbak och Borstrøm, 2004). Så 22

Elbro_Poulsen_ORIG.indd 22

UT VÄRDERA DIN UNDERVISNING

2016-04-07 19:28

Elbro_Poulsen_ORIG.indd 23

2016-04-07 19:28

Carsten Elbro Mads Poulsen

Mads Poulsen är lektor i psykolingvistik och språkforskare vid Köpenhamns universitet, där han bland annat undervisar i statistik.

Elbro Poulsen Utvärdera din undervisning

Carsten Elbro är professor i läsinlärning vid Köpenhamns universitet, en internationellt välkänd forskare.

Utvärdera din undervisning

– lär dig värdera och förstå statistik och evidens

ISBN 978-91-27-14563-4

9 789127 145634

978-91-27-14563-4_elbro_jensen.indd Alla sidor

2016-04-08 10:34