9789144135991

PERSPEKTIV PÅ UTVÄRDERING

SANDBERG SVEN FAUGERT

Perspektiv på utvärdering

Kopieringsförbud

Detta verk är skyddat av upphovsrättslagen. Kopiering, utöver lärares och studenters begränsade rätt att kopiera för undervisningsändamål enligt Bonus

Copyright Access kopieringsavtal, är förbjuden. För information om avtalet hänvisas till utbildningsanordnarens huvudman eller Bonus Copyright Access.

Vid utgivning av detta verk som e-bok, är e-boken kopieringsskyddad.

Den som bryter mot lagen om upphovsrätt kan åtalas av allmän åklagare och dömas till böter eller fängelse i upp till två år samt bli skyldig att erlägga ersättning till upphovsman eller rättsinnehavare.

Studentlitteratur har både digital och traditionell bokutgivning. Studentlitteraturs trycksaker är miljöanpassade, både när det gäller papper och tryckprocess.

Art.nr 32773

ISBN 978-91-44-13599-1 Upplaga 4:1

©Författarna och Studentlitteratur 2020 studentlitteratur.se Studentlitteratur AB, Lund

Formgivning inlaga: Sebastian Wadsted/Lyth & Co

Ombrytning inlaga: Sebastian Wadsted/Lyth & Co

Formgivning omslag: Sebastian Wadsted/Lyth & Co

Printed by Dimograf, Poland 2020

Utvärderingsmodeller

Utvärderingsmodeller kan användas för att strukturera och fokusera datainsamling och analys vid utvärderingsarbete, liksom för att jämföra olika typer av strategier och angreppssätt på olika utvärderingsproblem.

Avsikten med det här kapitlet är att presentera en övergripande bild av olika exempel på mer eller mindre utvecklade utvärderingsmodeller, angreppssätt och perspektiv på utvärdering, i syfte att ge teoretisk kunskap om olika typer av utvärderingar. Vi förklarar bland annat utvärderingsmodellernas funktion och hur de förhåller sig till en utvärderings syfte, samt vilka fördelar och vilka begränsningar modellerna har. Några av modellerna återkommer vi även till i nästa kapitel, då vi illustrerar praktisk tillämpning av olika modeller eller utvärderingsperspektiv.

I slutet av kapitlet redovisar vi även några särskilda och ofta förekommande tillvägagångssätt inom utvärdering för att strukturera datainsamling och analys, nämligen programutvärdering, effektanalys, självutvärdering, expertpanel samt löpande utvärdering/följeforskning.

3.1 Vad kännetecknar en utvärderingsmodell?

Utvärderingsmodeller avser, som vi använder begreppet, praxis, idéer och idealbilder inom utvärdering, och de inrymmer både mindre accepterade och mer vetenskapligt lovprisade tillvägagångssätt (Stufflebeam, 2001a). Med utvärderingsmodell avser vi

alltså någonting mer innehållsrikt än vetenskapligt accepterade metoder och angreppssätt.1 Genom att använda begreppet utvärderingsmodell kan vi lättare återspegla den bredd av perspektiv och erfarenheter som finns i dag inom utvärderingsfältet.

Utvärderingsmodeller är olika avsiktliga förenklingar av en komplex verklighet och strävar inte efter att perfekt överensstämma med verkligheten, utan snarare efter att skapa förutsättningar för att underlätta utvärderingsarbete, både i metodologisk och i pedagogisk mening. De kan ses som modeller eller avbildningar av centrala aspekter i en utvärdering.

Valet av utvärderingsmodell innebär ett val av perspektiv och därmed vilka aspekter som ses som centrala i en viss utvärdering. Det perspektivet karakteriseras av ett visst arbetssätt, för med sig vissa begränsningar och genererar också vissa frågeställningar för en utvärdering. Valet bör därför ske medvetet med hänsyn till utvärderingssammanhanget eftersom det verkar normativt på det följande utvärderingsarbetet.

Många utvärderare har sina ”favoritmetoder”, det vill säga utvärderingsmetoder som de föredrar och som de kanske är särskilt duktiga på att tillämpa. De tenderar att anpassa sina syften och frågeställningar så att just deras favoritmetoder kan tillämpas, i stället för att utgå från syfte och frågeställningar. Att utnyttja en viss utvärderingsmodell kan vara ett sätt att göra ett arbete effektivt och minimera risker, samtidigt som det kan underlätta jämförelser med andra studier. Användning av utvärderingsmodeller kan emellertid också leda till vissa problem, som att

• utvärderingsproblem anpassas efter modellen, i stället för tvärtom

1 Uttrycket evaluation approach, det vill säga tillvägagångssätt vid utvärdering, används ofta inom utvärderingslitteraturen för att beskriva vetenskapligt accepterade metoder och angreppssätt vid utvärdering.

• hänsyn till kontext inte tas

• komplexiteten av utvärderingsproblemet reduceras på ett missledande sätt

• användbarheten av utvärderingen minskar

• lärandemöjligheterna minskar.

I fortsättningen kommer utvärderingsmodeller att delas in i fyra olika typer (se figur 3.1). Utvärderingsmodellerna i figuren är enligt vår erfarenhet beprövade verktyg som är effektiva för att strukturera och fokusera datainsamling och analys vid genomförande av utvärdering. De kan underlätta att identifiera till exempel eventuella teori- eller implementeringsfel, kritiska faktorer och möjliga förbättringar i en utvärderad verksamhet eller åtgärd.

Ibland kan det vara fördelaktigt att kombinera olika modeller och använda dem samtidigt för att angripa olika frågeställningar i ett utvärderingsuppdrag. I andra fall kan det vara fruktbart att i ett mer explorativt syfte låta utvärderingsarbetet innefatta olika modeller som används i sekvens i ett utvärderingsarbete. Det kan

Typ av ut värderingsmodeller

Resultatinrik tade modeller

Komparativa modeller

Beskrivning

Mäter resultat och kostnadse ek tivitet. ”Klassiska” ut värderingsmodeller

Denna t yp av modeller hämtar sin kraf t från jämförelser som antas kunna vara vägledande i en viss situation -

Teoribaserade ut värderingsmodeller Denna t yp av ut värderingsmodeller sy f tar till at t ge svar på hur en åtgärd uppnår sina mål

Ak törsfokuserade ut värderingsmodeller

Dessa t yper av ut värderingsmodeller studerar åtgärder utifrån olika ak törers perspek tiv

FIGUR 3.1 Fyra grova typer av utvärderingsmodeller. Observera att indelningen inte är uteslutande, utan att det kan finnas länkar mellan de olika typerna. Indelningen är vår egen, och den fyller här främst en pedagogisk funktion.

till exempel vara givande att börja en utvärdering från ett måluppfyllelseperspektiv och sedan föra den vidare till att ringa in olika faktorer som påverkar eller kan förklara måluppfyllelsen av en åtgärd (se programutvärdering, avsnitt 3.6.1).

Det finns återigen anledning att här påminna om att det är själva utvärderingsproblemet och utvärderingens syfte som bör avgöra fokus och ligga till grund för valet av metod för datainsamling och analys vid utvärdering. Idealiskt sett väljs utvärderingsmetod inklusive utvärderingsmodell utifrån vad som är bäst lämpat för att motsvara utvärderingens syfte och frågeställningar. De egna teoretiska och metodologiska preferenserna blir utifrån detta idealresonemang sekundära, då det är utvärderingsproblemet som är ledande i valet av utvärderingsperspektiv (Sandberg, 2006).

3.2 Resultatinriktade modeller

Resultatmodeller kan beskrivas som ”klassiska utvärderingsmodeller” och är mer eller mindre grundläggande modeller för utvärdering. Resultatmodeller mäter resultat, påverkan och/eller kostnadseffektivitet. Begrepp som mål- och effektutvärdering, impact evaluation och outcome evaluation används ofta för att beskriva den här typen av utvärdering.

Resultatmodeller är inte sällan metodstyrande, det vill säga de ställer krav på användning av vissa metoder för korrekt datainsamling och analys av effekter. Metodmässigt används ofta kvantitativa data i en strävan att mäta effekter och avgöra orsakssamband mellan åtgärder och uppmätta effekter. Vid den här typen av utvärdering är det ofta en central uppgift för utvärderaren att försöka klarlägga om det finns ett orsakssamband mellan en åtgärd och dess resultat (se avsnitt 1.4.6). I realiteten finns det, som tidigare berörts, nästan alltid ett komplext sammanhang av olika faktorer kring en åtgärd som i sig påverkar utfallet, vilket gör att en resultatinriktad utvärdering också bör utforska och beskriva

detta sammanhang av påverkande faktorer för att man ska kunna bedöma kausalitet.

Klassiska experimentella utvärderingsstudier dominerar starkt inom vissa vetenskapliga traditioner. Inom till exempel medicinsk utvärdering är målet att skapa evidensbaserad kunskap, som visar vilka åtgärder i vården som gör störst nytta för patienter och hur hälso- och sjukvården kan utnyttja sina resurser på bästa sätt. Som tidigare nämnts (se avsnitt 1.2.1) har offentlig förvaltning i Sverige sedan 1980-talet varit inriktad mot mål- och resultatorientering, konkurrens samt att lägga ut verksamheter på entreprenad eller att privatisera dem (Vedung, 2010). Inom den mål- och resultatstyrda ledningen av offentlig verksamhet krävs fortlöpande uppföljningar och utvärderingar för att ge svar på om politiken utförs som det är tänkt och om resurser används effektivt (Hanberger, 2003). Evidensbaserad kunskap har exempelvis blivit ett ledord inom social- och kriminalpolitik. Där står det för en medveten och systematisk strävan att erhålla vetenskapliga bevis om åtgärders effektivitet.2

3.2.1 Mål- och effektutvärdering

I mål- och effektutvärdering försöker man klargöra om utfallet av en åtgärd eller insats stämmer överens med dess mål eller önskade effekter samt om utfallet är orsakat av insatsen. Utvärderaren försöker med andra ord klargöra om insatsen har bidragit till önskade resultat (jfr Vedung, 2009).

En målutvärdering fokuserar på de önskvärda och formulerade tillstånd som en åtgärd avser att uppnå (se avsnitt 1.4.4.). En renodlad utvärdering av måluppfyllelsen utgår således från på förhand

2 Vilket genomslag evidensbaserad kunskap, och utvärderingar i allmänhet, har på politikens funktion och rationalitet (jfr Hanberger, 2003) är en intressant fråga som vi återkommer till senare (kapitel 5).

uppsatta (till exempel politiska) mål och ställer frågan hur väl resultat svarar mot de målen.

En effektutvärdering är en utvärdering som kan inkludera både positiva och negativa effekter, oavsett om de är förutsedda eller inte. En renodlad effektutvärdering kan alltså fokusera på resultat som inte nödvändigtvis omfattats av åtgärdens målformuleringar. Effektutvärderingar är till exempel vanligt förekommande inom vetenskapliga utvärderingar, där forskaren söker efter önskvärda eller oönskade effekter (och bieffekter) som han eller hon vill studera, oavsett om de ingår i de ursprungligen formulerade målen eller inte. 3 I kapitel 2 beskrev vi planeringsprocessen inför en mål- och effektutvärdering av en alkoholförebyggande utbildning. För att ur statistisk synvinkel göra en tillförlitlig mål- och effektutvärdering krävs idealiskt sett att vi utifrån en population (individer eller verksamheter till exempel) slumpmässigt avgör vilka individer eller verksamheter som ska få delta i en åtgärd (till exempel en alkoholförebyggande utbildning) samt vilka som ska få en annan form av åtgärd eller ingen alls. De som deltar i åtgärden utgör en experimentgrupp, och de som inte får samma åtgärd utgör kontrollgrupp. Utfallet mäts för de båda grupperna. Resultaten från en sådan randomiserad kontrollerad studie anses ur statistisk synvinkel vara de mest tillförlitliga, eftersom både experiment- och kontrollgrupp är lika lämpliga för att delta i åtgärden, och eftersom det är slumpen som avgjort vilka som fått ta del av den eller inte.

Mål- och effektutvärderingar av sociala åtgärder genomförs, som tidigare nämnts, ofta som så kallade kvasiexperiment. Det innebär att effekten av en åtgärd för en experimentgrupp jämförs med en liknande grupp som inte utsätts för åtgärden. Kontroll-

3 I avsnitt 3.6.2 tar vi även upp en effektanalys, som är en ofta tillämpad och i vissa avseenden förenklad variant av effektutvärdering där olika utvärderingsansatser tillämpas för att, trots begränsade förutsättningar att i vetenskaplig mening ”bevisa” en åtgärds effekter, göra åtminstone en trovärdig bedömning av dess effekter.

gruppen kallas då ofta för jämförelsegrupp och innehåller ett medvetet (det vill säga inte slumpmässigt) gjort urval av individer som, vad gäller relevanta bakgrundsvariabler (till exempel kön, ålder och utbildningsbakgrund), är så lika dem i experimentgruppen som möjligt. Det går dock aldrig att veta med säkerhet om samtliga betydelsefulla bakgrundsvariabler har kontrollerats. Icke-slumpmässiga faktorer, som till exempel motivation att delta i en åtgärd, kan ”störa” möjligheterna att dra statistiskt säkra slutsatser (Dahmström, 2011). I ett kvasiexperiment kan vi således inte med samma statistiska tillförlitlighet som vid ett randomiserat experiment veta om effekterna beror på åtgärden eller på andra skillnader mellan experiment- och kontrollgrupp. Möjligheterna att generalisera resultaten från ett urval till en population begränsas därmed (a.a.; Sandberg, 2006; 2013).

Fördelar med mål- och e FF ektutvärdering

Mål- och effektutvärderingar är av central betydelse och spelar en viktig roll i dagens samhälle där många verksamheter är målstyrda. Mål- och effektutvärderingar är också viktiga ur ett utvärderingshistoriskt perspektiv, eftersom det i stor utsträckning är ur kritiken mot den typen av utvärderingar som den flora av utvärderingsperspektiv som finns i dag har uppstått. Mål- och effektutvärderingar är i sin grundtanke enkla och tydliga, och de utgör en del av en (vetenskaplig) strävan att bevisa förhållanden och generera allmängiltig kunskap utifrån modeller och metoder som är ”säkra” och möjliga att upprepa. Utvärderaren behöver inte själv ta ställning till om programmet eller den förda politiken är god eller dålig, utan försöker med hjälp av ”objektiva” och vetenskapliga metoder sakligt fastställa åtgärdens effekter.

Målutvärderingar tar officiella och uttalade mål på allvar, vilket gör dem till ett viktigt redskap för att kontrollera att en genomförare (till exempel offentlig förvaltning) tar huvudmannens (till exempel politikens) beslut på allvar. Evert Vedung nämner detta

så kallade demokratiargument som en fördel (Vedung, 2009). Den här typen av utvärdering bejakar uppfattningen att politiskt formulerade mål i den offentliga sektorn spelar en huvudroll i ett demokratiskt statsskick (a.a., s. 95). Eftersom utvärdering ofta sker i ett politiskt sammanhang är det vanligen nödvändigt för utvärderingar att ta hänsyn till offentlig verksamhets grundförutsättningar i en parlamentarisk demokrati som Sverige. Medborgarna har rätt att få veta om en aktivitet baserad på ett politiskt beslut av folkets representanter uppfyller sitt mål. Vedungs resonemang är ett tungt argument för mål- och effektutvärderingar som grundas på den demokratiska styrkedjan och medborgarnas rätt till ansvarsutkrävande.

Begränsningar med mål- och e FF ektutvärdering Sociologen och utvärderingsforskaren Michael Quinn Patton lyfter fram en central fara med mål- och effektutvärderingar, vilken kan sammanfattas med ”what gets measured gets corrupted” (Patton, 1998, s. 230). Uppföljningar och utvärderingar som fokuserar på kvalitets- och resultatmått riskerar att påverka individers och organisationers beteende på ett oönskat och negativt sätt (Lindgren, 2014).

Farhågan är, enligt somliga, att om insatserna blir så pass höga att människors jobb och uppehälle är avhängiga av positiva resultat av mål- och effektmätningar kommer önskade positiva resultat också att kunna konstateras på ett eller annat sätt, alldeles oavsett om önskade men inte mätbara resultat verkligen uppnås eller inte uppnås.

Inom de flesta verksamheter är målen för verksamheten avgörande för att kunna bedöma dess inriktning och prioriteringar samt för att kunna värdera åtgärdernas utfall i relation till målen. Trots detta är det sällan oproblematiskt att ha mål som utgångspunkt i en utvärdering. Som tidigare nämnts (se t.ex. avsnitt 1.4.4

samt 2.5.1) är politiska och administrativa mål nästan alltid vagt formulerade och inte sällan orealistiska (Patton, 1997; Vedung, 2009). Mål för offentlig verksamhet kan därför ibland vara otillräckliga eller direkt olämpliga att använda som värderingsgrund i en utvärdering. Som praktiskt exempel kan nämnas en studie av målformuleringar inom hälso- och sjukvård. Studien genomfördes av Prioriteringscentrum, som är ett nationellt forskningscentrum för prioritering inom vård och omsorg. De konstaterade att de studerade målformuleringarna i hälso- och sjukvårdslagen, i statliga utredningar samt i studerade styrdokument på landstings- och kommunnivå genomgående var så pass vaga att de inte fungerade som vägledning för dem som arbetar i verksamheterna. Ofta saknades också uppgift om när mål var tänkta att uppnås (Liss, 2006).

En vanlig kritik mot mål- och effektutvärdering är också att en komplex verklighet överförenklas och att kontextuella faktorers inverkan beaktas i för liten utsträckning (Sanderson, 2000; Simons, 2004; Toulemonde, 1995). Även om ett statistiskt säkerställt samband kan fastställas mellan en åtgärd och en effekt finns det alltid andra faktorer som kan tänkas förklara effekters från- eller närvaro. Mål- och effektutvärderingar är alltså ”enkla” i den bemärkelsen att en komplex verklighet reduceras till ett antaget rätlinjigt samband mellan en åtgärd och en studerad effekt. Mål- och effektutvärderingar, särskilt randomiserade experiment, uppmärksammar sällan i någon större utsträckning det faktum att en åtgärd som fungerar i ett sammanhang kan vara värdelös i ett annat (Blom & Morén, 2003). I realiteten kan en rad olika yttre faktorer tänkas både främja och motverka att resultat uppstår av en åtgärd. Om vi antar att vi ska utvärdera exempelvis effekterna av en arbetsmarknadspolitisk åtgärd kan det vara omöjligt att isolera sambandet mellan den studerade åtgärden och dess effekter på arbetslösheten från den myriad av andra omgivningsfaktorer och samhällsaktiviteter som också påverkar arbetslösheten. En önskvärd effekt av en åtgärd kan också uppnås på bekostnad av att något annat önskvärt trängs bort. En inte ovanlig kritik mot just

arbetsmarknadspolitiska åtgärder i Sverige är till exempel att de har minskat den öppna arbetslösheten, men att de inte har skapat fler riktiga jobb (se t.ex. Calmfors, Forslund & Hemström, 2002). Vad gäller experimentella randomiserade studier är det även viktigt att beakta de etiska och praktiska hinder som finns:

• Valet av metod för genomförande av åtgärden och utvärderingen innebär att andra typer av åtgärder eller behandlingar kan komma att inskränkas för såväl experiment- som kontrollgrupp.

• Designen av utvärderingen begränsar handlingsutrymmet för dem som genomför åtgärden, då utvärderaren vill ha största möjliga kontroll över insatsens genomförande.

• Det kan vara både svårt och oetiskt att slumpmässigt hänföra individer, grupper eller verksamheter till experiment- respektive kontrollgrupp då det begränsar de berördas möjlighet att själva välja vad som känns relevant att delta i (Sandberg, 2006). Ta till exempel ett förebyggande alkoholprogram i en skola: För att programmet ska vara effektivt är det rimligt att anta att det bör uppfattas som meningsfullt och utvecklande av berörda utbildare, lärare och elever. Det medför att förutsättningarna för att till exempel slumpmässigt hänföra skolor till experiment- eller kontrollgrupp kan vara begränsade (Lilja, Giota & Larsson, 2004).

• Det kan vara oetiskt att, om man på goda grunder antar anser att en viss typ av åtgärd – till exempel en medicinisk behandling – är till fördel jämfört med ingen åtgärd alls, inte erbjuda den aktuella åtgärden till samtliga individer (Dahmström, 2011).

Sambandet mellan tillgången på experimentbaserad utvärdering och hur beslutsfattande och tillämpning sker ”i verkligheten” har diskuterats inom utvärderingsforskningen (se vidare kapitel 5). Kritikerna menar att mål- och effektutvärdering historiskt sett

har haft ett begränsat inflytande på de åtgärder som studerats (Patton, 1997). Trots stor tillgång till mål- och effektutvärderingar av till exempel socialpolitiska åtgärder har den praktiskt förda politiken ofta tagit större hänsyn till andra faktorer. Det innebär att det som ses som mest effektivt i vetenskaplig bemärkelse inte nödvändigtvis är det som avgör vad som genomförs i praktiken (se t.ex. Lilja, Giota & Larsson, 2004; Simons, 2004; Weiss, 1999). En anledning till det kan vara att mål- och effektutvärderingar sällan tar hänsyn till kostnaderna för en åtgärd. En åtgärd kan till exempel ge positiva effekter, men till en mycket hög (och politiskt oförsvarbar) kostnad.

Demokratiargumentet, som nämnts ovan som en fördel med den här typen av utvärdering, bör även diskuteras utifrån en annan synvinkel. Det finns forskare som ser utvärdering och demokrati snarare som en fråga om att skapa dialog mellan makthavare och medborgare (se t.ex. Greene, 1997). Utifrån deras perspektiv består värdet av utvärderingar av att ha fokus på medborgarnas intressen och erfarenheter, liksom att göra utvärdering tillgängligt för icke-specialister (se t.ex. Patton, 2000). Det är alltså uppenbart att demokratiargumentet kan ses från två olika perspektiv: dels utifrån utvärdering som ett sätt att övervaka att den representativa demokratins teori följs och dels utifrån utvärdering som ett sätt att främja medborgarnas roll och inflytande i ett demokratiskt samhälle. Mål- och effektutvärderingar svarar i hög grad mot perspektivet att övervaka, men i begränsad utsträckning mot att skapa dialog (Sandberg, 2006). Det här talar, enligt vår mening, för att mål- och effektutvärderingar, om de används som verktyg i demokratins tjänst, kan behöva kompletteras med andra typer av utvärderingsperspektiv.

118

kontrollerad 90

(slumpmässigt)

72, 90, 91

63, 76, 147 reliabilitet 203, 204

22, 124 31, 32, 36, 55

uppdragsbeskrivning 48, 184

19

utgiftskris 25

Bo Sandberg är kriminolog och har arbetat med utvärdering sedan 1999. Han har forskat och undervisat i utvärdering bland annat vid Stockholms universitet samt arbetat med utvärdering som konsult och statlig tjänsteman vid flera myndigheter.

utilization-focused evaluation 192

utvärderarroll 78, 83

utvärdering definition av 18

historiskt perspektiv 21

i Sverige 23

Sven Faugert är civilekonom och har arbetat praktiskt med utvärdering på olika poster inom statsförvaltningen. Han är nu verksam som konsult och har också grundat ett av landets ledande företag inom utvärdering.

resultatindikator 34, 35

76–80

88–107

utvärderingsforskning 20

utvärderingsfrågor 56

utvärderingsmodell 85, 86

Perspektiv på utvärdering

utvärderingsobjekt 53

utvärderingspolicy 190

utvärderingsrådgivare 63

utvärderingsteori 26

teori för utvärdering 26

teori om utvärdering 26

V Vad? 53

validitet 201–203

Utifrån principen att utvärdering måste ses ur olika perspektiv och utformas på olika sätt beroende på sammanhanget och hur resultaten skall användas, ger denna bok en introduktion till utvärderingsdesign och frågeställningar som behöver hanteras i en utvärdering. Boken redogör för hur utvärderingar kan planeras och genomföras på ett systematiskt sätt. En rad utvärderingsmodeller och utvärderingsperspektiv som kan användas för att strukturera datainsamling och fokusera analys i utvärderingar beskrivs utförligt.

extern 202

Utvärderingars kvalitet ägnas ett särskilt kapitel.

intern 202

Varför? 49–53

variabel 69

verksamhetslogik 112

vetenskapligt experiment 72

Boken utgår från ett tvärvetenskapligt perspektiv och använder både teoretiska och praktiska exempel från författarnas erfarenheter inom områden som arbetsmiljöfrågor, kriminal- och socialpolitiska åtgärder, organisationsutveckling, forsknings- och utvecklingspolitik.

Vilka? 60–67

värdering 27, 28, 74–76

värderingskriterier 18, 54, 56

what works 23

Fjärde upplagan

yttre faktorer 119

Perspektiv på utvärdering vänder sig till dem som studerar utvärdering vid universitet och högskola, forskare och yrkesverksamma som genomför, beställer och använder sig av utvärderingar. Boken gavs ut i en första upplaga redan 2007, och med tiden har den funnit en allt bredare läsekrets. I denna fjärde upplaga har samtliga kapitel uppdaterats, begreppsförklaringar förtydligats och nya avsnitt och figurer tillkommit.

åtgärd 18

studentlitteratur.se

Art.nr 32773