9789144112480 by Smakprov Media AB

Kopieringsförbud Detta verk är skyddat av upphovsrättslagen. Kopiering, utöver lärares och studenters begränsade rätt att kopiera för undervisningsändamål enligt Bonus Copyright Access kopieringsavtal, är förbjuden. För information om avtalet hänvisas till utbildningsanordnarens huvudman eller Bonus Copyright Access. Vid utgivning av detta verk som e-bok, är e-boken kopieringsskyddad. Den som bryter mot lagen om upphovsrätt kan åtalas av allmän åklagare och dömas till böter eller fängelse i upp till två år samt bli skyldig att erlägga ersättning till upphovsman eller rättsinnehavare. Studentlitteratur har både digital och traditionell bokutgivning. Studentlitteraturs trycksaker är miljöanpassade, både när det gäller papper och tryckprocess.

Art.nr 32773 ISBN 978-91-44-11248-0 Upplaga 3:1 © Författarna och Studentlitteratur 2016 studentlitteratur.se Studentlitteratur AB, Lund Omslagslayout: Francisco Ortega Omslagsbild: Josep.Ng/Shutterstock.com Printed by Lapaprint, Valmiera, Latvia 2016

INNEHÅLL

Förord 7 Läsanvisning 9

1 Utvärdering 11 1.1 1.2 1.3

1.4

Vad är utvärdering? 11 1.1.1 Skillnaden mellan utvärdering och forskning 12 Utvärderingsfältets utveckling 13 1.2.1 Utvärdering i Sverige 15 Utvärderingsteori och centrala utvärderingsbegrepp 16 1.3.1 Formativa och summativa utvärderingar 18 1.3.2 Ex-post-, ex-ante- och mid-term evaluation 19 1.3.3 Kausalitet 20 1.3.4 Additionalitet 22 1.3.5 Attribuering och kontribuering 24 1.3.6 Teori- och implementeringsfel 25 Från teorier till praktik … 28

2 Att planera och genomföra utvärdering 29 2.1 2.2

Varför? 31 2.1.1 Exempel 33 Vad? 34 2.2.1 Utvärderingsobjekt 34 2.2.2 Kärnfrågor 35 2.2.3 Värderingskriterier 35 2.2.4 Utvärderingsfrågor 37

Innehåll

2.3

2.4 2.5

2.2.5 Exempel 37 Vilka? 40 2.3.1 Vilka berörs av utvärderingen och behöver vi ta hänsyn till dem? 40 2.3.2 Vem ska genomföra utvärderingen? 41 2.3.3 Exempel 43 Hur? 45 2.4.1 Exempel 48 Resultat 51 2.5.1 Tolkning och värdering av utvärderingens resultat 51 2.5.2 Resultatspridning 53 2.5.3 Exempel 57

3 Utvärderingsmodeller 61 3.1 3.2

3.3

3.4

3.5

3.6

Vad kännetecknar en utvärderingsmodell? 61 Resultatinriktade modeller 64 3.2.1 Mål- och effektutvärdering 65 3.2.2 Metaanalys 70 3.2.3 Ekonomisk utvärdering 75 Komparativa utvärderingsmodeller 79 3.3.1 Benchmarking 79 3.3.2 Konstruerad idealmodell 81 Teoribaserade utvärderingsmodeller 82 3.4.1 Programteori 83 3.4.2 Ramfaktormodell 87 Aktörsfokuserad utvärdering 89 3.5.1 Brukarorienterad utvärdering 90 3.5.2 Intressentutvärdering 92 3.5.3 Erbjudandemodellen 94 Några särskilda typer av utvärdering 97 3.6.1 Programutvärdering 97 3.6.2 Effektanalys 102 3.6.3 Självutvärdering 107 3.6.4 Expertpanel 109 3.6.5 Följeforskning 114 © F ö r fatta r na oc h S tudentlitte r atu r

Innehåll

4 Fyra praktiska exempel 117 4.1

4.2

4.3

4.4

Lokalt brottsförebyggande arbete – ur ett mål- och effektperspektiv 117 4.1.1 Genomförande 118 4.1.2 Värdering och bedömning 119 4.1.3 Mål- och effektperspektivets värde 120 Utvärdering av universitetsutbildning – ur ett benchmarking-perspektiv 121 4.2.1 Genomförande 121 4.2.2 Värdering och bedömning 123 4.2.3 Benchmarking-perspektivets värde 124 Utvärdering av ett statligt ungdomsprojekt – ur ett programteoretiskt perspektiv 124 4.3.1 Genomförande 125 4.3.2 Värdering och bedömning 126 4.3.3 Det programteoretiska perspektivets värde 127 Utvärdering av ett arbetsmiljöprojekt – ur ett erbjudandeperspektiv 128 4.4.1 Genomförande 128 4.4.2 Värdering och bedömning 132 4.4.3 Erbjudandeperspektivets värde 134

5 Utvärderingar ska användas! 135 5.1 5.2 5.3

Om att inleda ett utvärderingsarbete – noggranna förberedelser är en god start 137 Användningsorienterad utvärdering 139 Utvärdering för lärande och utveckling 142

6 Kvalitet i utvärderingar 147 6.1 6.2

Kvalitetssäkringsprocesser 147 En modell för bedömning av kvaliteten i en utvärdering 149 6.2.1 Validitet 151 6.2.2 Reliabilitet 152

Innehåll

6.3

6.2.3 Användbarhet 153 6.2.4 Ansvarstagande och etiska kriterier 154 6.2.5 Kostnadseffektivitet 155 Systematisk tillämpning av modellen för kvalitetsbedömning 156

7 Perspektiv på utvärdering 159 Bilaga: Formulär för bedömning av en utvärderings kvalitet 163

Del 1: Utvärderingens validitet 163 Del 2: Utvärderingens reliabilitet 165 Del 3: Utvärderingens användbarhet 167 Del 4: Ansvarstagande och etiska kriterier 169 Del 5: Kostnadseffektivitet 170 Källförteckning 171 Sakregister 181

FÖRORD

Den här boken började som en idé för ett utbildningsmaterial till en kurs i utvärdering och har sedan vidareutvecklats till att bli en hel bok om utvärdering. Den vänder sig till politiker, tjänstemän, praktiker, forskare och högskolestudenter som studerar, genomför eller beställer utvärderingar. Vi har båda arbetat med utvärdering inom olika samhällsområden som konsulter, tjänstemän, forskare, lärare och rådgivare. Med denna bok vill vi ge en mångfasetterad presentation av ämnet utvärdering. Vi vill redan här betona att det inte är en metodbok, utan snarare en guide till utvärdering som syftar till att inspirera och vägleda i arbete med att planera, genomföra, tolka och kritiskt granska utvärderingar. Vi behandlar bland annat utvärderingsfältets utveckling, centrala begrepp och metoder inom utvärdering och hur planering inför genomförandet av en utvärdering kan läggas upp enligt ett strukturerat arbetssätt. Vi presenterar också utvärderingsmodeller och ger exempel på praktisk tillämpning inom olika samhällsområden samt redogör för en modell för att kritiskt granska genomförda utvärderingar. Vi ser utvärdering som ett perspektiv som läggs på en samhällelig aktivitet för att utforska dess värde och betydelse, ofta med avsikt att ge underlag för beslut eller bidra till aktivitetens utveckling. Utvärdering är inte en metod, utan ett växande forsknings- och praktikfält som spänner över många samhällsområden där olika vetenskapliga metoder tillämpas. Vi har medvetet strävat efter att använda exempel från olika samhällsvetenskapliga ämnesområden, liksom att blanda olika typer av källmaterial. Referenser görs främst till akademisk litteratur i form av böcker och artiklar, men även till rapporter från svenska och utländska myndigheter samt organisationer, forskningsinstitutioner och utvärderingskonsulter. Boken kan med fördel kompletteras med en introduktion till samhälls© F ö r fatta r na oc h S tudentlitte r atu r

Förord

vetenskapliga metoder, då vi inte kommer att gå in i detalj på metodologiska frågor.

Förord till tredje upplagan Vi är mycket stolta över att få presentera den tredje upplagan av Perspektiv på utvärdering. Vi har uppdaterat boken i flera avseenden: dels har vi gått igenom hela texten och gjort en del ändringar och tillägg samt uppdaterat referenser, dels har vi lagt till helt nya avsnitt. Kunskap och perspektiv på utvärdering är inte bara viktiga för dem som arbetar med att genomföra utvärderingar, utan även för dem som har till uppgift att beställa och använda resultaten från utvärderingar. Med tanke på detta har vi kompletterat innehållet i kapitel 5 med utgångspunkt från våra egna erfarenheter av dels hur beställningar bör vara utformade och dels vikten av klara riktlinjer eller policyer för utvärdering inom en organisation. Författarna i juni 2016

LÄSANVISNING

Det första kapitlet är tänkt att ge en teoretisk bakgrund till ämnet utvärdering. Vi ger en definition av utvärdering, beskriver utvärderingsfältets utveckling och tar upp några utvärderingsteoretiska utgångspunkter samt ett urval av centrala begrepp som är vanligt förekommande inom utvärdering. Det andra kapitlet är praktiskt inriktat, då vi beskriver en struktur för att systematiskt planera inför en utvärdering. Vi tror att denna strukturerade arbetsprocess skapar förutsättningar för att såväl kritiskt granska som att genomföra effektiva utvärderingar. I det tredje kapitlet går vi igenom olika utvärderingsmodeller inom fyra övergripande kategorier. Utvärderingsmodeller avser här perspektiv eller ramverk som används för att strukturera och fokusera datainsamling och analys när man genomför en utvärdering. I kapitel 4 illustrerar vi utifrån fyra praktiska exempel hur olika utvärderingsmodeller kan tillämpas i utvärderingsarbete. I kapitel 5 lyfter vi fram huvudpunkterna från tidigare kapitel samt sammanfattar vår syn på utvärdering. Här betonas vikten av att arbeta medvetet och strukturerat för att sätta in en utvärdering i ett sammanhang och skapa förutsättningar för ett ändamålsenligt genomförande som främjar att utvärderingar bidrar till lärande och utveckling. I kapitel 6 presenterar vi ett ramverk för att kritiskt granska genomförda utvärderingar med fokus på reliabilitet, validitet, användbarhet, etiska hänsynstaganden samt kostnadseffektivitet. I kapitel 7 sammanfattar vi avslutningsvis vårt perspektiv på utvärdering i form av några rekommendationer för den som står inför att beställa eller själv genomföra en utvärdering. © F ö r fatta r na oc h S tudentlitte r atu r

Läsanvisning

I en bilaga har vi sammanställt ett frågeformulär som stöd för bedömning av en skriftlig utvärderingsrapport utifrån de olika aspekter som behandlats i kapitel 6.

KAPITEL 3

Utvärderingsmodeller

Utvärderingsmodeller kan användas för att strukturera och fokusera datainsamling och analys vid utvärderingsarbete, liksom för att jämföra olika typer av strategier och angreppssätt på olika utvärderingsproblem. Val av utvärderingsmodell är något som bör göras efter att utvärderingssammanhanget har kartlagts och tydliggjorts, det vill säga efter att varför-, vad- och vilka-frågorna har besvarats. Avsikten med detta kapitel är att presentera en övergripande bild av olika exempel på mer eller mindre utvecklade angreppssätt och perspektiv på utvärdering, i syfte att ge teoretisk kunskap om olika typer av utvärderingar. Vi kommer bland annat att förklara modellernas funktion och förhållningssätt till en utvärderings syfte, samt vilken nytta och vilka begränsningar modellerna har. Några av modellerna återkommer vi även till i nästa kapitel, då vi illustrerar praktisk tillämpning av olika utvärderingsperspektiv. I slutet av kapitlet kommer vi även att redovisa några särskilda och ofta förekommande tillvägagångssätt inom utvärdering för att strukturera datainsamling och analys, nämligen programutvärdering, effektanalys, självvärdering, expertpanel samt följeforskning. 3.1

Vad kännetecknar en utvärderingsmodell?

Med utvärderingsmodell avses här någonting mer innehållsrikt än vetenskapligt accepterade metoder och angreppssätt.1 Utvärderingsmodeller 1 Uttrycket evaluation approach, det vill säga tillvägagångssätt vid utvärdering, används ofta inom utvärderingslitteraturen för att beskriva vetenskapligt accepterade metoder och angreppssätt vid utvärdering.

3 Utvärderingsmodeller

avser praxis, idéer och idealbilder inom utvärdering, och de inrymmer både mindre accepterade och vetenskapligt lovprisade tillvägagångssätt (Stufflebeam, 2001a). Genom att använda begreppet utvärderingsmodeller kan vi lättare återspegla den bredd av perspektiv och erfarenheter som finns inom utvärderingsfältet i dag. Utvärderingsmodeller är förenklingar av en komplex verklighet och strävar inte efter att perfekt överensstämma med verkligheten, utan snarare efter att skapa förutsättningar för att underlätta utvärderingsarbete, både i metodologisk och i pedagogisk mening. De kan ses som modeller eller avbildningar av centrala aspekter i en utvärdering. Valet av utvärderingsmodell innebär ett val av perspektiv. Detta perspektiv skapar ett visst arbetssätt, vissa begränsningar etcetera och genererar också vissa frågeställningar för en utvärdering. Valet bör därför ske medvetet eftersom det verkar normativt på det följande utvärderingsarbetet. Många utvärderare har, som vi tidigare nämnt, sina ”favoritmetoder”, det vill säga utvärderingsmetoder som de föredrar och som de kanske är särskilt duktiga på att tillämpa. De tenderar att anpassa sina syften och frågeställningar så att just deras favoritmetoder kan tillämpas. Att utnyttja en viss utvärderingsmodell kan vara ett sätt att göra ett arbete effektivt och minimera risker, samtidigt som det kan underlätta jämförelser med andra studier. Användning av generella utvärderingsmodeller kan också leda till vissa problem, såsom att • utvärderingsproblem anpassas efter modellen, i stället för tvärtom • hänsyn till kontext inte tas • komplexiteten av utvärderingsproblemet reduceras på ett

missledande sätt

• användbarheten minskar • lärandemöjligheterna minskar.

I det följande kommer utvärderingsmodeller att delas in i fyra olika typer (se figur 3.1).2 Utvärderingsmodellerna i figuren är enligt vår erfarenhet beprövade verktyg som är effektiva för att strukturera och fokusera data2 Observera att indelningen inte är statisk, utan att det kan finnas länkar mellan de olika grupperingarna. Indelningen är vår egen, och den fyller här främst en pedagogisk funktion.

3 Utvärderingsmodeller

Typ av utvärderingsmodeller

Beskrivning

Resultatinriktade modeller

Mäter resultat och kostnadseffektivitet. ”Klassiska” utvärderingsmodeller

Komparativa modeller

Denna typ av modeller hämtar sin kraft från jämförelser som antas kunna vara vägledande i en viss situation

Teoribaserade utvärderingsmodeller

Denna typ av utvärderingsmodeller syftar till att ge svar på hur en åtgärd uppnår sina mål

Aktörsfokuserade utvärderingsmodeller

Dessa typer av utvärderingsmodeller studerar åtgärder utifrån olika aktörers perspektiv

Figur 3.1 Fyra grova typer av utvärderingsmodeller.

insamling och analys vid genomförande av utvärdering. De kan underlätta att identifiera till exempel eventuella teori- eller implementeringsfel, kritiska faktorer och möjliga förbättringar. Ibland kan det vara fördelaktigt att kombinera olika modeller och använda dem samtidigt för att angripa olika frågeställningar i ett utvärderingsuppdrag. I andra fall kan det vara fruktbart i ett mer explorativt syfte att låta utvärderingsarbetet innefatta olika modeller som används i sekvens i ett utvärderingsarbete. Det kan till exempel vara givande att föra ett måluppfyllelseperspektiv vidare till att ringa in olika faktorer som påverkar eller kan förklara måluppfyllelsen av en åtgärd (se programutvärdering, avsnitt 3.6.1). Det finns återigen anledning att här påminna om att det är själva utvärderingsproblemet och utvärderingens syfte som bör avgöra fokus och ligga till grund för valet av metod för datainsamling och analys vid utvärdering. Idealiskt sett väljs utvärderingsmetod inklusive utvärderingsmodell utifrån vad som är bäst lämpat för att motsvara utvärderingens syfte och frågeställningar. De egna teoretiska och metodologiska preferenserna blir utifrån detta idealresonemang sekundära, då det är utvärderingsproblemet som bör vara ledande i valet av utvärderingsperspektiv (Sandberg, 2006). De fyra typerna av utvärderingsmodeller beskrivs och kommenteras närmare i detta kapitel. Vi berör också ytterligare några särskilda typer av utvärdering (se vidare avsnitt 3.6). I kapitel 4 ges exempel på praktisk til�lämpning av ett urval av utvärderingsmodellerna. © F ö r fatta r na oc h S tudentlitte r atu r

3 Utvärderingsmodeller

3.2

Resultatinriktade modeller

Resultatmodeller kan beskrivas som ”klassiska utvärderingsmodeller” och är mer eller mindre grundläggande modeller för utvärdering. Resultat modeller mäter resultat, påverkan och/eller kostnadseffektivitet. Metodmässigt används ofta kvantitativa metoder i en strävan att mäta effekter och avgöra orsakssamband mellan program eller åtgärder och uppmätta effekter. Begrepp som mål- och effektutvärdering, impact och outcome evaluation används ofta för att beskriva denna typ av utvärdering. Resultatmodeller är inte sällan metodstyrande, det vill säga de ställer krav på användning av vissa metoder för korrekt datainsamling och analys av effekter. Vid denna typ av utvärdering är det ofta en central uppgift för utvärderaren att försöka kartlägga om det finns ett orsakssamband mellan en åtgärd och dess resultat (se avsnitt 1.3.3). I realiteten finns det, som tidigare berörts, nästan alltid ett komplext sammanhang kring en åtgärd som i sig påverkar utfallet, vilket gör att en resultatinriktad utvärdering också bör utforska och beskriva detta sammanhang för att man ska kunna bedöma kausalitet. Klassiska experimentella utvärderingsstudier dominerar starkt inom vissa vetenskapliga traditioner. Inom till exempel medicinsk utvärdering är målet att skapa evidensbaserad kunskap, som visar vilka åtgärder i vården som gör störst nytta för patienter och hur hälso- och sjukvården kan utnyttja sina resurser på bästa sätt. Sedan 1980-talet har offentlig förvaltning varit inriktad mot målorientering, konkurrens samt att lägga ut verksamheter på entreprenad eller att privatisera dem (Vedung, 2010). Inom den mål- och resultatstyrda ledningen av offentlig verksamhet krävs fortlöpande uppföljningar och utvärderingar för att ge svar på om politiken utförs som det är tänkt och om resurser används effektivt (Hanberger, 2003). Generellt kan man också se att mål-fokus och strävan efter att värdera resultat och att mäta effekter av offentlig politik har ökat i Sverige under de senaste 20–30 åren (Tarschys & Lemne, 2012) och att utvärdering inom många områden har fått ett ökat fokus på kontroll och granskning för att säkerställa att offentliga tjänster är effektiva (Reeder, 2010). Evidensbaserad kunskap har exempelvis blivit ett ledord inom social- och kriminalpolitik. Där står det

3 Utvärderingsmodeller

för en medveten och systematisk strävan att erhålla vetenskapliga bevis om åtgärders effektivitet.3 3.2.1 Mål- och effektutvärdering

I mål- och effektutvärdering försöker man klargöra huruvida utfallet av en åtgärd stämmer överens med dess mål eller önskade effekter samt om utfallet är orsakat av insatsen. Utvärderaren försöker klargöra om insatsen har bidragit till önskade resultat (jfr Vedung, 2009). Vi kan göra en distinktion mellan mål, som avser positiva, specificerade och eftersträvade resultat, samt effekter, som kan inkludera både positiva och negativa effekter oavsett om dessa är förutsedda eller inte. En renodlad utvärdering av måluppfyllelsen utgår således från på förhand uppsatta (till exempel politiska) mål och ställer frågan hur väl resultat och effekter svarar mot dessa mål, medan en renodlad effektutvärdering mäter effekter som inte nödvändigtvis omfattats av åtgärdens målformuleringar. Den sistnämnda typen av utvärdering är till exempel vanligt förekommande inom vetenskapliga utvärderingar, där forskaren söker efter önskvärda eller oönskade effekter (och bieffekter) som han eller hon vill studera, oavsett om de ingår i de av projektägarna formulerade målen eller inte. I kapitel 2 beskrev vi planeringsprocessen inför en mål- och effektutvärdering av en alkoholförebyggande utbildning. För att ur statistisk synvinkel göra en tillförlitlig mål- och effektutvärdering krävs idealiskt sett att vi utifrån en population (individer eller verksamheter till exempel) slumpmässigt avgör vilka individer eller verksamheter som ska få delta i en åtgärd (till exempel en alkoholförebyggande utbildning) samt vilka som ska få en annan form av åtgärd eller ingen alls. De som deltar i åtgärden utgör en experimentgrupp, och de som inte får samma åtgärd utgör kontrollgrupp. Utfallet mäts för de båda grupperna. Resultaten från en sådan randomiserad kontrollerad studie anses ur vetenskaplig/statistisk synvinkel vara de mest tillförlitliga, eftersom både experiment- och kontrollgrupp är lika lämpliga för att delta i åtgärden, och eftersom det är slumpen som avgjort vilka som fått ta del av den eller inte. 3 Vilket genomslag evidensbaserad kunskap, och utvärderingar i allmänhet, har på politikens funktion och rationalitet (jfr Hanberger, 2003) är en intressant fråga som vi återkommer till senare (avsnitt 5.2).

3 Utvärderingsmodeller

Mål- och effektutvärderingar av sociala åtgärder genomförs, som tidigare nämnts, ofta som så kallade kvasiexperiment. Detta innebär att effekten av en åtgärd för en experimentgrupp jämförs med en liknande grupp som inte utsätts för åtgärden. Kontrollgruppen kallas då ofta för jämförelsegrupp och innehåller individer som, vad gäller relevanta bakgrundsvariabler (kön, ålder, utbildningsbakgrund till exempel), är så lika dem i experimentgruppen som möjligt. Det går dock aldrig att med säkerhet veta huruvida samtliga betydelsefulla bakgrundsvariabler har kontrollerats. Icke-slumpmässiga faktorer, såsom till exempel motivation att delta i en åtgärd, kan ”störa” möjligheterna att dra statistiskt säkra slutsatser (Dahmström, 1996). I ett kvasiexperiment kan vi således inte med samma statistiska tillförlitlighet som vid ett randomiserat experiment veta huruvida effekterna beror på åtgärden eller på skillnader mellan experiment- och kontrollgrupp. Möjligheterna att generalisera resultaten från ett urval till en population begränsas därmed (a.a.; Sandberg, 2006; 2013).

Fördelar med mål- och effektutvärdering Mål- och effektutvärderingar är av central betydelse och spelar en viktig roll i dagens samhälle där många verksamheter är målstyrda. Mål- och effektutvärderingar är också viktiga ur ett utvärderingshistoriskt perspektiv, eftersom det i stor utsträckning är ur kritiken mot denna typ av utvärderingar som den flora av utvärderingsperspektiv som finns i dag har uppstått. Mål- och effektutvärderingar är i sin grundtanke enkla och tydliga, och de utgör en del av en (vetenskaplig) strävan att bevisa förhållanden och generera allmängiltig kunskap utifrån modeller och metoder som är ”säkra” och möjliga att upprepa. Utvärderaren behöver inte själv ta ställning till huruvida programmet eller den förda politiken är god eller dålig, utan försöker med hjälp av vetenskapliga metoder sakligt fastställa åtgärdens effekter. Målutvärderingar tar officiella mål på allvar, vilket gör dem till ett viktigt redskap för att kontrollera att en genomförare (till exempel offentlig förvaltning) tar huvudmannens (till exempel politikens) beslut på allvar. Evert Vedung nämner detta så kallade demokratiargument som en fördel (Vedung, 2009). Denna typ av utvärdering bejakar uppfattningen att politiskt formulerade mål i den offentliga sektorn spelar en huvudroll i ett demokratiskt statsskick (a.a., s. 95). Eftersom utvärdering ofta sker i ett politiskt samman66

3 Utvärderingsmodeller

hang är det oftast nödvändigt för utvärderingar att ta hänsyn till offentlig verksamhets grundförutsättningar i en parlamentarisk demokrati som Sverige. Medborgarna har rätt att få veta om en aktivitet baserad på ett politiskt beslut av folkets representanter uppfyller sitt mål. Vedungs resonemang är ett tungt argument för mål- och effektutvärderingar som grundas på den demokratiska styrkedjan och medborgarnas rätt till ansvarsutkrävande.

Begränsningar med mål- och effektutvärdering Sociologen och utvärderingsforskaren Michael Quinn Patton lyfter fram en central fara med mål- och effektutvärderingar, vilken kan sammanfattas med ”what gets measured gets corrupted” (Patton, 1998, s. 230). Uppföljningar och utvärderingar som fokuserar på kvalitets- och resultatmått riskerar att påverka individers och organisationers beteende på ett negativt sätt (Lindgren, 2008). Statsvetaren Lena Lindgren skriver: När människor lärt sig vilka aspekter som mäts (och vilka som inte mäts!) kan de använda denna kunskap för att manipulera den egna verksamheten genom att rikta in sig på det som betalar sig, eller som man tror betalar sig. (Lindgren, 2008, s. 104)

Farhågan är, enligt somliga, att om insatserna blir så pass höga att människors jobb och uppehälle är avhängiga av positiva resultat av mål- och effektmätningar, så kommer önskade resultat också att kunna konstateras på ett eller annat sätt. Inom de flesta verksamheter är målen för verksamheten avgörande för att kunna bedöma dess inriktning och prioriteringar samt för att kunna värdera åtgärdernas utfall i relation till målen. Trots detta är det sällan oproblematiskt att ha mål som utgångspunkt i en utvärdering. Politiska och administrativa mål är nästan alltid, som tidigare nämnts (avsnitt 2.5), vagt formulerade och inte sällan orealistiska (Patton, 1997; Vedung, 2009). Mål för offentlig verksamhet är därmed ibland direkt olämpliga att använda som värderingsgrund i en utvärdering. Som praktiskt exempel kan nämnas en studie av målformuleringar inom hälso- och sjukvård. Studien genomfördes av Prioriteringscentrum, som är ett nationellt forskningscentrum för prioritering inom vård och omsorg. De konstaterade att de studerade

3 Utvärderingsmodeller

målformuleringarna i hälso- och sjukvårdslagen, i statliga utredningar samt i studerade styrdokument på landstings- samt kommunnivå genomgående var så pass vaga att de inte fungerade som vägledning för dem som arbetar i verksamheterna. Ofta saknades också uppgift om när mål var tänkta att uppnås (Liss, 2006). En vanlig kritik mot mål- och effektutvärdering är också att en komplex verklighet överförenklas och att kontextuella faktorers inverkan beaktas i för liten utsträckning (Sanderson, 2000; Simons, 2004; Toulemonde, 1995). Även om ett statistiskt säkerställt samband kan fastställas mellan en åtgärd och en effekt, finns det alltid andra faktorer som kan tänkas förklara effekters från- eller närvaro. Mål- och effektutvärderingar är primitiva i den bemärkelsen att en komplex verklighet reduceras till ett antaget rätlinjigt samband mellan en åtgärd och en studerad effekt. Mål- och effektutvärderingar, särskilt randomiserade experiment, uppmärksammar sällan i någon större utsträckning det faktum att en åtgärd som fungerar i ett sammanhang kan vara värdelös i ett annat (Blom & Morén, 2003). I realiteten kan en rad olika yttre faktorer tänkas både främja och motverka att resultat uppstår av en åtgärd. Om vi antar att vi ska utvärdera exempelvis effekterna av en arbetsmarknadspolitisk åtgärd, kan det vara omöjligt att isolera sambandet mellan den studerade åtgärden och dess effekter på arbetslösheten från den myriad av andra omgivningsfaktorer och samhällsaktiviteter som också påverkar arbetslösheten. En önskvärd effekt av en åtgärd kan också uppnås på bekostnad av att något annat önskvärt trängs bort. En inte ovanlig kritik mot arbetsmarknadspolitiska åtgärder i Sverige är till exempel att de har minskat den öppna arbetslösheten, men att de inte skapat fler riktiga jobb (se t.ex. Calmfors, Forslund & Hemström, 2002). Vad gäller randomiserade studier, är det även viktigt att beakta de etiska och praktiska hinder som finns: 1. Valet av metod för genomförande av åtgärden och utvärderingen innebär att andra typer av åtgärder eller behandlingar kan komma att inskränkas för såväl experiment- som kontrollgrupp. 2. Designen av utvärderingen begränsar handlingsutrymmet för dem som genomför åtgärden, då utvärderaren vill ha största möjliga kontroll över insatsens genomförande.

3 Utvärderingsmodeller

3. Det kan vara både svårt och oetiskt att slumpmässigt hänföra individer, grupper eller verksamheter till experiment- respektive kontrollgrupp då det begränsar inblandade aktörers möjlighet att själva välja vad som känns relevant att delta i (Sandberg, 2006). Ta till exempel ett förebyggande alkoholprogram i en skola: För att programmet ska vara effektivt är det rimligt att anta att det bör uppfattas som meningsfullt och utvecklande av berörda utbildare, lärare och elever. Detta medför att förutsättningarna för att till exempel slumpmässigt hänföra skolor till om de ska utgöra experiment- eller kontrollgrupp kan vara begränsade (Lilja, Giota & Larsson, 2004). 4. Det kan vara oetiskt att, om man på goda grunder anser att en viss typ av åtgärd är till fördel jämfört med ingen åtgärd alls, inte erbjuda en åtgärd till samtliga individer (Dahmström, 1996). Sambandet mellan tillgången på experimentbaserad utvärdering och hur beslutsfattande och tillämpning sker ”i verkligheten” har diskuterats inom utvärderingsforskningen. Kritikerna menar att mål- och effektutvärdering historiskt sett har haft ett begränsat inflytande på det som studerats (Patton, 1997). Trots stor tillgång till mål- och effektutvärderingar av till exempel socialpolitiska åtgärder, har den praktiskt förda politiken ofta tagit större hänsyn till andra faktorer. Detta innebär att det som är mest effektivt i vetenskaplig bemärkelse, inte nödvändigtvis är det som styr vad som är mest genomförbart i praktiken (se t.ex. Lilja, Giota & Larsson, 2004; Simons, 2004; Weiss, 1999). En anledning till detta kan vara att mål- och effektutvärderingar sällan tar hänsyn till kostnaderna för en åtgärd. En åtgärd kan ge positiva effekter, men till en mycket hög (och politiskt oförsvarbar) kostnad. Demokratiargumentet, som nämnts ovan som en fördel med denna typ av utvärdering, bör även diskuteras utifrån en annan synvinkel. Det finns forskare som ser utvärdering och demokrati snarare som en fråga om att skapa dialog mellan makthavare och medborgare (se t.ex. Greene, 1997). Utifrån deras perspektiv består värdet av att ha fokus på medborgarnas intressen och erfarenheter, liksom att göra utvärdering tillgängligt för ickespecialister (se t.ex. Patton, 2000). Det är uppenbart att demokratiargumentet kan ses från två olika perspektiv: dels utifrån utvärdering som ett sätt att övervaka att den representativa demokratins teori följs och dels utifrån © F ö r fatta r na oc h S tudentlitte r atu r

3 Utvärderingsmodeller

utvärdering som ett sätt att främja medborgarnas roll i ett demokratiskt samhälle. Mål- och effektutvärderingar svarar i hög grad mot perspektivet att övervaka, men i begränsad utsträckning mot att skapa dialog (Sandberg, 2006). Detta talar, enligt vår mening, för att mål- och effektutvärderingar, om de används som verktyg i demokratins tjänst, kan behöva kompletteras med andra typer av utvärderingsperspektiv.

När kan och bör mål- och effektutvärdering användas? Kritiken till trots, fyller mål- och effektutvärderingar en viktig funktion.4 En mål- och effektutvärdering bör användas när syftet med utvärderingen är att ta reda på effekter och resultat av den verksamhet eller åtgärd som studeras. Mål eller effekter för en åtgärd bör då helst vara väl definierade och realistiska. Man bör också ha tillgång till tillförlitliga data som kan möjliggöra en trovärdig analys av åtgärdens effekter samt förhållandet mellan åtgärden och dess effekter. I kapitel 4 illustreras praktiskt hur man genomför en mål- och effekt utvärdering av ett lokalt brottsförebyggande projekt. 3.2.2 Metaanalys

I dagens samhälle finns en politisk strävan efter att tillämpa ”evidensbaserade åtgärder” inom sociala insatser (se t.ex. Anderberg & Dahlberg, 2005; FHI, 2008; 2009; Kriminalvården, 2007; Sandberg, 2011; Sandberg, 2013; Sundell, Soydan, Tengvald & Anttila, 2010). Bästa tillgängliga vetenskapliga underlag ska användas för beslut om åtgärder. Inom till exempel socialt arbete har arbetet med att ta fram underlag som kan leda till evidens baserade insatser beskrivits som en strävan ”to pull social work out of the 4 De begränsningar som vi berört kan framstå som överväldigande och möjligen orsaka viss tveksamhet kring det förnuftiga med att genomföra denna typ av utvärdering. Det är emellertid viktigt att ha i åtanke att det är en ”klassisk utvärdering” som länge har fungerat som en norm för vad utvärdering är och hur utvärdering bör genomföras. Den dominans som denna typ av utvärdering haft inom utvärderingsfältet har också gjort att kritiken mot den är väl utvecklad. Kritiken bör tolkas som en anledning att beakta och vara ödmjuk inför kända problem och begränsningar snarare än som ett argument mot att det inom många samhällsområden är av yttersta vikt att försöka klargöra huruvida insatser leder till de resultat som eftersträvas.

3 Utvärderingsmodeller

world of opinions and untested knowledge and introduce it into the world of evidence and awareness of what works” (Sundell et al., 2010, s. 714). Inom evidensbaserad praktik används bästa tillgängliga ”bevis” i beslutsfattande och i verksamheter (jfr Gibbs & Gambrill, 2002).5 Metaanalys är ett viktigt verktyg för att möjliggöra detta: Metaanalys är en metod för att sammanställa och granska resultat från flera utvärderingar. I de flesta sammanhang avses med metaanalys att samla och analysera resultat av ett flertal experimentella eller kvasiexperimentella studier (Lipsey, 2000; Lipsey & Wilson, 2000).6 En metaanalys inleds vanligen med att man söker efter publicerade vetenskapliga artiklar, avhandlingar eller dylikt inom det specifika område som ska studeras. Utifrån specificerade kvalitetskriterier, som vanligen ger randomiserade kontrollerade studier högst värde (se t.ex. Pawson, 2002; Socialstyrelsen, 2009; 2010), väljs relevanta studier ut. Studierna som ingår i analysen måste ha ett effektmått. Det statistiska mått som vanligen används i metaanalys kallas för effektstorlek (ES). Det finns olika sätt att beräkna effektstorlek på, beroende på hur en studie är upplagd och vilka data som finns tillgängliga. Effektmått är ett sätt att kvantifiera storleksskillnaden mellan två grupper oberoende av gruppernas storlek. Det traditionella måttet för skillnad mellan grupper med statistisk signifikans (p) rör sannolikheten att en lika stor skillnad skulle ha uppkommit på grund av slumpen, även om det verkligen inte fanns någon skillnad mellan grupperna. Den statistiska signifikansen är beroende av effektstorleken och urvalets storlek. Det innebär att med stora urval kan även små skillnader (effekter) bli statistiskt signifikanta (Coe, 2000). Effektstorlek kan beskrivas som ett index, som kvantifierar i vilken grad resultatet av en studie kan betraktas som försumbart eller relevant, oavsett dess storlek. Följande exempel är hämtat från Hojat och Xu (2004) och handlar om effektstorleken för matchade data eller data hämtade från samma grupp vid olika mättillfällen: En grupp läkarstudenter har fått se en kort video om hur en patient och dennes familj reagerar på ett besked om en dödlig sjukdom. Studenterna fick genomföra ett empatitest före och efter att de 5 För enkelhetens skull används här och på andra ställen i boken begreppet evidensbaserad praktik som ett begrepp som innefattar både beslutsfattande och tillämpning i verksamheter (jfr Mullen & Streiner, 2004). 6 Metaanalys bör inte förväxlas med metautvärdering (utvärdering av utvärderingar). Metautvärdering berörs vidare i kapitel 6.

3 Utvärderingsmodeller

tittat på videon. Innan de tittade på videon var studenternas genomsnittliga poäng på testet 19,8. Efter att de sett videon var testresultatet i genomsnitt 20,9 poäng. Effektstorleken beräknar man genom att subtrahera testresultat två från det första testresultatet. Summan delas med standardavvikelsen för det genomsnittliga testvärdet vid det första mättillfället. I vårt exempel säger vi att standardavvikelsen var 1,9. Effektstorleken blir således 19,8 – 20,9 dividerat med 1,9, det vill säga (–)0,58. En effektstorlek värderas ofta utifrån följande skala (se t.ex. SBU, 2001): • • • •

mindre än 0,20: trivial effekt 0,20–0,50: liten effekt 0,50–0,80: moderat effekt 0,80 eller större: stor effekt.

Även små effektstorlekar kan naturligtvis vara av vikt inom ett specifikt område (Schuele & Justice, 2006). Effekten (0,58) av videon som visades läkarstudenterna i vårt exempel skulle enligt ovanstående skala kunna beskrivas som moderat. Än mer intressant vore resultatet om vi kunde jämföra det med en kontrollgrupp som inte fått se videofilmen. Genom att subtrahera kontrollgruppens effektstorlek från experimentgruppens skulle vi få fram nettoeffekten av experimentet, det vill säga dess additionalitet (se avsnitt 1.3.4). Om vi har flera liknande utvärderingar, kan vi räkna fram effektstorlek för studierna och bygga upp en databas, där vi har tillgång till fördelningen av utfall hos olika studier, deras medelvärde och vilka typer av interventioner som ger de största effekterna. Som exempel på en metaanalys kan nämnas rapporten Behandling av alkohol- och narkotikaproblem som gjordes av Statens beredning för medicinsk utvärdering (SBU, 2001). Rapporten handlade om ”effekterna av olika behandlingsmetoder enligt de resultat som redovisats i väl genomförda vetenskapliga studier” (a.a., s. 12, författarnas kursivering). En arbetsgrupp identifierade relevanta vetenskapliga studier genom att söka i databaser efter internationell vetenskaplig litteratur om intervention mot riskfylld alkoholkonsumtion och metoder för behandling av etablerat missbruk och beroende av alkohol och narkotika. Utifrån ett urval av randomiserade kontrollerade studier (det vill säga studier där man slumpmässigt fördelat patienter till 72

3 Utvärderingsmodeller

olika typer av behandling för att analysera vilken behandling som ger bäst resultat) utvärderades ett stort antal metoder och kombinationer av metoder. Vad gällde till exempel intervention mot riskfylld alkoholkonsumtion identifierades 478 artiklar, varav 27 studier uppfyllde de inklusionskriterier som arbetsgruppen formulerat. Med hjälp av effektstorlekar skapades jämförbarhet mellan studiernas mått, och resultaten från flera studier räknades samman och slutsatser drogs.

Fördelar med metaanalys Metaanalyser, i den bemärkelsen som beskrivits ovan, har ett stort värde som kunskapssammanställningar och vägledning för fortsatt handlande. En metaanalys kan summera effekterna av hundratals utvärderingar och identifiera egenskaper som är centrala för hur en åtgärd fungerar (Lipsey, 2000). Förutom fördelen att en stor mängd utvärderingsdata finns samlade i en metaanalys, innebär metoden därmed att det material som presenteras ger, utifrån statistisk synvinkel, tillförlitliga svar om åtgärders effektivitet (Sandberg, 2006). Det är nämligen relativt vanligt att enskilda mål- och effektutvärderingar inte kan visa på statistiskt signifikanta effekter på grund av att urvalen är för små för att ge tillräcklig statistisk styrka (Lipsey, 2002). Ett annat värde av metaanalyser är att de kan ”återupptäcka” utvärderingar som genomförts, men som inte fått någon större politisk uppmärksamhet eller praktisk funktion vid deras tillkomst.

Begränsningar med metaanalys När det gäller samhällsåtgärder innebär de krav som ställs på vilka studier som ska ingå i analysen att många studier faller bort i urvalsprocessen. Åtgärder måste, för att vara effektiva, ofta anpassas till det sammanhang som de genomförs i. I en metaanalys är det därför vanligt att bruttourvalet av relevanta studier är många gånger större än det faktiska urval av kvalificerade studier som ingår i analysen. I det nämnda exemplet med metaanalys av behandling av alkohol- och narkotikaproblem (SBU, 2001), var brutto urvalet av utvärderingar nästan 18 gånger större än det slutgiltiga antalet utvärderingar som bedömdes kvalificerade att ingå i studien. Ett specifikt problem för svenska förhållanden vad gäller praktisk © F ö r fatta r na oc h S tudentlitte r atu r

3 Utvärderingsmodeller

användning av resultat från metaanalyser är att dessa ofta baseras på ett urval av i huvudsak utländska studier. Detta beror helt enkelt på att det sällan finns tillräckligt många kvalificerade studier tillgängliga på nationell nivå. De generaliseringar som kan göras från ett urval till en population i en klassisk experimentell studie kan emellertid inte utan vidare överföras från en population till en annan. Detta innebär att resultat från metaanalyser baserade på till exempel amerikanska utvärderingar kan ha begränsat vetenskapligt värde som vägledning för åtgärder i Sverige (Lilja, Giota & Larsson, 2004). Vad forskare brukar kalla för ”publikationsbias” kan kraftigt påverka resultat av metaanalyser. Med publikationsbias menas att det sker en selektion av vilken typ av forskningsresultat som leder till publikationer i vetenskapliga tidskrifter. Detta påverkar vilka typer av studier som utvärderarna återfinner då de söker efter studier som ska inkluderas i metaanalysen. I en kritisk artikel angående en metaanalys av immunglobulinbehandling vid svår sepsis (blodförgiftning) och septisk chock skriver Gårdlund och Sjölin (2001) om publikationsbias inom medicinsk forskning: Små studier med garanterat dålig styrka och med hög känslighet för obalans i prognostiska faktorer men en tendens till positiva effekter blir publicerade, medan publiceringen av studier – även stora sådana – med negativt utfall dröjer eller kanske till och med inte alls blir av. (Gårdlund & Sjölin, 2001, s. 5624)

De flesta metaanalyser anger genomsnittet av alla effektstorlekar för alla inkluderade studier (Petrosino, 2002). Det är sannolikt att studier med olika grad av kvalitet i genomförandet kommer att ingå i en metaanalys. Metaanalys begränsas ofta till att omfatta randomiserade (kontrollerade) experiment, men detta är dock ingen garanti för att inte missvisande resultat uppstår. Studier som förvisso är randomiserade experiment, men av bristande kvalitet, kan snedvrida resultaten med avseende på den genomsnittliga effektstorleken (Sutton, Abrams & Jones, 2001). Den politiska strävan att få svar på frågan om ”vad som fungerar” har med största sannolikhet en normativ effekt på den kunskapsproduktion som sker inom forskarvärlden. Om vi utgår från att åtgärder för att vara effektiva måste ses i sin kontext och anpassas till de förutsättningar som råder i en 74

3 Utvärderingsmodeller

given situation, kan detta vara ett potentiellt problem: om vetenskapligt och politiskt inflytelserika kunskapssammanställningar systematiskt bortser från åtgärder och utvärderingar som är anpassade till ett sammanhang, och i stället utgår från en på förhand definierad vetenskaplig metod för utvärdering, finns risk att viktig kunskap förbises. Metaanalys, i bemärkelsen sammanställningar av vetenskapligt experimentella studier, är ett ställningstagande för metodorienterad kvantitativ utvärdering där utvärderarens fokus blir att finna och sammanställa studier som är metodologiskt likvärdiga och utifrån detta dra slutsatser om sociala insatsers funktion.

När kan och bör metaanalys användas? Metaanalys kan vara ett bra sätt att orientera sig inom ett område, där väl beprövade och ”fungerande” åtgärder söks. Utvärderingen kan sägas svara mot syftet att ge underlag för att prioritera samt att bedöma och värdera olika alternativ. Metoden är så att säga ett sätt att granska vad som har gjorts av andra i syfte att vägleda för framtida åtgärder. Metoden förutsätter att tillgång på utvärderingar finns, att de utvärderingar som studeras är representativa för dem som gjorts av åtgärden och att åtgärderna som utvärderats har genomförts under liknande förhållanden (tid, plats, målgrupp och så vidare). Det finns dock ingen garanti för att åtgärder som av metaanalysen framstår som effektiva (eller för den delen ineffektiva) också kommer att vara det när de väl genomförs i en ny kontext. Kunskap om hur ”effektiva” åtgärder kan implementeras i nya sammanhang är därför av stor vikt, vilket pekar mot att vi behöver stöd av utvärderingsperspektiv (t.ex. programteori, se avsnitt 3.4.1) som bidrar med en ökad kunskap om till exempel kvalitet i genomförande av åtgärder (Sandberg, 2011; 2013). 3.2.3 Ekonomisk utvärdering

Ekonomiska utvärderingar jämför en kostnad för en insats med dess effekter och görs för att ge underlag till beslut om vilka insatser som bör genomföras. Intresset för olika typer av ekonomiska utvärderingar har ökat inom samhällsområden där kostnader ökar, som till exempel hälso- och sjuk© F ö r fatta r na oc h S tudentlitte r atu r

3 Utvärderingsmodeller

vårdsarbete (Jönsson & Lundkvist, 2002). Över tid har denna typ av utvärderingsmetoder ökat i volym och bredd vid svenska myndigheter (Svensson & Hultkrantz, 2015). Det finns olika ekonomiska utvärderingsmetoder. Vi avgränsar oss till kostnadsnyttoanalys (cost-benefit analysis eller CBA), som är den modell som ofta använts för prioriteringsarbete i offentlig sektor på nationell nivå, till exempel inom transportsektorn. Kostnadsnyttoanalys innebär att uppskatta och summera värdet av nyttan och kostnaderna i pengar för en åtgärd för att klargöra om den är värd att genomföra. Nyttan av en åtgärd värderas således i enheten ”pengar”, och en central aktivitet i ekonomiska utvärderingar är att ”översätta” kostnader och nyttor till monetära termer. Alla resurser som används ges ett värde, även om man inte betalat pengar för dem. Om nyttan överstiger kostnaderna anses en åtgärd öka samhällets välfärd (Svensson & Hultkrantz, 2015). Som illustration till hur processen kan se ut vid en ekonomisk utvärdering kommer vi att utgå från Världshälsoorganisationens (WHO) rekommendationer för utvärdering av behandling för narkotikamissbruk. WHO rekommenderar följande kostnadsposter för att beräkna interventionskostnaden vid behandling (WHO, 2000): 1. Kostnader för vårdgivare: tomt- samt lokalkostnader, utrustning. 2. Löpande kostnader: personalkostnader, administrativa kostnader, kostnader för läkemedel med mera. 3. Kostnader för individen i vård (och dess familj): resekostnader och andra direkta utgifter. 4. Användning av fritid och andra kostnader som kan associeras med behandlingen, till exempel smärta, vanmakt med mera som kan kopplas samman med behandlingsprocessen. 5. Kostnader för andra institutioner eller individer: remisser till andra instanser. 6. Ökning av potentiella problem som kan kopplas samman med behandlingen (till exempel utsmuggling av droger). 7. Produktionskostnader. För att identifiera och mäta nyttan av behandling använder WHO (a.a.):

3 Utvärderingsmodeller

1. Direkta positiva hälsoeffekter för individer. 2. Icke-hälsorelaterade förbättringar i livskvalitet för individen och dennes familj (till exempel minskat våld, förbättringar i social förmåga). 3. Reducerad användning av andra hälsofrämjande insatser. 4. Vinster för andra institutioner (till exempel reducerad resurs användning för socialtjänster, minskade kostnader för rättsväsendet). 5. Ökad produktivitet för individen som genomgått behandling. Eftersom kostnader och effekter sällan uppstår vid samma tidpunkt, översätts alla kostnader och nyttor till ett värde vid en bestämd tidpunkt genom så kallad diskontering. Efter att kostnader och nytta har värderats och diskontering gjorts, genomförs en analys. I en CBA-analys kan ”nettonyttan” beräknas (nyttan minus kostnaden) eller kostnadsnyttokvoten (kostnaden delat med nyttan). Den avslutande fasen i utvärderingen består av att göra så kallade känslighetsanalyser. Eftersom ekonomiska utvärderingar innehåller en mängd kostnadsuppgifter och antaganden, är det ofta nödvändigt att undersöka hur olika uppgifter och antaganden påverkar analysens resultat. I en känslighetsanalys ändras de olika kostnadsuppgifterna och antagandena för att se hur resultatet ändras (a.a.). Om ändrade värden ändå ger liknande resultat, görs bedömningen att analysen är rättvisande. Det finns datorprogram som kan göra olika simuleringar och beräkna konfidensintervall med mera.

Fördelar med ekonomisk utvärdering Principen för ekonomisk utvärdering är att söka lägsta kostnad per producerad nytta, och den bakomliggande tanken är att om ett projekt förbrukar minsta möjliga resurser för en given nytta, så kan de resurser som återstår användas till annat (Jess, 2005). Detta innebär att ekonomisk utvärdering är ett viktigt verktyg för att göra prioriteringar i verksamheter med begränsade resurser. Ekonomiska perspektiv har därmed fått en ökad popularitet runt om i världen när regeringar försöker reducera kostnader och banta åtgärder (House, 2000). De flesta utvärderare instämmer nog i att hur mycket pengar som spen© F ö r fatta r na oc h S tudentlitte r atu r

3 Utvärderingsmodeller

deras utgör en betydelsefull faktor för vilka förutsättningar åtgärder har att åstadkomma förändring. Däremot är det få utvärderare som använder ekonomiska beräkningar som ett mått på i vilken utsträckning önskade effekter har nåtts (jfr Brecher, Silver, Searcy & Weitzman, 2005; se även avsnitt 3.2.1, Begränsningar med mål- och effektutvärdering).7 Ekonomisk utvärdering är ett sätt att närma sig den viktiga frågan huruvida en insats ger tillräckligt mycket nytta för att vara värd de kostnader den innebär att genomföra.

Begränsningar med ekonomisk utvärdering Som kan anas av ovanstående korta beskrivning av ekonomisk utvärdering, innebär denna typ av utvärdering en mängd kostnadsuppskattningar som ofta bygger på antaganden. Att samla in uppgifter om interventionskostnader är svårt, då insatser ofta pågår under en längre tid och ofta innebär ett samarbete mellan många olika organisationer. Den största svårigheten för utvärderaren vid ekonomisk utvärdering är främst att spåra upp de förändringar (effekter) som sker som en följd av en åtgärd och att sätta ett monetärt värde på denna förändring. Effekter kan även uppstå först på mycket lång sikt. År kan gå innan positiva effekter av folkhälsoarbete uppstår, innan statligt stöd till forskning och utvecklings arbete inom industrin leder till att nya produkter når marknaden eller innan lagändringar leder till förändringar av de beteenden som lagstiftningen eftersträvar att kontrollera, för att nämna några exempel. En vanlig kritik är att ekonomiska utvärderingar bortser från bieffekter av en åtgärd, även om dessa kan vara viktigare än de direkta effekterna (Pennisi & Scandizzo, 2006). Ekonomiska utvärderingar används onekligen i ökande utsträckning som underlag för beslut inom vissa samhällsområden, men det är svårt att se vilken roll de har i förhållande till andra faktorer som påverkar besluten (Jönsson & Lundkvist, 2002). Detta gäller inte minst faktorer som är svåra att mäta kvantitativt. De rigorösa ekonomiska modeller som används för ekonomisk utvärdering skapar sällan utrymme för att 7 Statskontoret (2002b) konstaterade att ca 40 procent av utvärderingarna som nämndes i budgetpropositionerna 2000 och 2002 angav information om vad den utvärderade verksamheten kostade. Enbart omkring 10 procent av utvärderingarna resonerade i banor om verksamheten var kostnadseffektiv. Än mer sällsynt var det emellertid med utvärderingar som gjorde faktiska försök att mäta verksamhetens kostnadseffektivitet.

3 Utvärderingsmodeller

beräkna värdet på fenomen som rättvisa, delaktighet, jämlikhet (a.a., se även Jess, 2005). Att använda ett samhällsekonomiskt perspektiv är svårt, då alla kostnader och nyttor strängt taget bör inkluderas i beräkningarna – oavsett vem som betalar eller vem som tar emot nyttan. Av naturliga skäl är det ovanligt att ekonomiska utvärderingar lyckas att inkludera alla kostnader och nyttor. Än mer ovanligt är troligen att samtliga berörda är överens om hur dessa kostnader och nyttor har beräknats.

När kan och bör ekonomisk utvärdering användas? Ekonomisk utvärdering svarar mot syftena att ta fram underlag för att göra prioriteringar eller för att följa upp och styra en verksamhet. För att kunna göra en ekonomisk utvärdering måste tydliga och välmotiverade val av kostnader och nyttor göras. I den mån det inte går att konvertera kostnad och nyttor till kronor och ören är det lämpligast att göra en annan form av analys. Ekonomiska utvärderingar utgör ett välbehövligt underlag för att belysa det samhällsekonomiska värdet av åtgärder, men de riskerar i ett alltför snävt perspektiv att bortse från viktiga principer och värden som inte kan översättas till monetära termer. Ekonomisk utvärdering bör därför ses som ett underlag bland flera, inför beslut om prioriteringar i verksamheter. 3.3

Komparativa utvärderingsmodeller

Komparativa utvärderingsmodeller hämtar sin kraft från jämförelser som antas vara vägledande i en viss situation. En åtgärd eller verksamhet jämförs helt enkelt med en annan. Vanligen väljs ett positivt jämförelseobjekt, det vill säga en verksamhet som anses vara en förebild. 3.3.1 Benchmarking

Det engelska ordet benchmarking avser vanligen insamling av komparativa externa (ofta kvantitativa) data i syfte att värdera en produkt, organisation eller verksamhet (se t.ex. Keen & Knapp, 1995). Fokus är ofta på så kallad best practice: en verksamhet jämförs med en annan som representerar det ”bästa” © F ö r fatta r na oc h S tudentlitte r atu r