9789144117140 by Smakprov Media AB

UTVÃ&#x201E;RDERINGSMODELLER

HANNE KATHRINE KROGSTRUP

Originalets titel: Evalueringsmodeller (tredje upplagan) © Författaren och Hans Reitzels Forlag, Köpenhamn 2016

Kopieringsförbud Detta verk är skyddat av upphovsrättslagen. Kopiering, utöver lärares och studenters begränsade rätt att kopiera för undervisningsändamål enligt Bonus Copyright Access kopieringsavtal, är förbjuden. För information om avtalet hänvisas till utbildningsanordnarens huvudman eller Bonus Copyright Access. Vid utgivning av detta verk som e-bok, är e-boken kopieringsskyddad. Den som bryter mot lagen om upphovsrätt kan åtalas av allmän åklagare och dömas till böter eller fängelse i upp till två år samt bli skyldig att erlägga ersättning till upphovsman eller rättsinnehavare. Studentlitteratur har både digital och traditionell bokutgivning. Studentlitteraturs trycksaker är miljöanpassade, både när det gäller papper och tryckprocess.

Art.nr 39481 ISBN 978-91-44-11714-0 Upplaga 1:1 © För den svenska utgåvan Studentlitteratur 2017 studentlitteratur.se Studentlitteratur AB, Lund Översättning: Staffan Johansson Sakgranskning: Verner Denvall och Stig Linde Omslagslayout: Jens Martin/Signalera Omslagsbild: ircy/Shutterstock Printed by Interak, Poland 2017

INNEHÅLL

Förord 7 Introduktion till den svenska utgåvan 9

V e r n e r De n va l l & St ig L i n de

Mål, intressent och kontroll 12 Utvärdering – en global företeelse 14 Det nutida svenska utvärderingslandskapet 16 Utvärdering som nutida styrmedel 25 Forskning om utvärdering i Sverige 28 Inledning – Problemformulering, syfte och innehåll 35

Målgrupp 36 Tredje utgåvan av Utvärderingsmodeller 36 Urval av beskrivna utvärderingsmodeller 37 Teoretisk analys 37 Innehållet i stora drag 38 Del II: Utvärderingsmodeller 38

Del I Centrala begrepp

1 Människobehandlande lösningar och utvärdering 43 1.1 1.2 1.3 1.4

Sociala problem – utvärdering och social ingenjörskonst 43 Enkla, komplicerade och komplexa interventioner 45 Reglerade och interventionistiska lösningar 49 Människobehandlande lösningar används i organisationer och i ett politiskt sammanhang 52 1.5 Perspektiv 56 © S tudentlitteratur

Innehåll

2 Introduktion till utvärdering som begrepp och fenomen 57 2.1 Den logiska modellen och utvärderingsbegreppet 57 2.2 Definition av utvärdering 60 2.3 Utvärderingsperspektiv, utvärderingsmodeller och utvärderingsupplägg 61 2.4 Om att utforma och välja en utvärderingsmodell 63 2.5 Utvärderingen är inte skild från verkligheten 67 2.6 Amerikansk, europeisk och nordisk utvärdering 68 3 Informerad utvärdering – utvärderingsobjekt, kunskap, värderingar och användning 71 3.1 3.2 3.3 3.4 3.5 3.6 3.7

Informerad utvärdering 71 Utvärderingsobjektet 73 Kunskapskomponenten 74 Värderingskomponenten 78 Användningskomponenten 79 Sammanfattning 83 Inledning till del II: Utvärderingsmodeller 84

Del II Utvärderingsmodeller

4 Klassisk effektutvärdering – experimentella utvärderingsupplägg 91 4.1 The great society – social ingenjörskonst och klassisk effektutvärdering 91 4.2 Utvärdering av måluppfyllelse 92 4.3 Att mäta effekter 96 4.4 Analys – utvärderingsobjekt, kunskap, värderingar och användning 106 5 Evidenstrenden 107 5.1 Evidenstrendens drivkrafter och framgångar 107 5.2 Global användning av evidensbaserad forskning 113 5.3 Lokal användning – evidensbaserad praktik och datainformerad praktik 115 4

Innehåll

5.4 Evidens och prestationsmätningar 118 5.5 Perspektiv 118 5.6 Analys – utvärderingsobjekt, kunskap, värderingar och användning 120 6 Teoribaserad utvärdering 123 6.1 6.2 6.3 6.4 6.5 6.6

Teoribaserad utvärdering 123 Programteori 124 Etablering av programteorin 128 Utvärderingens genomförande 131 Utvärderingens utfall 132 Teoribaserad utvärdering kontra experimentella utvärderingsupplägg 133 6.7 Historiskt perspektiv 135 6.8 Analys – utvärderingsobjekt, kunskap, värderingar och användning 136 7 Bidragsanalys 139 7.1 7.2 7.3 7.4 7.5

Utvärdering av superkomplexa interventionsförutsättningar 139 Bidragsanalys och attribueringsanalys 141 Metoden vid bidragsanalys 143 Sambandet mellan effekt och intervention 148 Analys – utvärderingsobjekt, kunskap, värderingar och användning 151

8 Prestationsmätning och resultatstyrning 153 8.1 8.2 8.3 8.4 8.5 8.6

Definition och styrmedel 153 Syftet med prestationsmätningar 155 Metod för etablering av prestationsmätningar 159 Användning av prestationsmätningar 161 Prestationsmätningar och utvärdering 165 Analys – utvärderingsobjekt, kunskap, värderingar och användning 169

Innehåll

9 Interaktiv utvärdering 171 9.1 9.2 9.3 9.4 9.5 9.6

Interaktiv utvärderingspraktik 171 Interaktiva utvärderingsmetoder och former 173 Kritik av den etablerade utvärderingstraditionen 175 Responsiv utvärdering 176 Användningsfokuserad utvärdering 179 Analys – utvärderingsobjekt, kunskap, värderingar och användning 181

10 Samarbetsutvärdering och deltagande utvärdering 183 10.1 Syfte och krav på utvärderaren 184 10.2 Metoder och modeller med interaktiv utvärderingspraktik 185 11 Uppbyggnad av organisatorisk utvärderingskapacitet 201 11.1 11.2 11.3 11.4 11.5 11.6 11.7

En ny utveckling? 201 Begreppet utvärderingskapacitet 204 Direkt och indirekt kapacitetsuppbyggnad 206 Planering, utförande och användning 206 Kontextuella och medierande förutsättningar 212 Organisatoriskt lärande 213 Sammanfattning 214

12 Utvärderingsmodeller – en sammanfattning 217 12.1 Centrala begrepp 217 12.2 Utvärderingsmodeller 220 12.3 Val av utvärderingsmodell 229 Litteratur 231 Ordlista svensk-engelsk 243 Register 245

FÖRORD

Detta är den tredje utgåvan av Utvärderingsmodeller. Efter nästan 10 år i ledningen för Ålborgs universitet som prorektor respektive dekan har jag valt att återvända till forskningen och undervisningen, med fokus på utvärdering och uppbyggnad av utvärderingskapacitet i organisationer. Jag är anställd som professor med särskilda uppgifter vid Institutionen för lärande och filosofi vid Ålborgs universitet. På inbjudan av Hans Reitzels Forlag och mot bakgrund av extern granskning har jag valt att redigera den andra utgåvan av Utvärderingsmodeller, som utkom 2006. Det är min förhoppning att denna bok kommer att bli lika väl mottagen som tidigare upplagor. De viktigaste ändringarna jämfört med andra utgåvan beskrivs i bokens inledning. En rad nya och tidigare kolleger har varit vänliga nog att läsa och kommentera ett eller flera kapitel. Jag tackar för bra, konstruktiva och intelligenta kommentarer. Tack till Lise Degn, Sarah Grams, Julie Borup Jensen och Janne Seemann. Ett särskilt tack till Louise Pedersen, som har använt bokens andra utgåva i undervisningen och ur detta perspektiv har läst och gett sin respons på större delen av den tredje utgåvan. Tack till Ulla Burskov, som med den kritiska retorikerns ögon har detaljläst manuskriptet. Ålborg, januari 2016 Hanne Kathrine Krogstrup

KAPITEL 3

Informerad utvärdering – utvärderingsobjekt, kunskap, värderingar och användning

Kapitel 3 handlar om informerad utvärdering. En kvalificerad utvärdering är en informerad utvärdering. Syftet är att upprätta en begreppsapparat som kan användas som analytisk ram för bedömning av utvärderingsmodeller. Komponenterna i informerad utvärdering bidrar dessutom med överväganden som lämpligen görs innan man väljer utvärderingsmodell eller utvärderingsupplägg och som utvecklar de anvisningar som gavs i föregående kapitel. När komponenterna i en utvärdering har definierats, går det att ”öppna det stora skåpet med utvärderingsmodeller och dra ut just den låda” som bäst matchar den förestående utvärderingsuppgiften. En informerad utvärdering kräver att man överväger vad som ska vara föremål för utvärdering (utvärderingsobjektet) och vilken kunskap som eftersträvas, bestämmer vilka kriterier som ska ligga till grund för utvärderingen och hur dessa ska definieras samt reflekterar över hur utvärderingen ska användas. I slutet av kapitlet finns en schematisk överblick över de utvärderingsmodeller som behandlas i resten av boken. Modellerna kännetecknas av komponenterna i en informerad utvärdering och den logiska modellen. Dessutom motiveras valet av behandlade modeller.

3.1

Informerad utvärdering

En kvalificerad utvärdering är informerad. Informerad utvärdering syftar på de överväganden som, ur utvärderingsteknisk synvinkel, lämpligen kan göras före val av utvärderingsmodell eller utvärderingsupplägg, i samband med bedömningen av en redan genomförd utvärdering eller vid bedömningen av befintliga utvärderingsmodellers begränsningar och möjligheter. Komponenterna som ingår i informerad utvärdering erbjuder en teoretisk

Del I Centrala begrepp

grund för genomförande av rigorösa utvärderingar och för motivering av tillval och bortval vid val av utvärderingsmodell. Informerad utvärdering måste enligt Shadish med flera (1991) grundas på överväganden av utvärderingsobjektet, kunskap, värderingar och implementering. Utvärderingsobjektet omfattar teorier om det sociala problemet och interventionens karaktär (jfr distinktionen mellan enkla, komplicerade och komplexa interventionsförutsättningar), bland annat hur det fungerar praktiskt vad gäller kunskapsbas, interventionstyper, genomförandestruktur och så vidare. Kunskap handlar om vetenskapsteoretisk ansats, metodik och vilken typ av kunskap som eftersträvas. Värderingar handlar om kriterierna som ligger till grund för utvärderingen. Just kriterier är ett centralt begrepp – kanske ett av de viktigaste vid utvärdering, eftersom kriterierna är avgörande för bedömningen och därmed för det värderande utlåtande som avges i samband med utvärderingen. Och slutligen måste man vid informerad utvärdering överväga hur utvärderingen ska användas. Dessa komponenter i informerad utvärderingspraktik kan återges schematiskt (figur 3.1). Utvärderingsmodeller bygger på föreställningar om dessa komponenters beskaffenhet och innebär därmed en avgränsning och definition av vad som är föremål för utvärdering. Modellerna uttrycker idéer om hur föremålet för utvärdering (utvärderingsobjektet) är beskaffat, om val och bortval av metoder, vissa värderingar och tillämpningar. Alla tillval i samband med

Kunskap

Värderingar

Utvärderingspraktik

Värderingar

Användning

Figur 3.1 Informerad utvärderingspraktik.

3 Informerad utvärdering – utvärderingsobjekt, kunskap, …

dessa komponenter ställer andra aspekter i skuggan, eftersom inga modeller kan fånga verkligheten i dess fulla komplexitet. I det följande fördjupas beskrivningarna av komponenterna i en informerad utvärdering. 3.2

Utvärderingsobjektet

Olika typer av utvärderingar ställer olika frågor och har olika syften (Patton 2012a:182). Valet av utvärderingsmodell måste åtminstone i viss utsträckning ha samband med föremålet för utvärderingen och det problem som utvärderingen aktualiserar. Det som utvärderas kan kallas utvärderingsobjektet. Ett utvärderingsobjekt definieras som ett program, en policy eller en produkt. Vid informerad utvärdering kan utvärderingsobjektet definieras på grundval av en eller flera av följande parametrar: 1) Programmets interna struktur, som handlar om målgrupp, resurser, organisation, faciliteter och hur dessa förhållanden kombineras i programmet. 2) Programmets externa kopplingar eller interna kontextuella kopplingar, såsom politiska värderingar, ekonomiska värden och målgruppernas tillgång till programmet. 3) Syftet med utvärderingen. 4) Definition av problemet och slutlig avgränsning av utvärderingsobjektet. Beskrivningen av dessa fyra parametrar framgår av inledningen till den stora majoriteten av alla utvärderingar, och ofta motiveras utvärderingsmetoden utifrån dessa fyra parametrar. När utvärderingsobjektet har definierats, beskrivits och avgränsats kan det vara lämpligt att avgränsa och analysera utvärderingsobjektet ytterligare för att fastställa huruvida det är enkla, komplicerade eller komplexa interventioner som utvärderas. Eftersom olika modeller har olika fördelar och begränsningar med avseende på utvärdering av olika typer av interventioner, är analysen relevant inte minst för valet av utvärderingsmodeller. Om det inte redan gjorts i samband med beskrivningen av syftet, kan utvärderingen avgränsas ytterligare genom att man klargör om det är effekter (utfall), prestationer (output) eller processer (förvaltning och beslutsinnehåll samt organisering av offentlig verksamhet) i offentlig politik som ska utvärderas. Figur 3.2, som hänvisar till några av de utvärderingsmodeller som presenteras senare, illustrerar att det finns en logisk koppling mellan ett förtydligande av utvärderingsobjektet och val av utvärderingsmodeller eller metoder. Argumenten för placeringen av modellerna i denna figur utvecklas i beskrivningen av modellerna i kapitel 4–10. © S tudentlitteratur

Del I Centrala begrepp

Enkla

Komplicerade/ komplexa

Komplexa

Effekt

Den klassiska effektutvärderingen

Teoribaserad utvärdering

Teoribaserad utvärdering Bidragsanalys

Output

Prestationsmätningar Interaktiv utvärdering

Interaktiv utvärdering

Process

Figur 3.2 Analys av utvärderingsobjektet.

3.3

Kunskapskomponenten

”Varför inte förlita sig på skvaller, tjänster och gentjänster, tidningsartiklar eller lobbyister? Erbjuder utvärderare en annorlunda eller bättre kunskap än den som redan finns tillgänglig” (Shadish m.fl. 1991:41). Svaret är att utvärdering ger systematisk kunskap och att professionella utvärderare producerar vetenskaplig kunskap. Nedan beskrivs kunskapskomponenten med hänvisning till vetenskapsteori, till summativ och formativ utvärdering och till metod, där åtskillnad görs mellan kvantitativa, kvalitativa och blandade metoder. 3.3.1 Kunskap är paradigmatiskt förankrad

Utvärderingar är i grunden olika när det gäller upplägg, metoder och förståelsen av sambandet mellan insats och effekt. Detta beror på att olika modeller har olika vetenskapsteoretiska infallsvinklar. Syftet här är inte att gå närmare in på vetenskapsteorin, men med hänsyn till den senare analysen av utvärderingsmodeller kan det vara lämpligt att skilja mellan tre vetenskapsteoretiska utgångspunkter. Den postpositivistiska traditionen utgår från antagandet att verkligheten kan studeras objektivt, dock utan att kunna beskrivas fullständigt och i sin helhet. En viktig aspekt av denna tradition är identifiering av orsakssamband. Postpositivisterna har en stark inriktning mot kvantitativa metoder och anser att det är mycket viktigt att utvärderaren håller distans till föremålet för utvärderingen, för att undvika partiskhet. Postpositivisterna hyllar experimentella och kvasiexperimentella utvärderingsupplägg och statistiska utformningar och metoder. 74

3 Informerad utvärdering – utvärderingsobjekt, kunskap, …

Till skillnad från postpositivisterna antar de kritiska teoretikerna att det inte finns någon objektiv verklighet. De anser i stället att verkligheten är socialt konstruerad, och att det därför finns många subjektiva verkligheter som förändras med tid och rum. De kritiska teoretikerna arbetar fallorienterat och använder främst kvalitativa metoder. De antar att orsakssamband inte kan identifieras, eftersom relationer är ömsesidiga. Det grundläggande antagandet är att sociala fenomen endast kan studeras i sin egen kontext, vilket innebär att utvärderaren måste ge sig ut på fältet och interagera med intressenterna där. Pragmatismen skiljer inte mellan en objektiv och en subjektiv verklighet, utan anser att det handlar om både och. Enligt pragmatismen är det själva utvärderingsfrågan som bör avgöra om det är bäst att använda kvalitativa eller kvantitativa metoder. Pragmatikerna anser, liksom konstruktivisterna, att det inte finns en allenarådande sanning om verkligheten, men att det trots detta är möjligt att göra objektiva utsagor om verkligheten och urskilja troliga samband mellan orsak och verkan. Fallstudier anses vara lämpliga för att urskilja orsakssamband; jämför exempelvis teoribaserad utvärdering. Modellutvecklarens uppfattning av verklighetens beskaffenhet och därmed av hur denna ska studeras är en grundläggande förutsättning för en utvärderingsmodell. 3.3.2 Kvantitativa, kvalitativa och blandade metoder

Startpunkten för en utvärdering kommer alltid att vara att identifiera utvärderingsobjektet och ett antal utvärderingsfrågor, och först därefter identifieras den lämpligaste metoden/modellen för att besvara utvärderingsfrågorna (White 2013:61). Vanligtvis görs en åtskillnad mellan kvantitativa och kvalitativa metoder. Denna åtskillnad ska inte ytterligare beskrivas här. I stället behandlas blandade metoder, och det är viktigt att understryka att metodvalet inte nödvändigtvis är ett val mellan kvalitativa och kvantitativa metoder. Lösningen kan vara både och. Blandade metoder syftar på utvärderingsupplägg med en kombination av kvalitativa (intervjuer, observationer, dokumenterande studier etc.) och kvantitativa metoder för datainsamling och analys (Mertens & Hesse-Biber 2013:5). Blandade metoder blir allt vanligare och tilldrar sig större och större intresse. Denna utveckling är ett erkännande av att blandade metoder kan © S tudentlitteratur

Del I Centrala begrepp

berika utvärderingsupplägget och ge en mer rikhaltig utvärdering än vad som är möjligt med antingen kvalitativa eller kvantitativa metoder. Den mest välkända typen av blandade metoder är förmodligen frågeformulär med både slutna och öppna frågor. Blandade metoder/upplägg kan kategoriseras på grundval av parametrarna viktning, timing och blandning1 (Brady m.fl. 2013:205). Viktning syftar på i vilken grad antingen kvalitativa eller kvantitativa metoder dominerar. Den metod som används initialt (timing) blir ofta dominerande. Blandningen av metoder kan göras i samband med datagenereringen, under analysen och/eller i samband med datatolkningen. Syftet kan vara att komplettera, förstärka eller underbygga utvärderingsresultat (Bamberger m.fl. 2012:324). Som ytterpunkten på en glidande skala kan data kombineras till en datamängd, och som en annan ytterpunkt kan data differentieras på alla nivåer av analysprocessen (McDavid m.fl. 2013:205–208). Man skiljer mellan integrerade utvärderingsupplägg och koordinerade utvärderingsupplägg. Koordinerade upplägg syftar på utvärderingar som blandar olika metoder i slutet av utvärderingen. Det kan röra sig om en utvärdering som främst grundas på kvantitativa data och där det i efterhand uppstår förvåning över resultatet. Man genererar då data genom kvalitativa processer för att förstå varför utvärderingen ger de resultat som den gör. I en sådan blandning blir den kvantitativa metoden ofta den dominerande. Det kan också handla om ett utvärderingsupplägg som bygger på kvalitativa data. Medan kvalitativa data kan bidra till förståelsen av samband, kan kvantitativa data ge kompletterande information om de upptäckta fenomenens/egenskapernas utbredning. I denna blandning av metoder blir den kvalitativa metoden den dominerande (McDavid m.fl. 2013:207). Vid ett integrerat upplägg är blandningen mellan flera metoder planerad från början och pågår under hela utvärderingen. I ett sådant upplägg blandas metoder, men sammanhangen och utvärderingsresultaten framstår som en helhet. Detta innebär att det samlade utvärderingsresultatet inte kan hänföras till användningen av en specifik metod (Greene 2001). Blandade metoder kan också användas i en trianguleringsstrategi. När utvärderaren använder en trianguleringsstrategi, är det grundläggande syftet

1 Den fjärde parametern teoretisering, se t.ex. Brady 2013:206.

3 Informerad utvärdering – utvärderingsobjekt, kunskap, …

att låta metoderna komplettera varandra. Tanken är att det övergripande utvärderingsupplägget stärks, om den ena metoden kompenserar för brister i den andra metoden, och vice versa. Utvärderingsresultat som genereras på grundval av flera källor eller metoder anses vara starkare än resultat som bygger på en enda metod (Brady m.fl. 2013:206; Bamberger m.fl. 2012:330). Vissa utvärderingsmodeller är främst kvantitativa eller kvalitativa, men ger möjlighet att ”koppla på” antingen en kvalitativ eller en kvantitativ analys, beroende på utgångsläget. 3.3.3 Summativ kontra formativ utvärdering

En annan distinktion som görs i kunskapskomponenten är den mellan summativ och formativ utvärdering. Summativ bedömning är vad som sker när publiken klappar efter en violinkonsert, medan en formativ bedömning sker medan violinisten under sakkunnig ledning utvecklar sitt spel. Summativ utvärdering kallas även bedömningsorienterad utvärdering och bedömer resultaten av ett program och dess genomförande, antingen efter att programmet är avslutat eller när ett befintligt program har stabiliserats operativt. Summativ utvärdering är en definitiv, kvantitativ bedömning av resultat (Bamberger m.fl. 2012:211, 228; Stegeager 2013:228). Syftet är ofta att skapa ett beslutsunderlag för bedömning av värdet av en viss intervention och dess vidare öde. En summativ utvärdering kan tjäna som underlag för att bedöma om projektets resultat är sådant att programmet även fortsättningsvis ska få offentliga medel, om det bör avslutas eller om det med fördel kan användas i andra sammanhang och i större skala (Bamberger 2012:211). Formativ utvärdering görs ofta under en bestämd tidsperiod för att stödja genomförandet, lösa oväntade problem och främja en kontinuerlig utveckling mot de förväntade resultaten, särskilt i inledningsfasen av ett program. Vid formativ utvärdering, som även kallas förbättringsorienterad utvärdering, påverkas interventionen medan utvärderingen fortskrider, och syftet är att bidra till en framtida förbättring av genomförandet av en befintlig intervention (Bamberger m.fl. 2012:211; McDavid m.fl. 2013:23–24; Willert 2013:229–243). Formativ utvärdering använder mestadels kvalitativa metoder för en processanalys som kan bedöma om de förväntade personerna har involverats, om ett program har fått den planering som krävs och om med© S tudentlitteratur

Del I Centrala begrepp

arbetarna uppträder adekvat i förhållande till problemet. Dessutom bedöms om lagstiftningen efterlevs, om nödvändig samordning har ägt rum och om man arbetar för att uppnå de förväntade effekterna (Bamberger 2012:228). Skillnaden mellan summativ och formativ utvärdering kan med en metafor illustreras enligt följande: När kocken smakar av soppan är det formativt, när gästen smakar på soppan är det summativt. Eller mer generellt: allt som händer med soppan under tillagningen görs i förbättrande syfte. När soppan väl har serverats görs en bedömning. (Patton 1997a:67–69)

En utvärdering som definierar utvärderingskriterierna innan den börjar, efterfrågar ofta kvantitativa metoder (och är summativ), medan utvärderingsmodeller som definierar kriterier under utvärderingsprocessen efterfrågar kvalitativa metoder (och är formativa). Att koppla frågan om metodval till summativa respektive formativa utvärderingar är dock en överförenkling. Orsaken är att flera modeller faktiskt inte dikterar att vissa metoder ska användas, och att många utvärderingar genomförs som en blandning mellan kvantitativa och kvalitativa metoder.

3.4

Värderingskomponenten

Utvärdering är inte fri från värderingar, utan avger värdeomdömen. Det ligger i definitionen av utvärdering att utvärderingar ”bedömer”. Utvärderaren måste göra klart för sig själv och läsaren vilka kriterier som ligger till grund för bedömningen eller det omdöme som utvärderingen avger, så att det finns möjlighet att förhålla sig kritiskt till resultaten. Om kriterierna för utvärderingen inte är klart uttalade, blir det oklart varför, hur och i relation till vad en utvärderare kan definiera ett program som bra eller bättre än ett annat eller ge förslag till förbättringar (Shadish m.fl. 1991:51). Ibland får utvärderingar påtagliga konsekvenser. De kan leda till att institutioner och inrättningar stängs eller läggs ner, personalstyrkan kan skäras ner och så vidare. Om syftet är att aktivt använda utvärderings resultaten är det viktigt att utvärderingskriterierna är tydliga, så att läsaren åtminstone kan inta en kritisk hållning till utvärderingsresultaten och de 78

3 Informerad utvärdering – utvärderingsobjekt, kunskap, …

”goda råd” som eventuellt formuleras mot bakgrund av dessa. Om utvärderingskriterierna (utvärderingens bakomliggande värderingar) synliggörs, kan läsaren dessutom ta ställning till utvärderingens validitet, det vill säga om utvärderingen faktiskt säger något om det den påstår sig säga något om. Till exempel är det inte säkert att en konsult, som utvärderar huruvida hemlösas livskvalitet (ett komplext och vilt problem) har ökat till följd av uppsökande socialt arbete, definierar livskvalitet på samma sätt som de hemlösa. Om han använder sina egna kriterier, blir utvärderingen inte giltig i relation till de hemlösa. Men det kan vi bara avgöra om han är tydlig med sina bedömningskriterier och med hur dessa har tagits fram.

Det är emellertid inte alltid möjligt eller önskvärt att fastställa kriterier för en utvärdering på förhand, innan den börjar. Kriterierna definieras i vissa modeller under utvärderingsprocessens gång. Det är ofta relativt enkelt att fastställa tydliga kriterier för enkla och ibland komplicerade implementeringssituationer, eftersom det råder enighet om det önskade resultatet (det råder enighet om kriterierna för att baka en god kaka, eller att bygga en bro som håller), och det finns ett säkert samband mellan mål och medel. När det gäller komplexa problem, som har samma kännetecken som vilda problem, samma osäkerhet om sambandet mellan mål och medel, kan det vara svårare att fastställa tydliga och realistiska kriterier för en bedömning av insatsen. Det kan i förekommande fall ske under utvärderingsprocessens gång. På en praktisk politisk nivå är det politikernas legitima rätt att definiera kriterier för en lyckad insats, oavsett problemets komplexitet, och som nämnts kan det orsaka ett dilemma för utvärderaren när det gäller valet av kriterier.

3.5

Användningskomponenten

Av utvärderingsdefinitionen framgår det att utvärderingen är avsedd att spela en roll i hanteringen av praktiska situationer. Användning av utvärderingsresultat har varit föremål för omfattande empirisk forskning och teoriutveckling (t.ex. Alkin 2013:243–353). Diskussionerna om använd© S tudentlitteratur

Del I Centrala begrepp

ning har lett till utvecklingen av nya utvärderingsmodeller och en ökad medvetenhet om alternativa användningsformer. En helt grundläggande utgångspunkt är att en utvärdering som inte används är irrelevant och ett slöseri med tid. 3.5.1 Instrumentell användning

En klassisk distinktion när det gäller användning av utvärderingar är skillnaden mellan kontroll (instrumentell produktanvändning) och lärande (instrumentell processanvändning) (Vedung 2015). Den gemensamma beteckningen är instrumentella användningsformer, medan upplysning utgör en tredje form. De tre användningstyperna kan vara lätta att skilja åt rent teoretiskt, men i praktiken kan de överlappa varandra. Kontroll aspekten syftar på att utvärderingen ska medverka till att kontrollera om organisationen håller rätt kurs i fråga om att uppnå beslutade effekter och målsättningar. Lärandeaspekten betonar utvärdering som en källa till nytänkande, förbättring och metodutveckling under utvärderingsprocessens gång, med möjlighet till organisatoriskt lärande. Upplysningsaspekten handlar om en mer generell medvetenhet om utvärderingsresultat.

Kontroll – instrumentell produktanvändning I instrumentell produktanvändning förväntas det att utvärderingen används instrumentellt och att utvärderingsresultaten kan ingå direkt i politiskt beslutsfattande. Empiriska studier har sedan utvärderingens barndom visat att utvärderingar används instrumentellt i mycket mindre omfattning än man hoppats och förväntat. Inom undervisning, på arbetsmarknaden och på det sociala området tycks koncept som föreskriver processer för god praxis vara på frammarsch. Dessa koncept, som ofta sprids från en kontinent till en annan, påstås vara evidensbaserade, och många grundas på experimentella utvärderingsupplägg och metaanalyser utförda av stora, internationella organisationer som Campbell (sociala området) och Clearinghouse (utbildningsområdet). Dessa koncept införs ofta efter politiska beslut, och införandet utgör en instrumentell produktanvändning av utvärderingsresultat.

3 Informerad utvärdering – utvärderingsobjekt, kunskap, …

Lärande – instrumentell processanvändning Diskussionen om användning av utvärderingsresultat har bidragit till utvecklingen av utvärderingsmodeller och utvärderingsupplägg där fokus från början till slut ligger på hur utvärderingen ska användas. Utvecklarna anser att ett viktigt kriterium för att bedöma kvaliteten på en utvärdering bör vara dess användbarhet när det gäller att hantera praktiska situationer (Alkin 2013:241–352). Tanken är att utvärderingens användningsmöjligheter ökar om den involverar intressenter som genom sitt engagemang och sin delaktighet i utvärderingsprocessen tar ett medansvar för utvärderingen. Dessa användningsorienterade modeller föreskriver inte konkreta metoder eller användningssätt. Utvärderaren fungerar som en ”guide” i utvärderingsprocessen, där valet av modell, metoder, teori och användning bestäms (Patton 2013:293) antingen i samarbete med eller av de grupper som är avsedda att använda utvärderingen. Denna typ av utvärderingar är interaktiva. 3.5.2 Upplysning

Medan ovanstående två användningsformer är instrumentella i den meningen att utvärderingen har ett specifikt syfte, har den upplysnings baserade utvärderingen som syfte att öka eller förnya kunskapen på ett mer generellt plan. ”Upplysning” hänvisar till att utvärderingsresultaten sällan används direkt, utan framför allt fungerar som ett kunskapstillskott i fråga om begrepp och föreställningar och därmed gör skillnad över tid (Hammersley 1995). Upplysning innebär en allmän spridning av utvärderingsresultat som över tid kommer att utgöra en kunskapsbas, eventuellt med hjälp av makro teori om viktiga sociala förändringar och implementeringsteori, som kan bidra till ökad förståelse av villkoren för genomförandet av en viss intervention (Patton 1997:70–75). Upplysning är ett viktigt syfte med metaanalyser (se kapitel 5). Upplysning är också en viktig del i uppbyggandet av utvärderingskapacitet, eftersom intressenterna genom sitt deltagande i utvärderingen lär sig att tänka utvärderingsorienterat:

Del I Centrala begrepp

Att tänka utvärderingsorienterat inbegriper det värde vi tillskriver klarhet, tydlighet och intentionalitet; att vara systematisk och göra explicita antaganden; att operationalisera programmålen; att skilja ingångsvärden och processer från resultat; att värdera empirisk evidens; samt att skilja fakta från tolkningar och bedömningar. (Patton 2013:301)

Tanken är att aktivt deltagande i en utvärdering bidrar till att skärpa förmågan till ett sådant tänkande. Det förbättrar också såväl framtida interna som externa utvärderingar (Preskill 2013:325) samt gör det lättare att integrera utvärderingar i den befintliga organisationskulturen, och därmed ökar organisationens inlärningskapacitet (Cousins m.fl. 2014:344). 3.5.3 Från användning till påverkan

Det har föreslagits att ordet ”användning” i samband med utvärderingar bör ersättas av ”påverkan” (Kirkhart 2000). När en utvärdering används görs detta med ett syfte, och detta syfte eller mål kan identifieras genom att man analyserar utvärderingsmodellens konstruktion. Däremot kan de olika aspekter av utvärderingars påverkan som beskrivs i det följande endast identifieras empiriskt. En utvärdering kan ha ett legitimerande syfte, det vill säga att den har som främsta syfte att legitimera redan fattade beslut om att exempelvis avsluta eller starta ett program. En sådan legitimerande funktion kan även följa av sättet som utvärderingen används på. Utvärderingen stöder således redan fattade beslut, så att de framstår som mer respektabla och begåvade än innan utvärderingen genomfördes: ”Det som händer är att utvärdering tillhandahåller nya argument för gamla positioner” (Vedung 2015:197–198). Rituell användning (Vedung 2015) eller symbolisk användning, som är ett annat begrepp för samma fenomen (Dahler-Larsen & Larsen 2001), syftar på att utvärderingen primärt utförs för att skicka signaler som får organisationen att verka seriös, modern, lyssnande, lärande och självkritisk (Vedung 2015:200–201). Utvärdering är ett så omfattande och betydande fenomen, att redan det att genomföra en utvärdering kan ”ge pluspoäng”, och det kan leda till att man tänker att ”detta är något som vi också borde göra om vi ska ha en seriös profil”. Ett litet projekt som ansöker om extern finansiering, oavsett om beloppet är aldrig så litet, anger ofta utvärdering som en av aktiviteterna i projektet för att öka chanserna till finansiering. 82

3 Informerad utvärdering – utvärderingsobjekt, kunskap, …

Taktisk användning (Vedung 2015:199–200) innebär att utvärderingen används för att undvika att fatta ett politiskt beslut. Det kan också handla om att man inte är intresserad av att lyssna till utvärderingen. Om en kontroversiell fråga tas upp i media eller av oppositionen, kan ett ställningstagande förhalas genom att man startar en utvärdering, i hopp om att problemet är glömt när utvärderingen är klar om två–tre år. Utvärderingsresultat kan vara väldigt besvärliga i ett politiskt sammanhang vid en viss tidpunkt. Detta är ett inte ovanligt skäl att kritisera en utvärdering eller valet av utvärderingsmetod, i avsikt att göra det legitimt att inte ta ställning till utvärderingsresultaten eller eventuella rekommendationer i utvärderingen. 3.6

Sammanfattning

Med hänvisning till kapitel 2 har detta kapitel förklarat enkla, komplicerade och komplexa interventionstypologier. Process, output och utfall har pekats ut som relevanta kriterier vid valet av utvärderingsmodell. Den vetenskapsteoretiska ansatsen handlar om den grundläggande förståelsen av världen, om hur kunskap genereras och om vilka metoder som bör användas. Skillnaden mellan summativ och formativ utvärdering kan ytterligare bidra till att klargöra utvärderingens uppgift. Oavsett om man väljer en modell där kriterierna definieras under arbetets gång eller före utvärderingen, är det viktigt för utvärderingens trovärdighet att man är tydlig med vilka kriterier som ligger till grund för bedömningen av en intervention, och slutligen måste man bestämma hur utvärderingen ska användas. Det rimligaste sättet att bedöma olika utvärderingsmodellers möjligheter och begränsningar, och därmed även besluta vilken utvärderingsmodell som ska väljas för utvärderingsuppgiften, verkar vara att använda en erkänd teoretisk grund likt den som har beskrivits under informerad utvärdering. Som Sokrates påpekade förknippar vi ofta det populära med det rätta. Och det kan ligga något i det, även när vi talar om utvärdering. Den franske filosofen Montaigne observerade hur man på värdshus i schweiziska kantoner tyckte det var normalt att höja upp sängarna, så att man kunde sätta förhängen runt dem. Några kilometer bort, i Tyskland, var det normalt att sängarna var låga och att värdshusvärden kom med filtar i stället för lakan, som i Frankrike (år 1550).

Del I Centrala begrepp

I det följande ges en schematisk överblick över de utvärderingsmodeller som behandlas i kapitel 4–10. 3.7

Inledning till del II: Utvärderingsmodeller

Kapitel 4–10 är strukturerade på ett sådant sätt att de följer tre huvudspår: först presenteras utvärderingar som fokuserar på effekter (utfall), sedan prestationsmätningar (output) och slutligen utvärderingar med fokus på processer – så kallade interaktiva utvärderingar. Effektutvärdering representeras av den klassiska effektutvärderingen med randomiserade kontrollerade studier samt kvasiexperimentella och statistiska utvärderingsupplägg (kapitel 4). I kapitel 5 beskrivs evidenstrenden med fokus på metaanalyser och användningen av effektutvärderingar i form av koncept, evidensbaserade metoder och datainformerade metoder. Därefter presenteras i kapitel 6 teoribaserad utvärdering, vars uppgift är att koppla samman intervention och effekt i komplicerade och komplexa program. Kapitel 7 om bidragsanalys handlar om sambandet mellan interventioner och effekter i superkomplexa interventioner. Output-orienteringen representeras i kapitel 8 av prestationsmätningar (bland annat ekonomiska modeller), som är ett vanligt och väsentligt inslag i resultatstyrning. I kapitel 9 introduceras interaktiva utvärderingsmetoder, som primärt fokuserar på processer. Kapitel 10 beskriver en rad interaktiva aktörmodeller: fourth generation evaluation, deliberativ demokratisk utvärdering, utvecklingsutvärdering och brukarmedverkan i utvärdering i form av BIKVA-modellen och empowerment-utvärdering. Kapitel 11 behandlar uppbyggnaden av utvärderingskapacitet, vilket är nära kopplat till interaktiv utvärdering. I kapitel 12 sammanfattas de centrala begreppen och utvärderingsmodellerna. Enskilda metoder/modeller och deras bakgrund beskrivs i de enskilda kapitlen, och varje kapitel avslutas med en analys av utvärderingsobjektet med hjälp av parametrarna enkel, komplicerad och komplex. Analysen av kunskapsdimensionen görs med hänvisning till vetenskapsteoretiska positioner, summativ kontra formativ och med hjälp av distinktionen mellan kvantitativa, kvalitativa och blandade metoder. När det gäller värderingar diskuteras ofta frågan om kriterier, och man gör skillnad mellan kriterier som definieras a priori utvärderingen och kriterier som definieras under 84

3 Informerad utvärdering – utvärderingsobjekt, kunskap, …

Experimentella utvärderingsupplägg

Teoribaserad utvärdering

Prestationsmätningar

Interaktiva utvärderingar

Fokus

Utfall

Process, output och utfall

Output/kostnad Process

Utvärderings objekt

Enkel

Enkel – komplicerad – komplex

Enkel

Vetenskapsteoretisk position

Postpositivistisk Pragmatisk

Summativ/ formativ

Summativ

Summativ och formativ

Summativ

Övervägande formativ

Metod

Kvantitativ

Kvalitativa, kvantitativa och blandade metoder

Kvantitativ

Kvalitativa och blandade metoder

Fastställande av kriterier

Före utvärderingsprocessen

Under utvärderingsprocessen

Före utvärderingsprocessen

Under utvärderingsprocessen

Användning

Kontroll/ upplysning

Kontroll/ lärande/ upplysning

Kontroll

Lärande

Komplicerad – komplex Pragmatisk/ konstruktivistisk

Figur 3.3 Översikt över utvärderingsmodeller.

utvärderingsprocessens gång. När det gäller frågan om hur utvärderingar används skiljer man slutligen mellan kontrollerande, lärande eller upplysande användning. Figur 3.3 visar strukturen i översikt. Det är svårt att göra en entydig beskrivning av utvärderingsmodeller. För det första är teoretikerna inte överens om utvärderingsmodellernas bakgrund och när de uppstod. För det andra har flera betydande teoretiker bidragit till utvärderingsdiskursen och utvecklingen av utvärderingsperspektiv, utan att dessa följts upp med normativa modeller. För det tredje är det svårt att exakt beskriva modellerna i de fall där modellutvecklarna med tiden, under en period på exempelvis 20–30 år, har fogat nya lager till befintliga modeller eller övergivit tidigare konstruktioner (Alkin & Ellett © S tudentlitteratur

Del I Centrala begrepp

1990:19). Man talar exempelvis om den tidiga Robert Stake och den sena Robert Stake, precis som inom målarkonsten (Shadish m.fl. 1991). För det fjärde kan flera modeller sammanfalla i fråga om utvärderingskriterier och metoder, men vara olika när det gäller frågan om användning och definitionen av utvärderingsobjektet. Utvecklingen och skapandet av utvärderingsmodeller är med andra ord inte en linjär och kontinuerlig process, utan speglar ett komplext, dialektiskt samspel mellan text och kontext, det omgivande samhället och praktik, teori och empiri och så vidare. 3.7.1 Bokens urval av utvärderingsmodeller

Urvalet av utvärderingsmodeller som behandlas i denna bok har huvudsakligen grundats på fyra överväganden: För det första: Modellerna ska representera ett brett spektrum av den historiska utvecklingen på utvärderingsfältet. För det andra: Urvalet av modeller ska inte vara partiskt. Förutsättningen för valet av modeller och bedömningen av dem är, som tidigare nämnts, att ingen modell är ”the best way of evaluation” – de har sina olika fördelar och erbjuder olika infallsvinklar på frågorna om utvärderingsobjekt, kunskap, värderingar och användning. För det tredje: Modellerna i urvalet ska redan vara i användning. För modeller baserade på kvalitativa metoder brukar det handla om en lokal översättning av en utvärderingsmodell, liksom komponenter från flera modeller kan kopplas ihop i samband med anpassning av modeller. Anpassning innebär att en modell eller ett koncept anpassas och inlemmas i nya rutiner (Røvik 1998:145). Praktiska utvärderingsupplägg och koncept är ofta kombinationer av delar från olika metoder. Det är till exempel inte ovanligt att välja datainsamlingsmetoder som genererar både kvalitativa och kvantitativa data, som ser på både resultat och processer och som involverar många olika intressenter i utvärderingarna. Ett mycket jordnära problem i samband med kartläggning av befintliga utvärderingsmodeller är att det knappast är möjligt att få överblick över lokala utvärderingars omfattning och karaktär. När lokala utvärderare i praktiken hävdar att de har uppfunnit sin egen unika modell, är det sant i den meningen att konceptet har översatts och inlemmats i kända rutiner. 86

3 Informerad utvärdering – utvärderingsobjekt, kunskap, …

För det fjärde: De valda modellerna ska tillgodose olika krav vad gäller efterfrågan – alltså ett pragmatiskt argument. 3.7.2 Framställningsformen

Bokens heuristiska framställningsform innebär att läsaren själv kan gå på upptäcktsfärd för att skaffa sig kunskaper om begränsningar och möjligheter med lokala utvärderingar. Vidare eftersträvas en idealtypisk beskrivning av utvärderingsmodellerna. Fördelen med en idealtyp är att den ger möjlighet att sätta praktiken i tydlig kontrast till modellerna. De idealtypiska modellerna exemplifieras i viss utsträckning med utvärderingsupplägg lånade från praktiskt utvärderingsarbete. Det går inte att beskriva de enskilda koncepten i detalj och göra dem full rättvisa, och exemplen är inte alltid heltäckande för en utvärderingsmodell. Det kan mycket väl finnas lokala eller till och med institutionellt förankrade koncept som har utelämnats på grund av att författaren inte känt till dem, eller på grund av att ett annat utvärderingsupplägg utgör en lika bra illustration av modellen/perspektivet. Nackdelen med att presentera utvärderingsmodeller som typologier är att många nyanser går förlorade, och att beskrivningarna blir förenklade på ett sätt som faktiskt inte överensstämmer med verkligheten. Det är självklart att koncisa och sammanfattande modellbeskrivningar (vissa modeller presenteras, diskuteras, nyanseras och kritiseras i litteraturen genom nästan ett halvt sekel ur många olika perspektiv) utelämnar mer än vad de innefattar, och lika klart är att prioriteringarna speglar författarens val. När man ser ett sädesfält från ett flygplan är det omöjligt att identifiera sädesslaget – det kräver en närmare undersökning. Förhoppningen är att de följande kapitlen ska sätta läsaren i stånd att kritiskt bedöma kvaliteten på gjorda utvärderingar, och att läsaren ska få perspektiv på sin egen eller en framtida utvärderingspraktik och kunna placera in den på kartan. Läsare som ska beställa en utvärdering kan fördjupa sig i boken för att bli kvalificerade beställare.

Hanne Kathrine Krogstrup är professor vid Ålborgs universitet och en av Danmarks främsta experter på utvärdering.

UTVÄRDERINGSMODELLER Det utvärderas som aldrig förr i både offentlig och privat sektor och det finns ett otal utvärderingsmodeller. I denna informativa introduktionsbok går Hanne Kathrine Krogstrup igenom ett stort urval av dessa modeller med rikliga hänvisningar till forskningen i ämnet. Boken beskriver, bedömer och ger en översikt över en rad utvärderingsperspektiv och utvärderingsmodeller. • • • • • • • • •

Klassisk effektutvärdering Evidens Teoribaserad utvärdering Bidragsanalys Prestationsmätningar Interaktiv utvärdering Samarbetsutvärdering Deltagande utvärdering Uppbyggnad av utvärderingskapacitet

Modellerna representerar ett brett spektrum av internationellt utvecklade utvärderingsmodeller som redan används eller har potentiella användningsmöjligheter. Boken vänder sig till studerande i socialt arbete, sociologi, pedagogik och statsvetenskap samt alla som sysslar med utvärdering i sitt yrkesliv. Boken inleds med en introduktion av det svenska utvärderingsfältet skriven av Verner Denvall och Stig Linde, professor respektive universitetslektor i socialt arbete vid Socialhögskolan, Lunds universitet. Art.nr 39481

studentlitteratur.se