9789144133003

Utvärdering och kontroll

JAN-ERIC FURUBO

Utvärdering och kontroll

Tilltro och ansvarsutkrävande i demokratin

Kopieringsförbud

Detta verk är skyddat av upphovsrättslagen. Kopiering, utöver lärares och studenters begränsade rätt att kopiera för undervisningsändamål enligt Bonus

Copyright Access kopieringsavtal, är förbjuden. För information om avtalet hänvisas till utbildningsanordnarens huvudman eller Bonus

Copyright Access.

Vid utgivning av detta verk som e-bok, är e-boken kopieringsskyddad.

Den som bryter mot lagen om upphovsrätt kan åtalas av allmän åklagare och dömas till böter eller fängelse i upp till två år samt bli skyldig att erlägga ersättning till upphovsman eller rättsinnehavare.

Studentlitteratur har både digital och traditionell bokutgivning. Studentlitteraturs trycksaker är miljöanpassade, både när det gäller papper och tryckprocess.

Art.nr 40358

ISBN 978-91-44-13300-3

Upplaga 1:1

©Författaren och Studentlitteratur 2021 studentlitteratur.se

Studentlitteratur AB, Lund

Formgivning inlaga: Sebastian Wadsted/Lyth & Co

Formgivning omslag: Francisco Ortega

Printed by Eurographic Group, 2020

3

Vad som är bra utvärdering beror på utvärderingens specifika syfte

Det överordnade syftet för all utvärdering beskrivs ofta, som tidigare framgått, som att något ska bli bättre. Utvärderingens förgrundsgestalter har ofta beskrivit detta i termer av förbättring av olika offentliga interventioner och program och mera allmänt som social betterment. Hur utvärdering ska leda fram till förbättring är dock inte alldeles självklart. Därför beskrevs de specifika syften som utvärdering kan ha i kapitel 1.1 Dessa specifika syften korresponderar med antaganden om genom vilka mekanismer man föreställer sig att utvärdering påverkar ett skeende. Det är därför också möjligt att säga att de specifika syftena även kan ses som olika typer av förbättringsstrategier. I kapitel 1 togs fyra sådana specifika syften upp.

Utvärdering kan leda till förbättring genom att:

Ǝ Förbättra genomförandet av en verksamhet på operativ nivå (verksamhetsfrämjande utvärdering)

Ǝ Förbättra verksamheten på mer övergripande nivå (policyfrämjande utvärdering)

1 För enkelhetens skull kommer de i det följande även att beskrivas som ”syften” med utelämnande av ordet ”specifika” eller ”specifikt”.

Ǝ Förbättra genom att skapa förutsättningar för ansvarsutkrävande (ansvarsinriktad utvärdering)

Ǝ Förbättra genom att bidra till byggande av kunskap som kan användas ör att konstruera framtida interventioner (kunskapsgenerande utvärdering)

Det tredje syftet är det som stämmer in på effektivitetsrevision men också på andra former av det vi kan tala om som granskande utvärdering, till exempel en del av det som etiketteras som tillsyn, inspektion och kontroll. Detta kapitel kommer att behandla hur kraven på utvärdering påverkas av utvärderingens syfte. I synnerhet inriktas diskussionen på vilka krav som är särskilt viktiga i utvärdering som ska bidra till att möjliggöra ansvarsutkrävande.

I diskussionen är det fem krav som behandlas: tillförlighet, generaliserbarhet, teorianknytning, transparens och oberoende. Kapitlet består av fem avsnitt i vilka vart och ett av de fem kraven behandlas. I varje avsnitt beskrivs först innebörden av kravet och därefter diskuteras hur betydelsefullt kravet är i förhållande till effektivitetsrevision och andra former av utvärdering.

Tillförlitlighet

När vi talar om tillförlitlighet kan vi mena olika saker. Läroböckerna talar om reliabilitet och menar med detta att vi ska få samma resultat om vi repeterar en mätning av någonting. Det är alltså viktigt att förändringar mellan mättillfällena beror på att det man vill mäta har förändrats och inte förändringar i mätinstrumenten.

I praktiken kan redan detta grundläggande krav vara svårbemästrat. Anledningen till att detta avsnitt har tillförlitlighet som rubrik är dock att frågan om tillförlitlighet också kan betraktas på ett vidare sätt. Den omfattande diskussion som förts om vad som menas med evidens har gällt just detta. Vi ska här på ett enkelt sätt illustrera vad som kan ses som ett centralt problem.

Vid beslut om reformer har mål sedan lång tid använts för att

ange den bakomliggande politiska viljan. Ett exempel på detta är den studiesociala utredning som för drygt ett halvsekel sedan presenterade de grundläggande dragen i det studiemedelssystem som fortfarande existerar. Ett av de mål utredningen angav var ”att med studiesociala åtgärder underlätta tillträdet till högre studier för ungdomar från hem med svag ekonomi”.2 En utvärdering som i dag skulle granska på vilket sätt det studiesociala systemet bidragit till förverkligandet av detta mål skulle förmodligen inte kunna leverera speciellt tillförlitliga resultat. Utvärderaren skulle snabbt ställas inför en rad problem som i princip existerar vid alla effektstudier. Hur ska vi kunna urskilja just effekterna av denna reform från alla de andra faktorer som under snart sex decennier påverkat utvecklingen och som också påverkar varandra i ytterligt svåröverblickbara processer? Detta problem är centralt i utvärderingslitteraturen och i diskussionen om detta används termer som till exempel kausalitet, attribution och isolering.

Svårigheterna har ytterst att göra med förhållandet att effekter av en viss aktion inte direkt kan observeras eller mätas. Detta har att göra med att ett påstående om att något är en effekt av något är ett påstående om kausalitet. Att till exempel de mål som riksdagen angett i samband med en viss reform uppnåtts efter det att reformen genomförts säger ingenting om att utvecklingen orsakats av just denna reform. Vi kan föreställa oss att andra saker inträffade ungefär samtidigt som reformen sjösattes. Utvecklingen kunde helt, eller delvis, blivit densamma utan reformen. Vi kan till och med tänka oss att det skulle blivit ”ännu mera” som politikerna ville om inte en viss reform genomförts.

Sedan lång tid, också innan vi använde ordet utvärdering, har forskare som försökt utröna effekterna av olika interventioner varit medvetna om att effekter av en viss intervention inte är något som direkt kan observeras. Ett exempel finns i den studie av Gunnar Myrdal, som tidigare nämnts och som publicerades

1934, där han beskriver det, enligt honom, grundläggande problemet när finanspolitikens ekonomiska effekter eller verkningar studeras och påpekar: ”I en annan mening än såsom en skillnad mellan två förlopp vid alternativa finansiella regleringar är allt tal om verkningar utan bestämd innebörd”. 3

Effekter beskrivs därför ofta i utvärderingslitteraturen som skillnaden mellan det som inträffat efter att en viss faktor satts in och det som skulle ha inträffat utan existensen av denna faktor. Det är detta som menas med kontrafakticitet . Innebörden kan illustreras med en enkel figur (se figur 3.1).

Det stora problemet för utvärderare är att bestämma det förlopp som den faktiska utvecklingen ska jämföras med. Det är inte heller svårt att förstå att de praktiska svårigheterna att identifiera denna

3 Myrdal 1934, s. 8.

Faktisk utveckling

FIGUR 3.1 Kontrafakticitet

jämförelsenorm tilltar ju längre tid som går. Omedelbart efter en intervention kan det kanske framstå som troligt att inte så mycket annat än själva interventionen kan ha påverkat utvecklingen. Ju längre tid som går blir dock orimligheten i detta uppenbar. Den tänkta alternativa utvecklingen skulle ha lett fram till andra handlingsmöjligheter än de som faktiskt förelegat. De beslut som då skulle ha fattats leder i sin tur fram till ytterligare andra handlingsmöjligheter och andra problem som i sin tur skulle ha motiverat andra interventioner. Den kontrafaktiska utvecklingen kan alltså inte beskrivas som ett förlopp utan blir snabbt ett vittförgrenat grenverk av alternativa utvecklingsförlopp.4

Det är säkert uppenbart för de flesta läsare att frågan om våra möjligheter att konstruera kontrafaktiska förlopp ställer oss inför grundläggande teoretiska problem och metodologiska svårigheter. Här ska dock endast diskuteras den närmare innebörden av kravet på tillförlighet i utvärdering. Diskussionen inriktas därför på vad som påverkar att påståenden i en utvärdering kan anses ha större eller mindre tillförlitlighet.

Ibland anser utvärderaren, efter en ingående analys av det aktuella fallet, att det med betydande säkerhet kan hävdas att några andra faktorer inte kan ha påverkat utvecklingen än just den aktuella insatsen. Dessa andra faktorer, som antas kunna påverka, har inte ändrats och kan beskrivas som konstanta. Vi

4 Att utvärderaren som skulle konstruera detta grenverk skulle ha en svår uppgift är lätt att förstå. Vi tänker oss att en intervention görs år 1. Utvärderaren ska tio år senare utvärdera effekterna. Med hjälp av statistik anser sig utvärderaren kunna visa utvecklingen innan interventionen sattes in och fram till år +9. Utvärderaren menar också att det med hjälp av olika simuleringar är möjligt att beräkna den alternativa utvecklingen till och med år +3. Utvärderaren framhåller också att det är troligt att situationen år +3 ställt beslutsfattarna inför handlingsalternativ vars närmare innebörd är svåra att precisera. Utvärderaren ser tre utvecklingsförlopp baserat på antaganden om vilka handlingsalternativ som väljs. Ytterligare tre år senare har dock dessa scenarier gett upphov till ytterligare valmöjligheter som i sin tur leder fram till olika framtida handlingsalternativ.

kan illustrera detta med ett exempel då en kommunal förvaltning gör en tekniskt administrativ åtgärd i syfte att korta ner den tid det tar att handlägga en viss grupp av ärenden. En utvärderare anlitas redan från starten för att följa förändringsprocessen och för att efter ett år utvärdera effekterna på ärendehandläggningstider. Denne utvärderare kommer fram till att övriga faktorer som antas påverka hur lång tid det tar att handlägga ärenden, som personalens kompetens, personalledning, ärendenas karaktär och så vidare, inte har förändrats. Utvärderaren anser också att det är klarlagt att dessa faktorer skulle ha förblivit konstanta även om förvaltningen inte genomfört den tekniskt administrativa åtgärden. Utvärderarens slutsats blir då att det är möjligt att hävda att de förändringar i handläggningstiderna som skett beror på den administrativa åtgärden. En bedömare av tillförlitligheten i denna slutsats skulle förmodligen ställa frågor om hur säkert utvärderaren ringat in de andra faktorerna som påverkar ärendehandläggningen. Möjligen skulle utvärderaren då svara att man i identifieringen och analysen av dessa andra faktorer utgick från den forskning som finns om vilka mekanismer som kan påverka de aktuella processerna. Bedömaren, eller den tänkta mottagaren, skulle möjligen anse att detta svar var tillfredsställande och därför välja att använda utvärderingen för att till exempel sjösätta samma administrativa förändring i andra delar av den kommunala förvaltningen.

Exemplet illustrerar också att det inte ter sig sannolikt att utvärderaren skulle ha kunnat hantera några av problemen ”så lättvindigt” om det istället för ett år gått fem år. Säkerligen hade det då varit svårare för utvärderaren att hävda att personalens kompetens, personalledning och ärendenas karaktär inte skulle ha förändrats, även utan att några särskilda åtgärder vidtagits.

Trots att de grundläggande teoretiska problemen i grunden är desamma oavsett om det gäller en åtgärd i systemet för ärendehandläggning i en kommunal förvaltning eller ett nytt straffsystem så är det möjligt att påstå att de praktiska problem som

A

accountability 44, 45, 53, 139

förhållande till ansvarsutkrävande 151

Ahlbäck Öberg Shirin 131

Algemene Rekenkamer 197

Alkin, Marvin C. 17, 53

American Evaluation

Association (AEA) 171

Amnå, Erik 112

Analys- och utvärderingsutredningen 120

ansvar

framåtriktat och

bakåtriktat 151, 152, 155

ansvarsprövning 158, 208

ansvarsutkrävande 10, 53, 60, 63, 70, 140, 158, 159, 207, 209

i förhållande till accoun -

tability 150, 151, 152

B

Bagehot, Walter 144

Barzelay, M. 42, 61, 202

Baumgartner, Frank 181

Bechberger, Elena 61

Bedömning, innebörd 35

Bedömningskriterier 191, 197, 199, 200, 204

brukarkrav 200

dubbel presumtion 199

grundläggande normer 199

implicita 35

praxis eller sedvänja 199

yrkesmässiga eller professionella krav 200

befogenhets- eller kapacitetsprincip 153

befogenhetsutrymme 48, 49

Behn, R.D. 44, 151

Bemelmans Videc, Marie-Louise 151

bieffekter 94, 212

Bouckaert, Geert 41, 42, 201, 203

Brottsförebyggande rådet (BRÅ) 124

budgetlagen 30

Bäck, H. 210

C Campbell, Donald T. 79

Cappocia, Giovanni 181

Christie, Christina A. 53

civilsamhället 135

critical junctures 182

D

Dahler Larsen, Peter 178 Daniels bok 21

Den amerikanska oavhängighetsförklaringen 142

Derlien, H.U. 28

Development Assistant

Committee (DAC) 173

Donaldson, S.I. 92

evidensdebatt 30, 70, 80, 86

Expertgruppen för biståndsanalys (EBA) 128

Expertgruppen för studie i offentlig ekonomi (ESO) 128

economy 201

effectiveness 115, 201, 202

effektivitetsrevision

ansvarsutkrävande 62

definition 63

framväxt 109, 111, 115, 116

främjande 61, 62, 63

föhållande till medborgare 204

förhållande till annan

revision 41, 42

förhållande till annan

utvärdering 19, 41, 70, 116

förhållande till medborgarna 204, 205

förhållande till politik 186, 187, 189, 206

förhållande till tillsyn 65, 66, 67

kvalitetskrav på 78, 82, 95, 96, 97, 102, 103

oberoende 55, 57, 60, 63, 102, 119, 210

rekommendationer 213, 214

efficiency 201, 203

Ekonomistyrningsverket 127

Eldredge, Niles 181

Emigrationsutredningen 106

Engels, Friedrich 181

EU 27, 65, 105, 170

European Evaluation Soceity (EES) 171

evaluation  Se också utvärdering

definition 17, 18

förhållande till ordet

utvärdering 15, 16

evaluation capacity building 170

faktiskt handlande 15

Finanspolitiska rådet 128

Finer, Herman 48, 50

Flint, David 44, 45, 46

FN (Förenta Nationerna)

roll utvärdering 27, 171

folksuveränitetsprincipen 144

formative moment 182

franska revolutionen 139, 142

Friedrich, Carl 48, 50, 167

fördjupad prövning av myndighet 122

Förordningen om årsredovisning och budgetunderlag 121, 122

förvaltningsrevision  Se effektivitetsrevision

G generaliserbarhet 80, 103

Gould, Stephen. J 181

Guba, E.G. 101

Hood, Christopher 161

Hoover, Herbert 25

inspektion 19, 64, 66, 67, 68, 70, 125, 149, 158

Inspektionen för socialför -

säkringen (ISF) 124

Inspektion för vård och

omsorg (IVO) 126

Institutet för arbetsmarknadspolitisk- och utbildningspolitisk

utvärdering (IFAU) 124

International Organization of Supreme Audit Institutions (INTOSAI) 173, 186, 201, 202

interventionsteori 83–95, 180

Kuhn, Thoma S. 181 Kulturanalys 124 L

lagprövningsrätt 144

Laswell, Harold D. 26

Leeuw, Frans 197, 198

Lerner, Daniel 26

Lewin, Leif 139, 151

Jacobsson, Bengt 173

Johannisson, Karin 175

Johnson, L.B. 112

Jones, Bryan 181

Järta, Hans 146

K

Karlsson Vestman, O. 99

Karl XII 158

Katastrofkommission (2005 års) 153, 206

kausalitet 71, 79, 153, 196, 202

Kellermen, R. Daniel 181

Kennedy, J.F. 26

Klimatpolitiska rådet 128, 129

kommittéväsendet 106, 127

medborgarkommissioner 206 remisser 128

kommunal revision 129, 185, 186, 190, 212

kommunerna 120, 133, 134, 149, 150, 158, 161, 204, 211

kontrafaktiska jämförelser

23, 71, 72, 191

kontroll 19, 48, 51, 52, 60, 64, 65, 79, 125, 126, 145, 150, 154, 155, 157, 158

förtroendeskapande 53

i förhållande till utvärdering 66

misstro 52, 53, 140, 162, 163

tilltro 67

Lincoln, Abraham 182

Lincoln, Y.S. 101

Lindblom, Charles 113

Lindgren, Lena 38

Lind, James 22

Lindmark, Lars 113

Lipsey, M.W. 92

livsmedelskontroll 65

Lonsdale, Jeremy 61

Lynd, Robert 25

M

management by objectives 50

Mannheim, Karl 23

Mark, Melvin M. 51

Marx, Karl H. 181

Mayer, Roger C. 166

Mayne, John 86

medborgarkommissioner 206

media 117, 135, 158, 212

mekanismer 32, 38, 48, 50, 51, 69, 74, 77, 87, 89, 90, 93, 94, 96, 103, 167, 178, 179, 197, 213

Merton, Robert 23, 32

misstroendeförklaring 147

Myndigheten för vård och

omsorgsanalys 124

Myrdal, Gunnar 23

mål  Se politiska mål målstyrning  Se resultatstyrning

National Audit Office (NAO) 197

National Research Council

US (NRC) 25

New Public Management (NPM) 50, 62, 140, 161–163, 187

Nilstun, Tore 192

Radin, Beryl A, 178

regeringsformen 31, 55, 56, 118, 144, 149, 156, 157, 210, 211

Regeringskansliet 120, 121, 125, 208

rekommendationer 82, 96, 124, 213

Renlund, Gösta 110

resultatanalys 113, 122

resultatstyrning 67, 112, 162, 191, 192

OECD 171, 173

ombudsmän 157

P

Patton, Michael Quinn 51, 54

Pawson, Ray 86, 90

perfektionsnorm 193

performance auditing 19  Se effektivitetsrevision

Performance Budgeting 50

Petersson, Gustav Jacob 79

poitiska mål 162

policyanalys 26

politik 176

politik och administration

dikotomi 176, 187, 188

politiska mål 70, 71, 87, 90, 91, 92, 93, 106, 107, 112, 114, 122, 160, 166, 177, 187–199, 207, 212

Pollitt, Christopher 41, 42, 62, 161, 201, 203

Power, Michael 43, 46, 140, 175

Premfors, Rune 118, 119

Pressman, Jeffrey L. 92

programbudgetering 108, 109, 111–113, 116, 187, 192, 200

programteori  Se interventionsteori punctuated equilibrium 181

purposive social actions 23, 32

results based management 50

riksdagen

frågeinstitut 157

kontrollmakten 145, 157

Riksrevisionens

tillkomst 131, 132

utskottens utvärderingsupp -

drag 30, 31, 90, 118, 120

Riksdagens revisorer 109, 110, 111, 115, 130

Riksdagsordningen 55, 56, 118

Riksrevisionen

bildande 109, 131, 132, 186

förhållande till medborgare 204

innehåll i rapporter 191, 198

rättslig reglering 56, 133, 157, 210

Riksrevisionsverket (RRV) 109, 110, 113–115, 130, 169

Rogers, Patricia 83

Rossi, Peter H. 19, 31, 83

Rothstein, Bo 182

Rousseau, Jean-Jacques 22

Ruin, Olof 162

SSahlin-Andersson, Kerstin 173

Sandahl, Rolf 79

Schwartz, Robert 59

Scriven, Michael 16, 17, 18

Shadisch, William R. 79

Skolinspektionen 126, 149

Skolutredning, 1940 års 106

Socialstyrelsen 123

Stame, Nicoletta 28

Stanley, Julian 79

Statens ekonomiadministra -

tiva system (SEA) 113

Statens Skolverk 123

Statskontoret 114, 122, 127

Sterzel, F. 109

Styrutredningen 122, 166, 208

Suchman, Edward A. 27, 51, 86

Summa, Hilkka 62

Sundström, Göran 115

Svenska Utvärderingsföreningen 171

Sveriges kommunala yrkesrevisorer (SKYREV) 134

Sveriges Kommuner och Regioner (SKR) 210

teokrati 142

teorianknytning 82, 94

The European Association for Quality Assurance in Higher Education 174

the great society 27, 83, 107

The International Association of National Public Health Institutes, 174

Tilley, Nick 86

tillförlitlighet 70, 73, 74, 77, 78, 97, 103

Tillitsdelegationen 67, 163, 166

tillsyn 19, 64, 65, 66, 67, 68, 79, 125, 126, 134, 149

Tillsynsutredningen 66, 126

tillväxtanalys 124

trafikanalys 124

Trafikverket 123, 124

transdiscipline 17

transnational regulation 172, 173

transparens 96, 97 U

Ullenhag, Kerstin 109, 110

Uppsala möte 142

utvärdering

ansvarsinriktad 38, 41, 51, 70, 79, 82, 96, 102, 104, 120, 123, 125 antaganden om samhällsutvecklingen 28, 176, 177

bieffekter 30

definition 16, 18, 30, 31, 32, 33, 35 etik 203

framväxt 21, 22, 23, 24, 25, 27

förhållande till annan

kunskap 32, 179, 180, 181, 183

förhållande till ordet evaluation 16

förhållande till politik 21, 24, 28, 29, 32, 38, 77, 169, 182, 183, 185, 186, 187, 188

inkrementella förändringar

179, 181, 182, 183, 213

institutionalisering 169, 170, 171, 172, 173, 174

professionalisering 171, 203

Ū

specifika syften 20, 36, 37, 39, 52, 69, 70, 77, 78, 81, 82, 94, 95, 97, 101, 102, 103, 104, 122, 123 vested interest 177, 178

utvärderingssystem 170, 173, 179, 180, 184

van de Donk, Wim 102

Vedung, Evert 18, 19, 28, 31, 32, 92, 176

vested interest 171

Voltaire 22

von Riecken, Henry 24

Världsbanken 27, 173

Weber, Max 43

Weiss, Carol H. 17, 18, 19, 31, 39, 51, 81

Wholey, Joseph 51

Wildavsky, Aaron 92, 113, 154, 177

Wilson, James 145

Wilson, Woodrow 23, 145

Zaremba, Maciej 163, 166

åtal mot statsråd 157

Jan-Eric Furubo har arbetat med utvärdering och frågor om offentlig styrning sedan 1970-talet, bland annat som chef inom Riksrevisionsverket och revisionsråd vid Riksrevisionen. Han har deltagit i den internationella diskussionen om utvärdering och revision, och skrivit flera böcker och en rad artiklar.

Utvärdering och kontroll

TILLTRO OCH ANSVARSUTKRÄVANDE I DEMOKRATIN

Utvärdering och kontroll är i dag central i all offentlig verksamhet och dess spridning runt världen backas upp av mäktiga institutioner, som EU, Världsbanken och OECD. Emellertid ställs sällan frågor om hur denna utveckling påverkar ett demokratiskt samhälle. Inom ramen för denna övergripande fråga, och mot bakgrund av hur utvärdering har vuxit fram i Sverige, tar boken bland annat upp frågor som: Vad skiljer utvärdering från annan kunskap som är viktig i offentlig verksamhet? På vilket sätt skiljer sig ansvarsinriktad ut värdering, till exempel effektivitetsrevision, tillsyn och inspektion, från annan utvärdering? Hur påverkar utvärdering och kontroll tilltro och misstro i samhället? Hur användbar är utvärdering när samhällen ställs inför nya problem eller kriser?

Boken vänder sig till dem som i olika utbildningar deltar i kurser om till exempel utvärdering och revision men även till alla som i statliga och kommunala verksamheter genomför, beställer och använder utvärdering och revision.

Art.nr 40358