Bastøe- Fem forutsetninger for gode evalueringer

Per Øyvind Bastøe

Det er mange meninger om hva evaluering innebærer, og hva som kjennetegner en god evaluering. Basert på sin ­omfattende nasjonale og internasjonale erfaring drøfter for­ fatteren i denne boken fem forutsetninger som må innfris for at evalueringer skal kunne bli gode og nyttige.

For det første må det klargjøres hva evaluering er, og hva evaluering skal brukes til. For det andre må det avklares hva som skal evalueres, hvordan det skal evalueres, og hvordan en skal bruke og følge opp evalueringene. For det tredje må evaluerings­prosessene være systematiske og i tråd med anerkjente kriterier. For det fjerde må det være en kvalitets­ standard for evalueringsarbeidet. For det femte må det være en organisasjons- og lærings­kultur som stimulerer til åpen­ het om hva som fungerer, og hva som ikke fungerer.

Boken er rettet mot alle som har med evalueringer å gjøre, som tilretteleggere, bestillere, gjennomførere og interes­ senter av evalueringer. Det gjøres mangfoldige evaluerin­ ger i offentlig sammenheng, i private virksomheter og i sivilsamfunnsorganisasjoner. Det er stor variasjon i hva evalueringer dreier seg om, og stor ­variasjon i kvaliteten på evalueringene og hvordan evalueringer blir brukt. Boken er et bidrag til å forbedre dette arbeidet.

9 788205 532793 >

FEM FORUTSETNINGER FOR GODE EVALUERINGER

ført og fulgt opp et stort antall evalueringer.

Han er nå evalueringsdirektør i Norad med ansvar for gjennomføring av uavhengige tema­ tiske evalueringer i hele bredden av Norges utviklingssamarbeid. Han er også leder for evalueringsnettverket i oecds utviklings­ komite. Han har tidligere hatt stillinger innen forskning, i andre deler av offentlig forvaltning i Norge og i flere multilaterale inter­nasjonale organisasjoner. Han var med å etablere Norsk evalueringsforening i 2009.

Per Øyvind Bastøe

per øyvind bastøe har ledet, gjennom­

FEM FORUTSETNINGER FOR GODE EVALUERINGER

Hvordan kan vi vite at ressursbruken er effektiv - at igangsatte tiltak virker som forventet og at de gjennomføres på en god måte? Evaluering er et nyttig og ­nødvendig verktøy for å kunne svare på slike spørsmål. I denne boka gir Per Øyvind Bastøe en innføring i hva som skal til for å lykkes med gode og relevante evalueringer som grunnlag for kunnskaps­ basert styring og politikkutforming. Boka vil være en ­inspirasjon for alle som er opptatt av læring og forbedring i offentlig forvaltning. hilde singsaas, direktør i Direktoratet for økonomistyring

fem forutsetninger for gode evalueringer

per øyvind bastøe

fem forutsetninger for gode evalueringer

© Gyldendal Norsk Forlag AS 2020 1. utgave, 1. opplag 2020 ISBN 978-82-05-53279-3 Omslagsfoto: Shutterstock Omslagsdesign: Gyldendal Akademisk Sats: have a book Brødtekst: Minion Pro 10/14,5 pkt Papir: 90 g Amber Graphic Trykk: Opolgraf, Polen 2019 Alle henvendelser om boken kan rettes til Gyldendal Akademisk Postboks 6730 St. Olavs plass 0130 Oslo www.gyldendal.no/akademisk akademisk@gyldendal.no Det må ikke kopieres fra denne boken i strid med åndsverkloven eller avtaler om kopiering inngått med KOPINOR, interesseorgan for rettighetshavere til åndsverk. Kopiering i strid med lov eller avtale kan medføre erstatningsansvar og inndragning, og kan straffes med bøter eller fengsel.

Alle Gyldendals bøker er produsert i miljøsertifiserte trykkerier.

Se www.gyldendal.no/miljo

Forord

Hva som er en god evaluering, er mye debattert. Synspunktene reflekterer i stor grad hvilke forventninger en har til en evaluering, hva evalueringen skal brukes til, hva som evalueres, og i hvilken sammenheng evalueringen foregår. Det er altså ikke et entydig svar på spørsmålet. Det vil jeg heller ikke gi i denne boken. Det jeg vil, er å dele mine erfaringer fra arbeid med evaluering i ulike roller i ulike organisasjoner, både i Norge og internasjonalt. Jeg vil drøfte fem grunnleggende forutsetninger knyttet til evalueringsvirk­ somheten. Min påstand er at ved å tenke bevisst gjennom disse fem forutsetningene vil det kunne legge grunnlaget for gode og nyttige evalueringer. Hovedformålet med boken er med andre ord å gi råd gjennom å drøfte erfaringer, synspunkter og ulike tilnærminger til de fem forutsetningene.

Målgruppen for boken er alle som har med evalueringer å gjøre, slik som tilretteleggere for evalueringsvirksomhet, bestillere, gjennomførere og interessenter av evalueringer. Det blir gjort mange evalueringer i offentlig sektor, i sivilsamfunnsorganisasjoner og i privat sektor. Erfaringene er at det er stor variasjon i hva evalueringer dreier seg om. Det er også stor variasjon i kvaliteten på evalueringene og i hvordan evalueringer blir brukt som grunnlag

6 forord for beslutninger og læring. Boken er ment å være en støtte til å heve kvaliteten på evalueringer.

Den første forutsetningen jeg drøfter, er behovet for å ha en forståelse av hva evaluering er, og hva evaluering skal brukes til i den spesifikke virksomheten en er i. Den andre forutsetningen er å sørge for at det blir gjort tydelig hva som skal evalueres innen en virksomhet, hvordan det skal evalueres, og hvordan en skal bruke og følge opp evalueringene. Det innebærer at det er en form for evalueringssystem på plass. Den tredje forutsetningen er å sørge for at evalueringsprosessene er ryddige og systematiske og i tråd med anerkjente standarder og kriterier. Den fjerde forutsetningen er å forstå hva kvalitet betyr for evalueringsarbeidet. Den femte forutsetningen er å utvikle evaluerings- og læringskulturen for å stimulere til åpenhet rundt hva som fungerer, og hva som ikke fungerer. Den kan skape mer vilje til å gjøre nødvendige endringer og forbedringer.

Min oppfatning om at nettopp disse fem forutsetningene er sentrale, bygger på mer enn 30 års erfaringen med evaluering. Jeg fikk mitt første evalueringsoppdrag i 1988 da jeg ble engasjert av Forskningsrådet til å evaluere et nasjonalt handlingsprogram for barnevernet. Evaluering var da et lite brukt begrep innen samfunnsforskning og offentlig forvaltning i Norge. Jeg var nysgjerrig på hva evaluering egentlig innebar, og meldte meg inn i American Evaluation Association, som var det ledende internasjonale fagmiljøet innen evaluering. Siden den tid har jeg hatt ulike roller og oppgaver knyttet til evaluering og utvikling av evalueringsvirk­ somhet i mange ulike organisasjoner og sammenhenger.

Forståelsen og bruken av evalueringsbegrepet har gradvis endret seg i løpet av disse årene, både i Norge og internasjonalt. En viktig norsk evalueringsbegivenhet var da evaluering for første gang ble et krav i statsforvaltningen i forbindelse med innføringen av økonomireglementet for staten i 1997. Jeg ledet da Analyseavdelingen

forord 7 i Statskonsult, som var en nær medspiller til Finansdepartementet i arbeidet med å utforme reglementet. En annen viktig begivenhet var da Norsk Evalueringsforening ble etablert i 2009. Jeg var med i foreningens første styre.

De siste årene har jeg ledet evalueringsavdelingen i Norad, som er den største evalueringsenheten i den sentrale statsforvaltningen. Den er ansvarlig for å evaluere gjennomføringen av alle deler av norsk utviklingspolitikk. Samtidig leder jeg evalueringsnett­ verket i OECDs utviklingskomite. Det har medlemmer fra rundt 40 OECD-land, EU, multilaterale utviklingsbanker og FN-organisa­ sjoner, i tillegg til observatører fra en rekke land utenfor OECD. Den viktigste funksjonen til nettverket er å utvikle en felles forståelse av hva godt evalueringsarbeid er. Dette gjøres gjennom å utforme kriterier og standarder og ved å utveksle erfaringer. Evalueringskriteriene, som ble utformet for nesten 30 år siden og har hatt en avgjørende betydning for hvordan evaluering forstås internasjonalt, er nylig blitt revidert slik at de er mer tilpasset den tiden vi nå lever i.

Drøftingene i boken er inspirert av mange gode samtaler med evalueringskolleger i inn- og utland. Jeg har også fått mange nyttige kommentarer underveis i arbeidet med boken. Jeg vil spesielt takke Liv Moberg, Bergljot Baklien, Harald Baldersheim, Siv Lillestøl og kollegene i Evalueringsavdelingen for støtte og gode innspill.

Asker, oktober 2019 Per Øyvind Bastøe

Innhold

kapittel 1 første forutsetning : å forstå hva evaluering er, og hva det kan brukes til . . . . . . . . . . . . . . . . .

Utvikling i forståelsen av evaluering internasjonalt . . . . . . . . . . . . . . . . . . . .

Utviklingen av evaluering i Norge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Forståelsen av evaluering i den norske statsforvaltningen . . . . . . .

Evaluering foregår på ulike nivåer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Integrert i mål- og resultatstyring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Evaluering sett i forhold til andre styringsverktøy . . . . . . . . . . . . . . .

Noen refleksjoner rundt evalueringsforståelsen . . . . . . . . . . . . . . . . . . . . . . . . .

Oppsummering av kapitlet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . kapittel 2 andre forutsetning : å ha et evalueringssystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Innholdet i et evalueringssystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Forhold som må avklares i evalueringssystemet . . . . . . . . . . . . . . . . . . . . . . . . . .

Roller, rolleforståelse og kompetanse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Systematisk oversikt over gjennomførte evalueringer . . . . . . . . . . . . . .

Oppsummering av kapitlet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13 14 17 24 26 27 28 30 36

39 40 48 52 56 57

10 innhold kapittel 3 tredje forutsetning : gode evalueringsprosesser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Trinnene i en evalueringsprosess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Fase 1: Evalueringsdesign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Evalueringsperspektiv . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Evalueringsmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Intern eller ekstern evaluering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Evalueringskriterier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Involvering og medvirkning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Konseptutvikling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Mandatutforming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Fase 2: Gjennomføring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Oppstartsrapport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Sluttrapport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Anbefalinger . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Fase 3: Oppfølging og bruk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Formidling og kommunikasjon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Oppfølging og svar fra ledelsen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Kvalitetssikring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Oppsummering av kapitlet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

59 60 62 63 64 69 71 73 75 77 79 79 80 81 84 84 84 86 88

kapittel 4 fjerde forutsetning : å sørge for kvalitet på evalueringsarbeidet . . . . . . . . . . . . . . . . . . 92 Ulike perspektiver på kvalitet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 Uavhengighet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 Troverdighet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 Bruk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 Etikk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 Oppsummering av kapitlet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 kapittel 5 femte forutsetning : å ha en evaluerings- og læringskultur . . . . . . . . . . . . . . . . . . . . . . . . . .

Ansvarliggjøring og læring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Organisasjonskultur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Læring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

113 114 114 116

innhold 11 Større vekt på læring i evalueringer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 Samspill . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 Oppsummering av kapitlet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 kapittel 6 kjennetegnet på gode evalueringer . . . . . . . . . . . 128 Det første hovedbudskapet handler om å ta bevisste valg . . . . 129 Det andre hovedbudskapet er å forstå begrensningene ved evaluering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 referanser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 stikkord . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144