Program Evalueringskonferanse

Evalueringskonferansen 2012

Clarion Hotel Ernst, Kristiansand tirs. 4.— ons. 5. september

Postkonferanse tors. 6. september

Program Evaluering: Læring - styring - kontroll?

Arrangører:

I tillegg har Innovasjon Norge, Norad og Norges forskningsråd bidratt til konferansen

Evaluering: Læring - styring - kontroll?

Dag 1 - tirsdag 4. september 11.30

Ankomst Clarion Hotel Ernst: Registrering og lunsj

12.30

Åpning : Einar Lier Madsen, forskningsleder i Nordlandsforskning og leder for Norsk Evalueringsforening ønsker velkommen Dekan Sigbjørn Sødal, Universitetet i Agder åpner konferansen

12.50

Morten Øgård, førsteamanuensis ved Universitetet i Agder: Styrker og svakheter ved kommunekompasset som evalueringsverktøy - erfaringer fra Sverige, Danmark og Norge - Spørsmål og kommentarer

13.30

Espen Frøyland, avdelingsdirektør for Analyseavdelingen i Politidirektoratet: Politiets evaluering av hendelsene 22. juli 2011 - metodevalg og metodeutfordringer - Spørsmål og kommentarer

14.45

Parallellsesjoner: 1)

En introduksjon til virkningsevaluering Sesjonsleder: Siv Lillestøl, Norad

2)

Kontroll eller forbedring – bidrar Riksrevisjonens forvaltningsrevisjoner til en bedre statlig forvaltning?

Sesjonsleder: Anne Heyerdahl, Riksrevisjonen

16.30

Pause – kaffe og forfriskninger

16.45

Terje Ogden, Dr. philos og forskningsdirektør ved Atferdssenteret - Unirand og professor II ved Psykologisk Institutt, Universitetet i Oslo: Evaluering med kontrollerte design - bedre enn sitt rykte?

17.30

Årsmøte Norsk Evalueringsforening

18.30

Byvandring med guide i Kvadraturen

20.15

Middag på Clarion Hotel Ernst

www.uia.no/evaluering

Evaluering: Læring - styring - kontroll?

Dag 2 - onsdag 5. september 8.30

Vegard Bye, statsviter og partner i Scanteam: Evaluering av menneske-rettigheter - stiller vi de riktige spørsmålene?

9.15

Claus Rebien, Cand.scient.pol. og Ph.d. evaluering. COWI: Spesielle utfordringer ved evaluering av fagfolk: Case lærere

10.00

Pause - kaffe og forfriskninger

10.30

Parallellsesjoner:

12.00

1)

Programteori I – Programteorins historik, byggstenar och variationer Ved Lena Lindgren, Förvaltningshøgskolan, Gøteborg NB. Vær oppmerksom på at denne sesjonen går over to deler, og fortsetter etter lunsj.

2)

Evaluering som kunnskapsutvikling. Ideologiske spenninger mellom politikk og akademia Sesjonsledere: Astrid Birgitte Eggen og Ragnar Thygesen, Universitetet i Agder

3)

Hvordan evaluerer vi innovasjonsaktiviteter i næringslivet?

Sesjonsleder: Roger Norman, Agderforskning

Lunsj

13.00

Parallellsesjon 1) fortsetter..

Programteori II – Programteorins historik, byggstenar och variationer 4)

Forvaltningsrevisjon av kommunal virksomhet - læring-styring-kontroll?

Sesjonsleder: Bodhild Laastad, Norges Kommunerevisorforbund

5)

Evaluering av velferdsstaten. Hvor viktig er metodeutvalget for den erkjennelsen evalueringen gir?

Sesjonsleder: Thore K. Karlsen, Agderforskning

14.30

Pause - kaffe og forfriskninger

15.00

Evert Vedung, professor i statsvitenskap ved Uppsala universitet: Böljor, generationer eller träd? Om evalueringens diffusion i den atlantiska världen 1960-2012 Hanne Kathrine Krogstrup, professor i evaluering ved Aalborg universitet: Kampen om evidens. Evidens er ikke et entydig begrep, men kanskje snarere en maktkamp om den "riktige viten" . Professor Hanne Kathrine Krogstrup problematiserer evidensbegrepet, og gir et bud årsaken til evidensbegrepets utbredelse og dets implikasjoner for praksis.

- Spørsmål og kommentarer

16.30

Avslutning ved Einar Lier Madsen, Norsk Evalueringsforening og John-Olav Sæter, EVA forum www.uia.no/evaluering

Evaluering: Læring - styring - kontroll?

Parallellsesjoner, dag 1 kl. 14.45 1)

Marie Moland Gaarder, avdelingsdirektør i Evalueringsavdelingen i Norad: En introduksjon til virkningsevaluering Sesjonsleder: Siv Lillestøl, Norad

2)

Kontroll eller forbedring – bidrar Riksrevisjonens forvaltningsrevisjoner til en bedre statlig forvaltning?

Sesjonsleder: Anne Heyerdahl, Riksrevisjonen Forvaltningsrevisjon har de siste 10-15 årene fått et stort omfang og har blitt en viktig form for evaluering av offentlig forvaltning. Forvaltningsrevisjon er systematiske undersøkelser av økonomi, produktivitet, måloppnåelse og virkninger; metodikken har mye til felles med vanlig evalueringsmetodikk. Forvaltningsrevisjon er imidlertid revisjon og dermed også en formell kontroll av forvaltningen, noe som skiller den fra annen evaluering av offentlig forvaltning.

Riksrevisjonen utfører forvaltningsrevisjoner overfor statlig sektor. En sentral målsetning med dette arbeidet er å bidra til en bedre statlig forvaltning. Målet med denne parallellsesjonen er å belyse om den statlige delen av forvaltningsrevisjonen ikke bare er kontroll, men om den også fører til en forbedret, statlig forvaltning.

To innlegg: Effekter av forvaltningsrevisjon sett fra Riksrevisjonen Helge Strand Østtveiten er ekspedisjonssjef i Riksrevisjonen med forvaltningsrevisjon som ansvarsområde. I dette innlegget vil han presentere hvordan det tenkes rundt effekt av forvaltningsrevisjoner i Riksrevisjonen og hva Riksrevisjonen gjør for å sikre at forvaltningsrevisjonene fremmer god, statlig forvaltning.

Er forvaltningsrevisjon nyttig for de reviderte?

Kristin Reichborn-Kjennerud er stipendiat ved Universitetet i Bergen, Administrasjons- og organisasjonsvitenskap og forsker ved Arbeidsforskningsinstituttet. Hun vil presentere funn fra sitt doktorarbeid, blant annet har hun gjennomført en større spørreundersøkelse om hvordan ansatte i departementer, statlige, fylkeskommunale og kommunale virksomheter vurderer og opplever forvaltningsrevisjoner fra Riksrevisjonen. Hun har også kartlagt Riksrevisjonens forvaltningsrevisjoner som ble fulgt opp i perioden 2000-2011, samt den etterfølgende debatten i Stortinget og i media.

www.uia.no/evaluering

Evaluering: Læring - styring - kontroll?

Parallellsesjoner, dag 2 Kl. 10.30

1)

Programteori I – Programteorins historik, byggstenar och variationer ved Lena Lindgren, Förvaltningshøgskolan, Gøteborg Lena Lindgren gir en innføring i programteori, deltakerne får også prøve å tilegne seg programteori for planlegging av evaluering og utvikling av kvalitetssystemer . Vær oppmerksom på at sesjonen går over to deler.

2)

Evaluering som kunnskapsutvikling. Ideologiske spenninger mellom politikk og akademia.

Sesjonsleder: Professor Ragnar Thygesen, Universitetet i Agder Innledere:

3)

1.

Professor Lars Sigfred Evensen, NTNU, og professor Kjell Lars Berge, UiO.

2.

Professor Rolf Vegard Olsen, UiO

3.

Diskuttant: professor Christian Lundahl , Stockholms universitet

Hvordan evaluerer vi innovasjonsaktiviteter i næringslivet?

Sesjonsleder: Seniorforsker Roger Normann, Agderforskning RIS Centre, Agder Formålet med denne parallellsesjonen er å vurdere alternative evalueringsformer ved evaluering av innovasjonsaktiviteter i bedriftsnettverk. VRI (Virkemidler for Regional FoU og Innovasjon) og RFF (Regionale Forskningsfond) blir brukt som case studier til å illustrere hvordan evaluering skjer i praksis.

I 2009, var Hans Christian Garmann Johnsen ved UiA/Agderforskning bidragsyter til en rapport om kunnskapsgrunnlaget for evaluerende læring i VRI. Denne rapporten diskuterer samspillet mellom læring og organisasjonsutvikling og hvordan læring og læringsprosesser varierer i forhold til ulike nivåer i organisasjoner.

Oxford Research fikk i mars 2012 i oppdrag av NFR å gjennomføre en «Midtveisevaluering den nasjonale satsingen VRI (Virkemidler for Regional FoU og Innovasjon). Rapporten skal leveres i slutten av året. I følge mandatet skal evalueringen skape grunnlag for en læringsprosess for de som er involvert i VRI.

www.uia.no/evaluering

Evaluering: Læring - styring - kontroll?

Parallellsesjoner, dag 2 , fortsettelse..

I samråd med de regionale fondsregionene ble det i 2010 besluttet å sette i gang en følgeevaluering av RFF program. Et viktig mål med følgeevalueringen er å utvikle kunnskap om hvordan man gjennom organiseringen av forskningsfondene lykkes i målene om å mobilisere til økt forskningsaktivitet med utgangspunkt i regionale forutsetninger. NIFU, i samarbeid med Technopolis, ble valgt til å gjennomføre følgeevalueringen. Prosjektleder er Olav R. Spilling.

Denne parallellsesjonen presenterer således tre ulike tilnærminger til evaluering av to av de største regionale innovasjonspolitiske satsingene (VRI og RFF), og bidrar til en diskusjon rundt innretningen og utvikling av regionalpolitiske virkemidler.

Innlegg - sesjon 3, 2.dag 10.30: Introduksjon: Roger Normann, gruppe leder, Agderforskning AS. 10.35: «Kunnskapsgrunnlaget for evaluerende læring i innovasjonssystemer: VRIprogrammet som eksempel.» Hans Christian G. Johnsen, professor UiA og senior Forsker Agderforskning AS 10.50: «Midtveisevaluering av VRI: Begrunnelse for modellen som ble valgt» Harald Furre, administrerende direktør og prosjektleder og Aase Marthe Horrigmo, analytiker, Oxford Research.

11:05: «Følgeevalueringen av RFF» Olav R. Spilling, forskningsleder, NIFU

11:20: Kaffepause 11:30: Debatt: Hva er de viktigste utgangspunkter og utfordringer når innovasjonsprosesser i næringslivet skal evalueres?

12:00: Lunsj kl. 1300 Lena Lindgren :

Programteori II (forts.)– Programteorins historik, byggstenar och variationer 4) Forvaltningsrevisjon av kommunal virksomhet – læring-styring-kontroll?

Sesjonsleder: Bodhild Laastaad, Norsk kommunerevisorforbund Kommunene har spilt en sentral rolle i utviklingen og administrasjonen av velferdsstaten.

Lovforarbeidene til kommuneloven av 1992 påpekte et behov for rettssikkerhetsgarantier og forvaltningsmessig kvalitetssikring av kommunal virksomhet og foreslo at revisjonsbegrepet ble utvidet til ”en systematisk vurdering av bruk og forvaltning av de kommunale midler med utgangspunkt i oppgaver, ressursbruk og oppnådde resultater».

www.uia.no/evaluering

Evaluering: Læring - styring - kontroll?

Parallellsesjoner, dag 2 , fortsettelse..

Etter en lovendring i kommuneloven i 2003 er forvaltningsrevisjon definert som «systematiske vurderinger av økonomi, produktivitet, måloppnåelse og virkninger ut fra kommunestyret eller fylkestingets vedtak og forutsetninger». Lovforarbeidene gir eksplisitt uttrykk for at hensikten med forvaltningsrevisjon er å bidra til at virksomheten blir mer kostnads- og formålseffektiv, og at den har potensial til å bidra til organisasjonsmessig læring og utvikling i kommunene.

Det er en kjensgjerning at kunnskapen om og i hvilken grad forvaltningsrevisjon har effekter for læring-styring-kontroll, er begrenset. I denne parallellsesjonen ønsker vi å se nærmere på hva vi egentlig vet per i dag gjennom tre innledninger: 1. Hva sier forskningen om forvaltningsrevisjon som verktøy i egenkontrollen i norske kommuner og fylkeskommuner?

Innleder: Einar Lier Madsen, forskningsleder ved Nordlandsforskning og styreleder i Norsk Evalueringsforening 2. Ekstern evaluering av et interkommunalt revisjonsselskap: Bidrag til forbedring?

Innleder: Anna Ølnes, faglig leder ved Revisjon Midt-Norge IKS 3. Hvordan kombinere at kommunal forvaltningsrevisjon primært er et kontrollmiddel samtidig som den skal bidra til organisasjonsmessig læring og utvikling?

Innleder: Kristiansand Revisjonsdistrikt IKS. 5)

Evaluering i velferdsstaten. Hvor viktig er metodevalget for den erkjennelse evalueringen gir?

Sesjonsleder: Thore K. Karlsen, Agderforskning Tre innlegg: 1.

Evaluering av et intervensjonistisk langtidsprosjekt som sikter mot varig atferdsendring. En drøfting av hvilke problemer og dilemmaer som oppstår i slike evalueringer Forsker Nina Jentoft, Agderforskning 2.

Hva innebærer bruk av programteori ved evaluering for forholdet mellom evaluator og evaluand. En drøfting med et grunderprosjekt som eksempel.

Seniorforsker Thore K. Karlsen, Agderforskning

3.

Hvordan undersøke om AFP-ordningen fungerer etter hensikten?

Professor Morten Blekesaune ved Universitetet i Agder

www.uia.no/evaluering

Evaluering: Læring - styring - kontroll?

Hovedinnlederne

Morten Øgård er ansatt ved Institutt for statsvitenskap og ledelsesfag UiA, samt innehar bistilling ved UC- Berkeley (Centre for comparative social research). Er for tiden faglig ansvarlig for master i ledelse ved Fakultet for økonomi og samfunnsvitenskap UiA. Har siden ansettelse ved LOS - senteret i Bergen, UiO og fram til i dag vært interessert i forskning om forvaltningsinnovasjon, ledelse og utvikling av evaluerings/utviklingsverktøy for offentlig sektor. Har jobbet som konsulent og rådgiver for Europarådet, Utenriksdepartementet, Kommunaldepartementet, KS, Sveriges Kommuner og Landstingsforbund, Utdanningsdirektoratet samt bistått en rekke enkeltkommuner på den nordiske og internasjonale arenaen.

Espen Frøyland er samfunnsøkonom fra Universitetet i Oslo fra 1994. Han kom til Politidirektoratet fra stilling som seksjonssjef og prosessleder innenfor pensjonering i Statens pensjonskasse. Han har bred erfaring med analysearbeid og har ledererfaring fra ulike statlige virksomheter. Frøyland har vært leder for arbeidet med analyse og evaluering i Senter for statlig økonomistyring, og har også arbeidet med analyser av norsk og internasjonal økonomi i Norges Bank.

Terje Ogden er forskningsdirektør ved Atferdssenteret - Unirand og professor II ved Psykologisk Institutt, Universitetet i Oslo. Han har i en tiårsperiode forsket på virkningene av programmer for behandling og forebygging av alvorlige atferdsvansker hos barn og ungdom. Ogden er utdannet lærer og var i flere år virksom i den norske grunnskolen før han ble ansatt ved Psykologisk fakultet i Bergen og senere som leder av Barnevernets Utviklingssenter i Oslo. Barns og ungdoms utvikling og problemutvikling i hjem og skole er et sentralt tema i Ogdens forfatterskap med vekt på temaer som sosial kompetanse og sosiale nettverk . Se også www.ogden.no

www.uia.no/evaluering

Evaluering: Læring - styring - kontroll?

Vegard Bye,

statsviter og partner i Scanteam. Erfaring fra FN

(Høykommissær for Menneskerettigheter), Norad, NUPI, journalistikk osv. Jobbet med menneskerettigheter, demokrati, land i konflikt, særlig Latin-Amerika men også en rekke afrikanske og asiatiske land. Ledet mange omfattende evalueringsprosesser. Publisert en rekke bøker om latin-amerikanske forhold.

Claus C. Rebien

Cand.scient.pol. (political science) og Ph.d.

evaluering. Claus Rebien har mere enn 20 års erfaring med å gjennomføre evalueringer, analyser, organisasjonsutvikling og effektiviseringer innenfor utviklingsbistand, integrasjons-, arbejdsmarkedsog sosial- og sunnhetsområdene.

Han har tidligere erfaring som visedirektør i Danmarks Evalueringsinstitut-EVA og som visedirektør ved Dansk Sundhedsinstitut-DSI. I tillegg har han vært prosjektsjef ved COWI AS, forskningsadjunkt ved Copenhagen Business School-CBS og fullmektig i UNDP.

Hanne Kathrine Krogstrup er

professor i evaluering ved Aalborg Universitet og er pt. dekan ved Det Samfundsvidenskabelige Fakultet samme sted. Hanne Kathrine Krogstrup er forfatter til bl.a. bøkerne ”Evalueringsmodeller” og senest ”Kampen om evidens”, som utkom i 2011. Hun har i en lang årrekke vært aktiv i det skandinaviske evalueringsfelt og er ”moder” til BIKVA-modellen, som ble utviklet som en bottom–up orientert modell, hvor brukernes inndragelse er det vesentlige omdreiningspunkt.

Evert Vedung

er

prof.

emer.

i

statsvetenskap

med

spesialisering i bostadspolitikk ved Uppsala universitet samt gjestprofessor på deltid ved Linnéuniversitetet i Växjö. Hans bok Utvärdering i politik och förvaltning 2009 (1 uppl 1991) er oversatt til flere språk blant annet koreansk, tysk og spansk samt engelsk som Public Policy and Program Evaluation. Han var en av initiativtakerne til Svenska utvärderings-föreningen 2003. Hans doktorsavhandling Unionsdebatten 1905 (1971) er en komparation av argumenteringen i Norge og Sverige.

www.uia.no/evaluering

Evaluering: Læring - styring - kontroll?

Dag 3 - torsdag 6. september

Sted: Sørlandet Kunnskapspark, Gimlemoen 19, 4630 Kristiansand Møterom: Alfa

Utvärderingens elementa Professor Evert Vedung

09.00

Postsesjonen henvender seg til deg som vil få en enkel grunnleggende orientering i hva evalueringen er, inkludert hvilke spørsmål som stilles og hvordan de blir besvart i evalueringen.

Sesjonen begynner med en definisjon av begrepet evaluering (evaluering, evaluation) bl.a. i forhold til begrepet oppfølging (mentoring). Uttrykk som for eksempel ante, post eller nunc, samt formativ og summativ evaluering gjennomgås.

12.00

Lunsj

13.00

Andre temaet i postsesjonen: Evalueringens overgripende mål: utvikling, kontroll, grunnkunnskap.

Hvordan evaluatoren bygger opp intervensjonsteorier (programteorier) samt på hvilken måte disse kan anvendes i evalueringen.

Evalueringsmodeller: måloppfyllelsesevaluering, bieffektsevaluering, brukerorientert evaluering, intressentmodellen, økonomiske modeller samt selvevaluering og kollegabedømming og EU-modellen.

Effektspørsmålet inklusive eksperiment og kvasieksperiment , men spesielt generisk kontroll, skyggekontroll og fallstudier med prosessporing (process tracing).

Evidensbevegelsen, New Public Management samt EU:s ongoing evaluation.

16.30

Avslutning

www.uia.no/evaluering