universitet och APeL, professor Göran Brulin, Tillväxtverket, Sven Jansson, ansvarig för utvärdering på ESF-rådet, och Karin Sjöberg, utvecklingsledare på APeL.
Att fånga effekter av program och projekt Stora projekt som finansieras av EU utvärderas alltid. Men är dessa utvärderingar rättvisande? Letar man efter de verkliga och hållbara effekterna? Att fånga effekter av stora projekt är en svår uppgift. Inte minst beror det på att verkningarna kan vara av många olika slag – oväntade, icke avsedda, överraskande, dolda och ibland utanför målområdet. Det gör det inte mindre angeläget: dessa effekter kan vara viktigare än de planerade, avsedda och förväntade. I denna bok beskrivs resultatet av ett flertal analyser av utvecklingsarbete i stora projekt och program – i organisationer, på regional nivå, i nationella program med mera. Slutsatserna dras från teoretiska analyser samt från en lång rad empiriska studier.
Art. No. 37297
| Att fånga effekter
Boken vänder sig till forskare, regionalt utvecklingsansvariga och myndighetsföreträdare. Den kan användas i utbildning av olika slag – inom flera områden i högskolan och till projektledare, utvärderare, följeforskare och finansiärer samt projektägare.
Lennart Svensson Göran Brulin Sven Jansson Karin Sjöberg (red.)
Redaktörer för denna bok är professor Lennart Svensson, Linköpings
Att fånga effekter av program och projekt
R e da k t ör e r
Lennart Svensson Göran Brulin Sven Jansson Karin Sjöberg
www.studentlitteratur.se
978-91-44-08884-6_01_cover2.indd 1
2013-04-17 11.26
Kopieringsförbud Detta verk är skyddat av upphovsrättslagen. Kopiering, utöver lärares begränsade rätt att kopiera för undervisningsbruk enligt Bonus Presskopias skolkopieringsavtal, är förbjuden. För information om avtalet hänvisas till utbildningsanordnarens huvudman eller Bonus Presskopia. Den som bryter mot lagen om upphovsrätt kan åtalas av allmän åklagare och dömas till böter eller fängelse i upp till två år samt bli skyldig att erlägga ersättning till upphovsman eller rättsinnehavare. Denna trycksak är miljöanpassad, både när det gäller papper och tryckprocess.
Art.nr 37297 ISBN 978-91-44-08884-6 Upplaga 1:1 © Författarna och Studentlitteratur 2013 www.studentlitteratur.se Studentlitteratur AB, Lund Omslagslayout: Francisco Ortega Omslagsbild: Sarah Linton Printed by Specialtrykkeriet A/S, Denmark 2013
978-91-44-08884-6_01_book.indd 2
2013-04-16 17:11
Innehåll
Förord 9 Författarpresentationer 11 K apitel 1
Om effekter av program och projekt 15
L e n na rt S v e n s s on o c h G ör a n Bru l i n Bakgrund och syfte 19 Om resultat och effekter 20 Om projektlogiken 22 Några teoretiska utgångspunkter 24 Teorier om oförutsägbarhet och oväntade effekter 24 Om serendipiteter 25 Religionen som drivkraft för ekonomin 27 Att utvärdera effekter 27 Att utvärdera oavsedda och överraskande effekter 29 Förklaringar till effekter 30 Innehåll 31 Referenser 33 K apitel 2
Bieffekter, perversa effekter och andra egendomliga effekter av offentliga interventioner 35
E v e rt V e du ng Tvåfaldigt syfte 35 Cherokesernas hövding och regndansen 36 1909 års nationalparkslag förstör Ängsö nationalpark 36
© F ö rfattarna och S tud e ntlitt e ratur
978-91-44-08884-6_01_book.indd 3
3
2013-04-16 17:11
Innehåll
Värmepumpens historiska list 37 Typer av effekter 37 Innanför och utanför målområdet 39 Typer av effekter inom och utanför målområdet 39 Sakinriktade effekter – strategiska effekter 42 Historisk ironi – historisk komedi 42 Varför är det viktigt att beakta överraskande effekter? 42 Effektproblemet kontrafaktiskt illustrerat 43 Ansatser för att belysa effektproblemet 45 Experiment med slumpmässig kontroll 46 Experiment med matchad kontroll 49 Kontrollserieuppläggningen 52 Generisk kontroll 53 Skuggkontroll 55 Processpårning 58 Referenser 59 K apitel 3
Teoribaserad utvärdering 61
M a r i e l l e R ic h é Utvärdering inom EU 62 Mot god utvärderingspraxis 62 Teoribaserade utvärderingar 65 En outnyttjad potential 68 Möjligheter för nästa programperiod 70 Utvärderingsenhetens insats 74 Utvärderingsgruppen 75 Referenser 78 K apitel 4
Om effekter i Regionalfonden 81
G ör a n Bru l i n Hur värdera verkan av EU:s viktigaste verktyg? 82 Att beskriva verkan genom uppföljning och indikatorer 83 Utvärderingsbara mål för planeringsstyrd utvärdering 85
4
978-91-44-08884-6_01_book.indd 4
© F ö rfattarna och S tud e ntlitt e ratur
2013-04-16 17:11
Innehåll
Utvecklingsstödjande utvärdering för att förstärka verkan 86 Oväntade och överraskande effekter 88 Möjlighetsskapande storstadsprojekt 88 Nya och överraskande samarbetsmönster 89 Vad kan man lära sig av lyckade insatser? 90 Oväntade möjligheter – experimentera! 93 Vad kan man lära sig av mindre lyckade insatser? 94 Avslutning 95 Referenser 96 K apitel 5
Vad kan vi lära av Socialfonden? 99
S v e n Ja n s s on Vad är Socialfonden och vad har man gjort? 99 Satsningen på stora projekt 99 Strategisk påverkan 102 Lärande 104 Överraskande effekter av programmet 107 Mekanismer för hållbart utvecklingsarbete 109 En satsning på informell kompetens 109 Exemplet Basta 110 Slutsatser och diskussion 112 Referenser 114 K apitel 6
Effekter av ESF-projekt 115
C h a r l o t t e Nor r m a n o c h C h r i s t e r Joh a ns s on Arbete versus utanförskap 116 Konventionellt versus socialt entreprenörskap 117 ESF-projekten 120 Analys av projektens resultat 121 Analys av entreprenörskapet i projekten 122 Fördjupad analys av två projekt 124 Sammanfattande diskussion och slutsatser 125 Referenser 128
© F ö rfattarna och S tud e ntlitt e ratur
978-91-44-08884-6_01_book.indd 5
5
2013-04-16 17:11
Innehåll K apitel 7
Att fånga effekter efter och mellan projekt 129
L e n na rt S v e n s s on Pärlband av projekt 129 Fyra exempel 130 Hässleholm − ett sjukhus i snabb utveckling 130 LYSA − en yrkesutbildningsmodell 133 Telge − en social affärsmodell 134 Linköping – ett långsiktigt mångfalds- och jämställdhetsarbete 136 Drivkrafter för utvecklingen 137 Lärande över tid 138 En ökad ambitionsnivå 138 Fördjupad samverkan 139 Ett aktivt ägarskap 140 Sammanfattning och praktiska slutsatser 141 Referenser 143 K apitel 8
Att mäta effekter av regional utveckling 145
S ta f fa n Bj u ru l f o c h Agn et h a N i l s s on Kluster 146 En modell för att mäta effekter 147 Utvärderingsmetoderna i modellen 149 Skuggkontroll 150 Generisk kontroll 151 Processpårning 151 Modellens styrkor och svagheter 152 Exemplet Compare 153 Avslutande reflektioner 156 Referenser 157 K apitel 9
Oväntade potentialer för tillväxt 159
E r i k Ja kob s s on, K a r i n Sjöbe rg o c h M i k a e l S t ige n da l Exempel 1: Utveckling Nordost 162 Tillväxt och social sammanhållning 164
6
978-91-44-08884-6_01_book.indd 6
© F ö rfattarna och S tud e ntlitt e ratur
2013-04-16 17:11
Innehåll
Ägarskap och samverkan 165 Reflektioner 167 Exempel 2: Projektet HAMN 168 En tillväxt förankrad i kommunens vision 169 En kombination av olika intressen 170 Reflektioner 171 Avslutande diskussion 172 Referenser 175 K apitel 10
Om ägarskap av långsiktiga och oförutsedda effekter 177
Joh a n na Nä h l i n de r o c h M a l i n T i l l m a r Om olika effekter 178 Medarbetardriven innovation i vård och omsorg 179 PIMM och dess mål 185 PIMM och dess uppföljare 186 Flera olika effekter 188 Om effekter, lärande och ägarskap 191 Referenser 193 K apitel 11
Effekter från jämställdhetsintegrering 195
A n n e- C h a r l o t t C a l l e r s t ig o c h K r i s t i na L i n dhol m Vad är ett resultat och en effekt? 196 Hur vi gick till väga? 196 Några utgångspunkter 197 Jämställdhetsintegrering i Göteborgs stad 200 Effekterna avspeglar insatserna 201 Verksamhetsutvecklande effekter 202 Informella redogörelser om effekter 203 Jämställdhetsintegrering i olika delar av organisationen 205 Svårigheten att följa upp 208 Om dolda effekter 210 Referenser 213
© F ö rfattarna och S tud e ntlitt e ratur
978-91-44-08884-6_01_book.indd 7
7
2013-04-16 17:11
Innehåll K apitel 12
Projekt om jämställdhet eller jämställdhet som projekt 217
A n na F o ge l be rg E r i k s s on o c h E l i s a bet h Su n di n Jämställdhetssatsningar under sex decennier 218 Politik och program 219 Hur nå framgång? 220 Utmärkande för projektformen 221 Två exempel på organisatorisk förändring 222 Verkstadsföretaget 222 Kommunen 224 En jämförelse mellan fallen 226 Effekter av jämställdhetsprojekten 228 Projektens effekter och utvärderingsläran 229 Referenser 230 K apitel 13
Långsiktiga, överraskande och oväntade effekter 233
G ör a n Bru l i n o c h L e n na rt S v e ns s on Utgångspunkter för analysen 234 Några exempel 237 Teoretiska och praktiska slutsatser 241 Konsekvenser 244 Osäkerhet och oförutsägbarhet 246 Referenser 247
8
978-91-44-08884-6_01_book.indd 8
© F ö rfattarna och S tud e ntlitt e ratur
2013-04-16 17:11
Förord
Denna bok utgör en del av en långsiktig forskning, där syftet är att förstå och förklara hur effekter av stora projekt och program kan uppstå. I tidigare böcker har vi visat på betydelsen av lärande utvärdering, samverkan och ett aktivt ägarskap. I denna bok omprövar vi delvis våra tidigare slutsatser, som visade att det var svårt att identifiera och mäta effekter av stora programsatsningar. Vi undersökte kanske på ett bristfälligt sätt och uppmärksammade inte andra typer av effekter än dem som man traditionellt planerar för och förväntar sig. I denna bok kommer vi att definiera olika typer av effekter, framför allt dolda och överraskande effekter. Empirin är mycket omfattande – flera tusen projekt – framför allt inom Socialfonden och Regionalfonden. Vi har kunnat verka både inom och utom fonderna med tillgång till data och med en öppenhet för att kritisera och ifrågasätta. Vi har kunnat samla en kvalificerad grupp av forskare, utvärderare och ansvariga för att tillsammans analysera frågan om dolda effekter. Boken vänder sig till dem som arbetar med utvecklingsfrågor, både inom privat och offentlig sektor, chefer och forskare. Den erbjuder inga enkla lösningar och kommer inte med direkta råd och anvisningar. Däremot beskrivs och analyseras effekter av olika slag samt de mekanismer som förklarar hur dessa effekter kan uppnås. Vi har lärt oss mycket av det interaktiva och flervetenskapliga arbete som författandet av boken har inneburit. Vi hoppas att boken ska ge teoretiska insikter och vara till praktisk nytta. Men slutsatserna är inte definitiva och analysen är inte avslutad. Som läsare kan du bidra till en fortsatt aktiv lärprocess genom den offentliga debatt som vi vill bidra till. © F ö rfattarna och S tud e ntlitt e ratur
978-91-44-08884-6_01_book.indd 9
9
2013-04-16 17:11
Förord
Till alla berörda riktar vi ett varmt tack för praktisk hjälp, uppslag, idéer, stöd och bidrag till analysen. Linköping, Stockholm och Örebro januari 2013 Lennart Svensson Göran Brulin Sven Jansson Linköpings universitet Tillväxtverket ESF-rådet
10
978-91-44-08884-6_01_book.indd 10
Karin Sjöberg APeL FoU
© F ö rfattarna och S tud e ntlitt e ratur
2013-04-16 17:11
Förfat tarpresentationer
Staffan Bjurulf är huvudprojektledare för SLIM-projektet anställd på Region Värmland och certifierad utvärderare av EU-kommissionen, Direktorate General Regional Policy Evaluation Unit mellan år 2009–2012. Staffan Bjurulf är civilekonom och ordförande i European Cluster Observatory Advisory Board 2009–2012. Bjurulf är antagen till en doktorandkurs på Karlstads universitet, Centrum för Tjänsteforskning.
Göran Brulin är kvalificerad analytiker vid Tillväxtverket och ansvarig för följeforskningen i de regionala strukturfondsprogrammen samt adjungerad professor i lokala och regionala innovationer vid Linköpings universitet. Han har gett ut flera böcker om regional utveckling, följeforskning och lärande utvärdering, bl.a. Att äga, styra och utvärdera stora projekt. (Lund, Studentlitteratur). Med boken Managing Sustainable Development Programmes – A Learning Approach to Change försöker han och Lennart Svensson/Socialfonden påverka de andra 26 medlemsstaterna att anamma utvecklingsstödjande utvärdering för att nå målen om smart, hållbar och inkluderande tillväxt. Anne-Charlott Callerstig är doktorand på Linköpings universitet. Hon har erfarenhet från jämställdhets- och mångfaldsarbete både i Sverige och inom EU. Anne-Charlotts forskning handlar om det praktiska arbetet med jämställdhet och mångfald i offentliga organisationer ur ett förvaltnings perspektiv. Forskningen är interaktiv och fokuserar ett gemensamt lärande inom både kommunala och statliga verksamheter, bl.a. räddningstjänst, socialtjänst, utbildningsverksamhet, innovations-, tillväxts- och arbetsmarknadspolitik. © F ö rfattarna och S tud e ntlitt e ratur
978-91-44-08884-6_01_book.indd 11
11
2013-04-16 17:11
Författarpresentationer
Anna Fogelberg Eriksson är universitetslektor i pedagogik vid Institutionen för beteendevetenskap och lärande, Linköpings universitet. Hon är också anknuten till HELIX VINN Excellence Centre vid samma universitet. Hennes forskningsintressen omfattar frågor om organisering, ledning, innovationer, förändring och genus i organisationer. Erik Jakobsson är filosofie doktor i pedagogik och arbetar som forskare vid APeL FoU (se www.apel-fou.se). Han har länge arbetat med frågor om regional utveckling, EU:s strukturpolitik, organisatoriskt lärande, samverkan och kompetensförsörjning. Under senare år har Erik arbetat som följeforskare i ett antal utvecklingsprojekt både inom Socialfonden och Regionalfonden och har även arbetat med mer övergripande studier på programnivå på uppdrag av Tillväxtverket. Sven Jansson är Nationell samordnare och ansvarig för uppföljning och utvärdering vid Svenska ESF-rådet. Han har en mycket lång erfarenhet av strukturfonderna och har allt sedan Sveriges medlemskap i EU (1995) arbetat med Europiska socialfonden. Uppföljning- och utvärderingsfrågorna har under hela denna tid mer eller mindre varit kopplade till arbetet. Innan arbetet med Socialfonden så var det arbetsmarknadsfrågor vid arbetsmarknadsverket i Uppsala län som var i fokus. Christer Johansson, filosofie doktor, är universitetslektor i sociologi vid Institutionen för beteendevetenskap och lärande, Linköpings universitet. Hans forskning handlar om arbete och arbetsliv, speciellt företagande och entreprenörskap. Kristina Lindholm är filosofie doktor i genusvetenskap. Hon har under de senaste åren arbetat med forskning om jämställdhets – och mångfaldsarbete inom offentlig sektor. Hon är verksam som forskare vid APeL som är ett forsknings- och utvecklingscentrum inom området lärande och utveckling i arbetslivet. Agnetha Nilsson arbetar som kommunikatör i SLIM-projektet som är Region Värmland, Region Gävleborg och Region Dalarnas gemensamma satsning för klusterutveckling. Agnetha är utbildad statsvetare och journalist, och har 12
978-91-44-08884-6_01_book.indd 12
© F ö rfattarna och S tud e ntlitt e ratur
2013-04-16 17:11
Författarpresentationer
bland annat varit medförfattare i boken om klusterutvärdering, Clusters – Balancing Evolutionary and Constructive Forces. Charlotte Norrman är ekonomie doktor och universitetslektor i industriell organisation vid Linköpings universitet. Hon undervisar i entreprenörskap och industriell organisation och bedriver sin forskning främst inom områdena innovation och entreprenörskap i tidiga utvecklingsskeden. Johanna Nählinder är filosofie doktor och lektor vid Linköpings universitet samt forskare vid HELIX VINN Excellence Centre. Hon disputerade 2005 vid Tema Teknik och Social förändring på en avhandling om sysselsättnings effekter av innovationer i kunskapsintensiva tjänsteföretag. Hon har tidigare även arbetat som lektor i Statsvetenskap och utvärderare vid Technopolis. Hennes forskningsintressen omfattar framförallt innovationer och entreprenörskap i offentlig sektor. Marielle Riché är kvalificerad analytiker vid utvärderingsenheten på EU:s direktorat för regional och urban utveckling (marielle.riche@ec.europa.eu). Hon är ansvarig för att beställa och leda utvärderingar av de regionala strukturfondsinsatserna samt fungerar som expert gentemot de förvaltande myndigheterna i medlemsstaterna i utvärderings- och metodfrågor. Hennes ansvarsområden är ex ante utvärdering och teoribaserad utvärdering. Hennes särskilda intresseområden är utvärdering av innovationsinsatser samt design av förändringsteorier. Karin Sjöberg är utvecklingsledare vid APeL som är ett forsknings- och utvecklingscentrum inom området lärande och utveckling i arbetslivet. Hon har erfarenhet av arbete med processtöd och lärande utvärdering/ följeforskning på projekt- och programnivå, främst inom offentlig sektor. Uppdragen kännetecknas av ett interaktivt förhållningssätt där empiri och teorier om hållbart utvecklingsarbete utgör grunden för en gemensam kunskapsbildning. Mikael Stigendal är professor i sociologi vid institutionen för Urbana Studier på Malmö Högskola och kommissionär i Kommissionen för ett socialt hållbart Malmö. Han har sen mitten av 1980-talet forskat om städers utveckling, © F ö rfattarna och S tud e ntlitt e ratur
978-91-44-08884-6_01_book.indd 13
13
2013-04-16 17:11
Författarpresentationer
ofta genom internationella jämförelser i olika EU-projekt, med utgångspunkt i den grundläggande sociologiska frågeställningen om hur samhället hänger ihop. Mycket av forskningen har genomförts interaktivt, bl.a. som följeforskning, i samarbete med bl.a. kommunanställda, föreningsliv och ungdomar. Elisabeth Sundin är professor i företagsekonomi vid Linköpings universitet och en av forskningsledarna för HELIX VINN Excellence Centre vid samma universitet. Sundins forskningsintressen och forskningsområden har expanderat över åren. Organisatoriska perspektiv och organisatorisk förändring är dock ett gemensamt tema på frågor som formuleras kring regional utveckling, entreprenörskap, innovation, offentlig sektors omvandling, genderiserade processer med mera. Lennart Svensson är professor i sociologi vid Linköpings universitet och en av forskningsledarna vid HELIX VINN, som är ett Centre of Excellence (se www.liu.se/helix). Han är också forskningsledare vid APeL som är ett forsknings- och utvecklingscentrum inom området lärande och utveckling i arbetslivet (se www.apel-fou.se). Forskningen har handlat om lokal och regional utveckling, arbetsplatslärande, interaktiv forskning, nätverk, partnerskap och projektarbete. Malin Tillmar är docent i företagsekonomi vid Linköpings Universitet, samt biträdande centrumchef och forskningledare vid HELIX VINN Excellence Center. Hon forskar om organisering och organisatorisk förändring, bland annat i spåren av offentlig sektors omvandling och disputerade 2002 med avhandlingen ”Swedish Tribalism and Tanzanian Agecy: P reconditions for trust and cooperation in a small business context”. Ett övergripande tema för Tillmars forskning är entreprenörskapets förutsättningar i olika, tidigare sparsamt beforskade kontexter. Evert Vedung är professor emeritus vid Institutet för bostads- och urbanforskning och Statsvetenskapliga institutionen, Uppsala universitet. Bland hans verk på utvärderingsområdet märks Utvärdering i politik och förvaltning (uppl 3 2009), Four Waves of Evaluation Diffusion (2010), Public Policy and Program Evaluation (1997) samt Carrots, Sticks and Sermons: Policy Instruments and Their Evaluation (1998). Han är också gästprofessor vid Linnéuniversitetet i Växjö.
14
978-91-44-08884-6_01_book.indd 14
© F ö rfattarna och S tud e ntlitt e ratur
2013-04-16 17:11
Kapitel 1
Om effekter av program och projekt L e n na rt Sv e ns s on o ch G ör a n Bru l i n
En omfattande forskning hävdar att utvecklingsprogram och projekt sällan leder till långsiktigt hållbara effekter (Brulin och Svensson 2011). Projekt ger ofta kortsiktiga resultat, men dessa tenderar att försvinna när projekt ledningen slutar och utvecklingsprogrammet avslutas. En förklaring till avsaknaden av långsiktiga effekter är att projekt är något som drivs ”vid sidan om” och att resultaten inte integreras i den ordinarie verksamheten. Man är inte tillräckligt tydlig i programgenomförandet med att projekten ska ha tydliga ägare, leda till lärande och ske i samverkan med andra aktörer. Men även om forskningen och den allmänna debatten är kritisk till möjligheterna att skapa långsiktigt hållbara effekter, så överdrivs kanske den negativa vinklingen. Ny forskning om offentligt finansierade program visar att när vi faktiskt börjar undersöka utfallet av dessa, så ser vi mer av framgång än vad som kan förväntas (Marsh och McConnell 2010). En studie av ensidiga misslyckanden kan visa på oväntade (och icke-avsedda) politiska effekter, studier där endast misslyckanden riskerar att legitimera framväxten av en ”nyliberal styrning” av den offentliga sektorn (Bovens m.fl. 2006). Kanske finns det långsiktiga effekter av program och projekt som vi inte känner till eller förstår betydelsen av. Kan det till och med finnas oavsedda eller överraskande effekter som är viktigare än de planerade och förväntade? Hur kan sådana, dolda, effekter fångas, analyseras och värderas? Kan en rad projekt som följer på varandra – ett så kallat pärlband av projekt – leda till ett lärande som gör att effekter ändå uppstår på längre sikt, det vill säga som ett samlat resultat av olika insatser och program? Hur ska en utvärdering se ut och organiseras för att kunna fånga upp oavsedda och överraskande effekter av ett projekt? © F ö rfattarna och S tud e ntlitt e ratur
978-91-44-08884-6_01_book.indd 15
15
2013-04-16 17:11
Lennart Svensson och Göran Brulin
Inte minst när det gäller EU:s strukturfonder är oavsedda och överraskande effekter av program och projekt viktiga, närmast avgörande för framgång. Vi är alla beroende av att EU börjar växa och skapar tillväxt om vi ska ta oss ur de statsfinansiella kriserna och arbetslöshetskrisen. EU:s sammanhållningspolitik är, förutom den inre marknaden, det främsta verktyget för att få hela Europa att växa. Med hjälp av de över 800 miljarder euro som ska gå till strukturfonderna 2014–2020 ska målen för samman hållningspolitiken genomföras av ett Europa karaktäriserat av smart, hållbar och inkluderande tillväxt. Även om det är stora summor som går till sammanhållningspolitiken, så räcker dessa inte på långa vägar, utan det är bara de sekundära effekterna av nyskapande program och projekt som verkligen kan få arbetsmarknader, regional innovation och tillväxt att förändras, förbättras och förstärkas. Förutsättningen för att program och projekt ska ge ringar på vattnet, det vill säga multiplikatoreffekter (Brulin och Svensson 2011:11), är en utvecklingsstödjande utvärdering. I den nationella strategin för regional konkurrenskraft, entreprenörskap och sysselsättning, som har styrt genomförandet av strukturfonderna 2007–2013, framhöll regeringen (Regeringen 2007:39) att redan i denna ”programperiod ska det ges nya möjligheter till samarbete mellan strukturfondsprogram i olika medlemsstater inom EU, med syfte att stimulera erfarenhetsutbyte kring regionala utvecklingsfrågor. Regeringen anser att den typen av samarbeten bör initieras inom ramen för samtliga svenska strukturfondsprogram.” Dessvärre har få initiativ tagits för att leva upp till dessa förväntningar i den nationella strategin. Lärandet mellan medlemsstaterna om hur man skapar och använder sig av en utvecklingsstödjande utvärdering har varit få, för att inte säga obefintliga. Ett av de få exemplen är de svenska initiativen bland annat med boken Managing Sustainable Development Programmes (Brulin och Svensson 2012). Vid olika konferenser, seminarier och möten har Sverige försökt argumentera för att såväl Regionalfonden som Socialfonden måste lämna ett alldeles för ensidigt fokus på indikatoruppföljning och ersätta den planeringsstyrda utvärderingen med en utvecklingsstödjande. Strukturfonderna ska stödja strukturomvandling mot innovation och entreprenörskap, nya jobb och kompetensutveckling. Då kan man inte på förhand definiera vad som ska komma ut ur program och projekt, utan man
16
978-91-44-08884-6_01_book.indd 16
© F ö rfattarna och S tud e ntlitt e ratur
2013-04-16 17:11
1 Om effekter av program och projekt
måste leva med att det handlar om ett sökande efter och ett lärande om hur oväntade och överraskande effekter uppstår. Idén till den här boken har funnits sedan länge, men har aktualiserats av debatten om svårigheten att lösa komplexa problem med projekt och att påverka samhällsutvecklingen med hjälp av stora program. Frågeställningen är inte ny. En liknande kritisk diskussion fördes när det gällde försöken att förändra arbetslivet under 1960- och 70-talen. En omfattande försöksverksamhet genomfördes i Skandinavien, där ledorden var självstyrande grupper, arbetsberikning och inflytande för de anställda. Idéerna kom från Storbritannien men kunde lättare prövas genom en nära partsamverkan i lokala experiment, framför allt i Norge och Sverige. Den allmänna bilden, särskilt bland forskare, var att satsningen var misslyckad. De enskilda projekten var emellanåt lyckade, men spåren de satte var avgränsade och få till antalet och det skedde ingen systematiserad spridning. En forskarkollega till oss var 20 år efter tillkomsten av projekten intresserad av att studera långsiktiga effekter av satsningen i Sverige. Finansiärer och andra forskare hade från början svårt att se vad en sådan studie skulle leda till. Alla visste ju att försöken hade dött ut och att exemplen inte hade spridits som det var tänkt. Men professorn i företagsekonomi, Torbjörn Stjernbergs studie (1993), blev dock av och den visade på intressanta resultat. Det fanns inte så mycket kvar av utvecklingsarbetet lokalt i de berörda företagen. Försöken hade varit alltför begränsade till några få arbetsgrupper och de hade inte påverkat organisationen eller kulturen i företagen. Däremot hade det skett en spridning av idéerna bakom försöksverksamheten. Spridningen hade skett till andra företag och verksamheter, men inte på ett planerat eller förutsägbart sätt. I stället var spridningen ofta knuten till enskilda personer – ofta utvecklingsansvariga, chefer eller konsulter – som tog idéerna med sig till nya miljöer. När de fick en möjlighet att påverka arbetsorganisation och arbetsinnehåll tog de vara på tidigare erfarenheter och överförde dem till deras nya miljö. På det sättet spreds idéerna om teamarbete och arbetsutveckling snabbt över landet. Samtidigt skedde en mer teoretisk spridning av de socio-tekniska idéerna via forskning och högskoleutbildningar, något som på sikt kom att få stor betydelse för hur blivande chefer och HR-ansvariga tänkte och handlade. Det fanns också en stark spridning av forskningsresultat internationellt. Kanske kan man säga den socio-tekniska teoriutvecklingen är ett av de viktigaste © F ö rfattarna och S tud e ntlitt e ratur
978-91-44-08884-6_01_book.indd 17
17
2013-04-16 17:11
Lennart Svensson och Göran Brulin
bidragen internationellt från Skandinavien när det gäller arbetsorganisation och arbetslivsutveckling. Denna bok handlar alltså om långsiktiga effekter av program och p rojekt – framför allt oavsedda och överraskande effekter. Vedung (2009) gör en distinktion mellan olika typer av effekter, som utvecklas i kapitel 2. En distinktion finns mellan huvudeffekter och bieffekter. En annan finns mellan förväntade och förutsedda respektive oväntade och oavsedda effekter. Interventioner kan leda till bieffekter eller sidoeffekter av olika slag. En effekt kan vara direkt eller indirekt. I det senare fallet sker utfallet längre fram i kedjan. Effekter kan vara positiva eller negativa. De kan vara avsiktliga eller oavsiktliga. Utfallen kan befinna sig inom ramen för målen i ett projekt, men de kan också ligga utanför målområdet. En pervers effekt innebär ett utfall som är rakt motsatt det som avsetts. I boken använder vi begreppet överraskande effekter för det som Vedung betecknar som oväntade och oavsedda effekter. Varför är det så viktigt med alla dessa distinktioner av begreppet effekter? För att förstå den långsiktiga hållbarheten av ett utvecklingsprogram, så bör den dynamiska effektbilden klargöras, menar vi. En viktig fråga är vilka kriterier man ska ha för att göra en samlad bedömning av effekterna av ett program. Det här betyder att det ställs nya krav på utvärderingarna. Nya forskningsfrågor väcks. Studiet av överraskande effekter och bieffekter av olika slag är gravt underskattat i forskningen. Det har bland annat att göra med att en sådan forskning kräver en längre tidshorisont (Vedung 2009:103). Samtidigt har många samhällsvetare genom tiderna problematiserat de överraskande och de dynamiska utfallen av olika reformer och förändrings program. Weber, Merton, Polynai med flera har framhållit att effekterna av program och projekt nästan aldrig blir de som avsetts. Icke desto mindre kan de ha en stor och betydande påverkan på samhällsutvecklingen. Boken är skriven av en rad erfarna forskare och personer som arbetat med utvecklingsprogram och projekt i olika roller. Boken syftar till att vara till praktisk nytta (för programansvariga, projektägare, projektledare, finansiärer med flera), men den ska samtidigt bidra till teoriutvecklingen på området. En viktig praktisk fråga är om man kan organisera ett projekt så att oavsedda och överraskande effekter kan förväntas uppstå. Ansatsen i boken är kritisk, prövande och diskuterande. Vi argumenterar inte för en viss metod när det gäller projekt eller utvärdering, utan ansatsen är kritisk, öppen
18
978-91-44-08884-6_01_book.indd 18
© F ö rfattarna och S tud e ntlitt e ratur
2013-04-16 17:11
1 Om effekter av program och projekt
och lärande, även om vår bakgrund ligger i interaktiv forskning, lärande utvärdering och följeforskning (se Svensson m.fl. 2009). Detta kapitel ger en bakgrund till och anger syftet med boken. Det innehåller ett antal utgångspunkter för de övriga kapitlen som är skrivna av olika författare. Kapitlet har utvecklats och förändrats i dialog med övriga författare till boken.
Bakgrund och syfte Intresset för att förstå, analysera och bygga vidare på utvärderingarna av program och projekt är stort bland finansiärer, myndigheter, forskare och utvärderare. Det gäller bland annat för ansvariga inom EU:s strukturfonder. Strukturfondsprogrammen syftar till innovation, regional tillväxt, kompetenshöjning och sysselsättningsskapande. Dessa program har till uppgift att generera kunskaper och insikter i hur man kan driva projekt och program för långsiktigt hållbara effekter. De ansvariga för programmen ska årligen rapportera till regeringskansliet hur man samarbetar mellan de olika programmen, för att skapa största möjliga impact – det vill säga strategisk påverkan och strukturförändring. Den följeforskning och de utvärderingar som har gjorts av strukturfonderna har visat att programmen har lett till en rad resultat, men det har varit svårare att ange vilka långsiktiga effekter som åstadkommits. Det kan naturligtvis vara så att dessa gigantiska program inte leder till några långsiktiga effekter när det gäller sysselsättning, tillväxt, regional konkurrenskraft eller inkludering på arbetsmarknaden. Men kanske kan det vara så att programmen leder till effekter som är svåra att uppfatta och synliggöra, särskilt om det är fråga om oavsedda eller till och med överraskande effekter. Det är denna typ av effekter vi vill försöka förstå, analysera och diskutera med denna bok. Vi vet inte vad svaret av vår granskning blir. Vi är genuint nyfikna och vill lära oss mer om vilka oavsedda och överraskande effekter i projekt och av program som kan uppstå. Om det går att identifiera sådana effekter får det viktiga konsekvenser för dem som ska bedöma, äga, leda och utvärdera projekt. Det är den praktiska sidan av vår analys, men arbetet är också teoretiskt och drivet av vår nyfikenhet att förstå ett outforskat fenomen.
© F ö rfattarna och S tud e ntlitt e ratur
978-91-44-08884-6_01_book.indd 19
19
2013-04-16 17:11
Lennart Svensson och Göran Brulin
Om resultat och effekter Boken diskuterar alltså möjligheterna att fånga långsiktiga effekter av projekt och program. Vi vill sätta fokus på allt som händer och påverkas bortanför de kortsiktiga resultaten eller utfallen i form av aktiviteter. Denna skillnad mellan aktiviteter, resultat och effekter i ett utvecklingsarbete eller i ett projekt görs ofta inom programteori. En bedömning av nyttan med eller värdet av ett utvecklingsarbete kan göras utifrån olika utgångspunkter. Det kan då handla om följande: 1 Hur många och vilka aktiviteter som genomförts och vilket utfallet av dessa har varit. 2 De kortsiktiga resultaten av aktiviteterna. 3 De långsiktiga effekterna, det vill säga om resultaten tas om hand och blir en integrerad del av en verksamhet eller bidrar till en strategisk påverkan (av avtal, regler, lagar, policy- och styrdokument eller av den offentliga debatten). Om programmen och projekten stimulerar till lärprocesser i annan utvecklingsverksamhet kan vi tala om långsiktiga multiplikatoreffekter, det vill säga effekter som förmeras, förädlas och förstoras. För att blir mer konkreta kan vi översätta resonemanget ovan om nyttan med ett projekt till Socialfonden och satsningar på kompetensutveckling. Att delta i en utbildning är ingen garanti för att uppnå ett lärande som leder till ett praktiskt resultat. För att man ska kunna tala om ett resultat av en utbildning ska en individ ha lärt sig något – inte bara teoretiskt, utan också något som hon/han kan tillämpa, det vill säga individen ska ha fått en ökad kompetens. Ett individuellt lärande är dock ingen garanti för långsiktiga effekter. Om deltagarna inte får använda sina kunskaper och om arbetsplatsen inte fungerar som en lärande miljö så omsätts inte resultatet (lärandet) till långsiktiga effekter (en effektivare verksamhet). Idealt sett ska utbildning (en aktivitet) leda till lärande, som ger vidgade och mer ansvarfulla arbetsuppgifter (ett resultat), vilket i sin tur bidrar till att utveckla verksamheten, bland annat genom att den blir mer innovativ och konkurrenskraftig (en effekt). En oavsedd eller överraskande effekt i detta sammanhang – som vi sett exempel på – är att individer som deltagit i en utbildning, men som inte får använda sina kunskaper, lämnar en arbetsplats för att kunna utvecklas i en ny miljö. 20
978-91-44-08884-6_01_book.indd 20
© F ö rfattarna och S tud e ntlitt e ratur
2013-04-16 17:11
1 Om effekter av program och projekt
Långsiktiga multiplikatoreffekter – det vill säga en spridning till andra verksamheter – är av särskild vikt för projekten i de regionala strukturfondsprogrammen. Projekten inom insatsområdena regionala innovationsmiljöer och entreprenörskap/näringslivsutveckling förväntas sätta igång lär- och utvecklingsprocesser som ska leda till ökad innovationsförmåga och större entreprenörskap. Som ”ringar på vattnet” ska erfarenheter och kunskaper från projekten spridas för att bidra till ökad dynamik i de regionala tillväxtprocesserna. För programperioden 2007–2013 har följeforskning anvisats som utvärderingsansats (Brulin 2012). Den har gjorts fortlöpande. Följeforskningen visar att insatserna har inneburit förändring, förbättring och förstärkning av den regionala tillväxtpolitiken och sysselsättningsskapandet. Det svenska genomförandet av strukturfonderna utgör ett exempel i EU på att strukturfonderna kan användas för att få Europa att gå i riktningen mot nya jobb, nya företag och ökad tillväxt. Mest framgångsrika har insatserna för ökad innovationsorientering och mer entreprenöriella universitet och högskolor varit. Infrastruktursatsningarna, som gått till bättre utnyttjande av redan befintlig kapacitet, har också visat sig ge goda resultat och långsiktiga effekter i form av regionförstoring. Däremot tycks mycket av insatserna för näringslivsutveckling och entreprenörskap ske i upplöjda fåror. Alltför få av dessa insatser har gått till de snabbväxande innovativa företagen. Vidare har insatserna för regional attraktivitet emellanåt inneburit alltför mycket av satsningar på kultur och kulturarvsbevarande. De har inte genererat den sysselsättning och det företagande som förväntades i den nationella strategin, som har styrt strukturfondsgenomförandet i Sverige. Experimentet med 12 riskkapitalfondsprojekt som kommer att investera sammanlagt 2,155 miljarder SEK framstår som det verkligt nydanande greppet under denna programperiod. Kravet att i alla program arbeta för en hållbar miljömässig utveckling har satt tydliga spår; däremot har kraven på jämställdhet och stöd till integration snarare handlat om att följa lagar och regler än att se till att lika möjligheter och mångfald används som en hävstång för regional tillväxt och konkurrenskraft. Att utvärdera multiplikatoreffekter är svårt eftersom orsakskedjorna ofta är otydliga. Problemet i utvärderingssammanhang är att det är mycket svårt att verkligen belägga vilken betydelse ett program eller projekt har © F ö rfattarna och S tud e ntlitt e ratur
978-91-44-08884-6_01_book.indd 21
21
2013-04-16 17:11
Lennart Svensson och Göran Brulin
haft för att skapa en effekt i andra verksamheter. Det handlar bland annat om att fånga de lärprocesser som initierats inom och mellan organisationer. Hållbart utvecklingsarbete är något som ska leda till gemensamt lärande och långsiktiga effekter och där aktiviteter eller resultat ses som medel för detta, inte som mål i sig. Man kan säga att hållbarheten beror på hur dessa olika delar i utvecklingsarbetet kopplas samman. Aktiviteter är nödvändiga i sökprocesserna efter det nya – för att göra experiment och pröva nytt. Eftersom merparten aktiviteter i ett projekt sällan är lyckosamma, så krävs ett stort antal försök och experiment för att uppnå innovativa lösningar. Innovation uppstår ofta av tillfälligheter och genom slumpen, vilket betyder att aktiviteterna inte får vara alltför hårt styrda av planer och föreställningar om vad ett lyckat resultat innebär. Multiplikatoreffekter kan alltså uppstå på oväntade och överraskande sätt. Erfarenheter och resultat från projekt måste översättas och överföras till nya sammanhang, för att de ska leva vidare och vidareutvecklas av egen kraft. Ett utvecklingsstödjande utvärderingsarbete är av avgörande betydelse för en kunskapsbildning som skapar multiplikatoreffekter. I de följande avsnitten ska vi presentera några förklaringar till att utvecklingsarbete sällan blir hållbart. De planeringsstyrda utvärderings modellerna gör att program och projekt inte vågar fokusera på det oväntade och överraskande, vilket borde vara själva meningen med nyskapande program och projekt. Istället kommer program och projekt att domineras av en projektlogik som fokuserar utvecklingsarbetet på isolerade aktiviteter och kortsiktiga resultat.
Om projektlogiken Programlogik och programteori bygger på planering, förutsägbarhet och förväntade resultat och effekter. I offentligt finansierade projekt och program – som bygger på denna logik – finns en stor risk för att fokus hamnar på planering, att genomföra ett antal aktiviteter och att redovisa utfallet av dem. Det primära syftet blir att genomföra programmet och projekten, att fördela pengar, att redovisa och administrera. Uppgiften i de planeringsstyrda utvärderingsmodellerna blir att kontrollera att det som planerats på förhand har blivit gjort eller uppnåtts. Själva projektformen är i sig ett problem för att uppnå långsiktiga 22
978-91-44-08884-6_01_book.indd 22
© F ö rfattarna och S tud e ntlitt e ratur
2013-04-16 17:11
1 Om effekter av program och projekt
effekter. Det finns flera förklaringar till denna svårighet. Ett projekt har ett avgränsat mål, är tidsbestämt, bygger ofta på en extern finansiering, har en egen projektledning, bedrivs ofta vid sidan av ordinarie verksamhet och ledningsansvariga samt genomförs alltför ofta med ett internt fokus. Kommunikation av resultat, erfarenhetsspridning och kunskapsbildning kommer in i ett alltför sent skede och är alltför kontrollerande istället för utvecklingsstödjande. Sammantaget försvårar detta arbetssätt en långsiktig hållbarhet. Projekten bygger på en rationell tanke, där mål ställs upp, medel väljs, aktiviteter genomförs och resultat uppnås. Utgångspunkten är ett samförståndstänkande, där motsättningar och konflikter lyser med sin frånvaro. Det finns en tanke om att den bästa lösningen och målen uppfattas som entydiga, inte som konfliktfyllda eller motsägelsefulla. Omgivningen ses som stabil och framtiden som förutsägbar. Resultaten antas kunna överföras oberoende av situation, och processen uppfattas inte som viktig för resultatet. Detta sätt att se på utveckling kan fungera i projekt med entydiga mål, som är avgränsade i tid och rum i en stabil omgivning med kända förutsättningar. Vi utgår i stället från en mer komplex, men samtidigt mer realistisk, modell för hur långsiktigt hållbart utvecklingsarbete kan bedrivas. Utveckling, särskilt med inriktning på innovationer, är något som sker i öppna och dynamiska system, där utvecklingen är svår att förutse och där överraskningar och kriser är normala inslag (Taleb 2010). Ett hållbart utvecklings arbete, som ska leda till långsiktiga effekter, bygger på lärande och reflektion över gjorda erfarenheter, som ger en förståelse av de större sammanhang som ett projekt ingår i. Ett hållbart utvecklingsarbete får också stöd i utvecklingsstödjande utvärdering och kunskapsbildning. En öppen och lärande ansats är nödvändig för att kunna hantera olika dilemman och problem, så att dessa kan bedömas och analyseras utifrån den lokala kontexten och villkoren för en hållbar utveckling. I en specifik situation handlar ett dilemma om att kunna balansera mellan olika intressen, att väga för- och nackdelar med olika metoder mot varandra, att se hur individuella och organisatoriska förändringar kan motverka eller förstärka varandra, att kombinera fokus på kortsiktiga resultat med en strävan efter långsiktig hållbarhet och multi plikatoreffekter. Vad får resonemangen ovan om komplexitet, snabba förändringar i omvärlden och oförutsägbarhet för konsekvenser för ett projekt som ska leda till långsiktiga effekter? Ja, en följd blir att ett projekt måste kunna © F ö rfattarna och S tud e ntlitt e ratur
978-91-44-08884-6_01_book.indd 23
23
2013-04-16 17:11
universitet och APeL, professor Göran Brulin, Tillväxtverket, Sven Jansson, ansvarig för utvärdering på ESF-rådet, och Karin Sjöberg, utvecklingsledare på APeL.
Att fånga effekter av program och projekt Stora projekt som finansieras av EU utvärderas alltid. Men är dessa utvärderingar rättvisande? Letar man efter de verkliga och hållbara effekterna? Att fånga effekter av stora projekt är en svår uppgift. Inte minst beror det på att verkningarna kan vara av många olika slag – oväntade, icke avsedda, överraskande, dolda och ibland utanför målområdet. Det gör det inte mindre angeläget: dessa effekter kan vara viktigare än de planerade, avsedda och förväntade. I denna bok beskrivs resultatet av ett flertal analyser av utvecklingsarbete i stora projekt och program – i organisationer, på regional nivå, i nationella program med mera. Slutsatserna dras från teoretiska analyser samt från en lång rad empiriska studier.
Art. No. 37297
| Att fånga effekter
Boken vänder sig till forskare, regionalt utvecklingsansvariga och myndighetsföreträdare. Den kan användas i utbildning av olika slag – inom flera områden i högskolan och till projektledare, utvärderare, följeforskare och finansiärer samt projektägare.
Lennart Svensson Göran Brulin Sven Jansson Karin Sjöberg (red.)
Redaktörer för denna bok är professor Lennart Svensson, Linköpings
Att fånga effekter av program och projekt
R e da k t ör e r
Lennart Svensson Göran Brulin Sven Jansson Karin Sjöberg
www.studentlitteratur.se
978-91-44-08884-6_01_cover2.indd 1
2013-04-17 11.26