Page 1

Detta är en användbar bok om utvärdering, ett uppslagsverk att ständigt återkomma till. Författarna sammanfattar den aktuella forskningen på utvärderingsområdet – svensk såväl som internationell. Bokens många exempel hämtas framför allt från det välfärdsarbete som bedrivs inom socialtjänst och kommunal hälso- och sjukvård. Boken vänder sig till dem som arbetar inom välfärdsområdet, FoU-verksamma, brukare och politiker med intresse för ut­ värdering, samt till studerande inom universitet och högskolor. Per-Åke Karlsson och Bengt G Eriksson är centrala namn inom svensk utvärderingsforskning sedan mer än tjugo år. Deras förra bok Utvärdera Bättre är en klassiker på området.

I S BN 978-91-7205 -569 -8

9

789172 055698

Att utvärdera välfärdsarbete

• Vilka förändringar sker för brukarna? • Vad betyder arbetsmetoderna för resultatet? • Hur kan verksamheternas kvalitet bedömas?

Eriksson Karlsson

Allt större krav ställs på att välfärdsarbetet sker utifrån kunskaper om vad som är verksamt. För ett kunskapsbaserat arbete spelar utvärdering en central roll. I Att utvärdera välfärdsarbete går författarna igenom olika modeller och metoder för utvärdering inom välfärdsarbetet. De visar på de olika modellernas styrkor och svagheter och i vilka sammanhang de passar att användas. I boken beskrivs och exemplifieras utvärdering utifrån tre aspekter:

Att utvärdera

VÄLFÄRDSARBETE Bengt G Eriksson Per-Åke Karlsson


Innehåll Förord  7 Kapitel 1: Ett förändrat välfärdslandskap medför ökande krav på kunskap och evidens  9 Övergripande samhälleliga tendenser och trender  9 Välfärdsarbetet omstruktureras  12 Reformer och lagstiftningsförändringar  14 Mot ett evidensbaserat välfärdsarbete  16 Summering och slutsatser  20 Kapitel 2: Bokens syfte och uppläggning  21 Varför en bok om utvärdering i välfärdsverksamheter?  22 Bokens karta över utvärderingslandskapet  22 Bokens disposition  26 Summering  26 Kapitel 3: Vad är utvärdering?  27 Några definitioner av utvärdering  27 Några grundläggande frågor vid utvärdering  31 Fyra grundproblem vid utvärdering  32 Summering  33 Kapitel 4: Utvärdering – ett eget kunskapsområde  34 Varifrån och varthän?  34 Summering  38 Kapitel 5: Utvärdering av välfärdsverksamheter kräver etiska ­ställningstaganden  39 Utgångspunkter  39 Principerna eller situationens krav  40 Att följa värdegrunden och undvika att gå på värdegrundet  41 Yrkesetiska och forskningsetiska riktlinjer  43 Etik i utvärderingsarbetet  44 Summering  48

Välfärden.indd 3

08-05-14 15.55.04


Kapitel 6: Centrala begrepp  50 Utvärdering i eller av arbetet?  51 Uppföljning och utvärdering  53 Programutvärdering, programteori, individutvärdering, ­verksamhetsutvärdering  54 Process, struktur och förändring  56 Mål och medel  59 Utfall, resultat, effekt och kausalitet  61 Summativ respektive formativ utvärdering  67 Prestation, produktivitet, effektivitet  68 Kvalitet, kvalitetssäkring och kvalitetsutveckling  71 Evidensbaserad respektive evidens-informerad verksamhet  73 Summering  74 Kapitel 7: Modeller för utvärdering – några översikter  75 Tjugotvå modeller för programutvärdering  75 Elva modeller för utvärdering i politik och förvaltning  77 Tio modeller för utvärdering inom undervisning och kommunal verksamhet  79 Sju modeller för utvärdering inom det sociala området  80 Utvärderingslandskapet inom socialt arbete indelat i sju modeller  81 Summering  81 Kapitel 8: Utvärderingens praktik – en utvecklad grundstruktur  83 En utvecklad matris  83 Kapitel 9: Utvärdering genom processbeskrivning  86 Processtänkandet  87 Metodmässig öppenhet  88 Processbeskrivning  89 Förändring är det centrala  92 Helhet och sammanhang  93 Process och helhet hänger samman  94 Processbeskrivning är också värdering  96 När ska processen beskrivas?  96 Summering  98 Kapitel 10: Utvärdering genom processanalys  99 Den mångtydiga rörelsen  100 Processanalysens grunder  100

Välfärden.indd 4

08-05-14 15.55.04


Teoretiska kartor gör skeendet begripligt  103 Processanalys och komplementaritet  105 Processanalys i praktiken – hur gör man?  105 Processanalys som praktisk verksamhet  107 En alternativ form för processanalys  109 Summering  115 Kapitel 11: Före–efter-utvärdering – generella metoder  117 Före–efter-utvärderingens gemensamma grunddrag  118 Ett exempel från ett boende för personer med utvecklingsstörning  120 Integrerad utvärdering  123 Dokumentation, utvärdering, resultat  127 Summering och erfarenheter  128 Kapitel 12: Före–efter-utvärdering – specifika målgrupper  130 Före–efter-utvärderingens gemensamma grunddrag – några ytterligare reflektioner  130 Målgruppsspecifik och strukturerad utvärdering – lösningen på problemen?  132 Dokumentation och utvärdering – två sidor av samma mynt?  133 Dokumentation Om Klienter  134 Addiction Severity Index  135 Barns Behov i Centrum  136 Carer’s Outcome Agreement Tool  137 Functional Independence Measure  139 Summering  141 Kapitel 13: Målrelaterade utvärderingsmodeller  142 Olika sorters mål och något om målproblematik  144 Måluppfyllelseanalys  146 Bieffektsanalys  150 Målfri utvärdering  151 Summering och erfarenheter  152 Kapitel 14: Processanalys för metodutvärdering  153 Processanalys: Resumé och definition  154 Processanalys på den kritiska realismens grund  156 Processanalys som extern utvärdering och/eller i välfärdsarbetets vardag?  161 Summering  163

Välfärden.indd 5

08-05-14 15.55.04


Kapitel 15: Kvasiexperiment  164 Jämförelser i tid och rum  165 Kriterie- och kausalitetsfrågorna  166 Ett exempel från äldrevården  167 Ett något utförligare exempel från kriminalvården  169 Invändningar och problem  172 Låter sig detta göras i vardagsarbetet?  173 Summering och upp till försvar  173 Kapitel 16: Experiment  175 Kännetecken och krav  176 Utvärdering av systemiskt öppenvårdsarbete för unga med ­beteendestörningar  178 Träning för gamla på sjukhem  180 För vardagsarbetet?  182 Summering  182 Kapitel 17: Evidens och metastudier  184 Evidens som teori och diskurs  185 Evidens i välfärdsarbetets vardag  187 Metaanalys och metasyntes  188 Nationellt och internationellt stöd för utveckling av EBP  190 Summering  191 Kapitel 18: Verksamhetsutvärdering och kvalitetsarbete  193 Brukare värderar verksamheten  194 Självvärderingar och tillsyn  203 Kollegor granskar och ”peer-reviews”  204 Summering  206 Kapitel 19: Sammanfattningsvis om utvärdering inom ­välfärdsverksamheter  208 Att utvärdera välfärdsverksamheter – ett niopunktsprogram  209 Några faktorer som underlättar implementering av utvärderingsmetoder i vardagsarbetet  216 Slutord  218 Referenser  219

Välfärden.indd 6

08-05-14 15.55.04


Förord välfärd är att färdas väl genom livet, därom kan de flesta vara överens. Men välfärd är ett omfattande, svårfångat och mångtydigt fenomen som kan ges subjektiva och objektiva definitioner. Faktiska situationer blandas med upp­ levelser, normativa ideologier och politiska visioner. Att utvärdera välfärds­ arbete är ett sätt att försöka skapa en bättre grund för framtida insatser. Men inte heller utvärderingsfältet är entydigt. Olika perspektiv, utvärderings­ modeller, begrepp och metoder bryts mot varandra. Den här boken är ett försök att ta såväl välfärdsarbetets som utvärderingsfältets komplexitet på allvar. Vi utgår från ett brett perspektiv på välfärdsarbete. Likväl gör vi vissa avgränsningar och behandlar till exempel inte medicinska vårdinsatser eller administrativa åtgärder inom exempelvis socialförsäkringsområdet. Vi behandlar inte heller insatser inom områden som skolväsendet eller arbetsmarknadsinsatser, som ibland räknas till välfärdsarbete i vid mening. Utvärderingsområdet behandlas med fokus dels på brukarnas situation och hur den förändras, dels utifrån välfärdsarbetarnas ambition att i varje situation använda bästa möjliga insats, grundad i vetenskaplig kunskap, professionell erfarenhet och brukarnas önskemål. Arbetet med boken sträcker sig över en flerårig period och det är många som gett sitt stöd under vägen. Institutet för utveckling av metoder inom socialt arbete (IMS) och dess tidigare chef Karin Tengvald uppmuntrade och gjorde det möjligt för oss att utarbeta en grovstruktur för boken. Högskolan i Borås och FoU-enheten Äldreväst Sjuhärad (ÄVS), samt Karlstads universitet, Avdelningen för sociala studier och FoU-enheten IKU (Institutet för kvalitets- och utvecklingsarbete inom socialtjänsten) är våra arbetsplatser, där en del av arbetet kunnat ske. Inför arbetet fick vi hjälp med litteratursökning av Martin Borg vid Bibliotek- och läranderesurser, Högskolan i Borås. Under arbetets gång har Irene Lammissaari, ÄVS, hjälpt oss att få fram eftersökta artiklar och annat material. Mot slutet av arbetet har vi fått ovärderliga synpunkter från Elizabeth Hansson och Kerstin Frändin, ÄVS, Elisabeth Beijer, FoU i Väst, Göteborg, Karin Alexanderson, Dalarnas forskningsråd, Falun, 7

Välfärden.indd 7

08-05-14 15.55.04


samt Henry Cöster, Karlstads universitet. Många fler har läst delar av texten och gett goda synpunkter. Stort tack till er alla! Detta är vår tredje gemensamma bok om utvärdering inom välfärdens verksamheter. Vi har efterhand breddat vårt perspektiv på såväl välfärd som olika sätt att utvärdera välfärden och förbättra densamma. För en god välfärd krävs insatser från många olika professioner och myndigheter, offentliga och frivilliga organisationer samt – inte minst – att brukarna själva får ett stort inflytande. I denna sammansatta kontext kan utvärderingar ge väsentliga bidrag. Välfärdsarbetets uppgift är att bjuda utsatta människor en ”god färd genom livet”, menade Harald Swedner, landets förste professor i socialt arbete. Vi tillägnar denna bok minnet av honom. Karlstad och Borås, januari 2008 Bengt G Eriksson och Per-Åke Karlsson

8

Välfärden.indd 8

08-05-14 15.55.04


Detta är en användbar bok om utvärdering, ett uppslagsverk att ständigt återkomma till. Författarna sammanfattar den aktuella forskningen på utvärderingsområdet – svensk såväl som internationell. Bokens många exempel hämtas framför allt från det välfärdsarbete som bedrivs inom socialtjänst och kommunal hälso- och sjukvård. Boken vänder sig till dem som arbetar inom välfärdsområdet, FoU-verksamma, brukare och politiker med intresse för ut­ värdering, samt till studerande inom universitet och högskolor. Per-Åke Karlsson och Bengt G Eriksson är centrala namn inom svensk utvärderingsforskning sedan mer än tjugo år. Deras förra bok Utvärdera Bättre är en klassiker på området.

I S BN 978-91-7205 -569 -8

9

789172 055698

Att utvärdera välfärdsarbete

• Vilka förändringar sker för brukarna? • Vad betyder arbetsmetoderna för resultatet? • Hur kan verksamheternas kvalitet bedömas?

Eriksson Karlsson

Allt större krav ställs på att välfärdsarbetet sker utifrån kunskaper om vad som är verksamt. För ett kunskapsbaserat arbete spelar utvärdering en central roll. I Att utvärdera välfärdsarbete går författarna igenom olika modeller och metoder för utvärdering inom välfärdsarbetet. De visar på de olika modellernas styrkor och svagheter och i vilka sammanhang de passar att användas. I boken beskrivs och exemplifieras utvärdering utifrån tre aspekter:

Att utvärdera

VÄLFÄRDSARBETE Bengt G Eriksson Per-Åke Karlsson

9789172055698  

Att utvärdera Bengt G Eriksson Per-Åke Karlsson