Utvärderingsmonstret Om kvalitetsmätning i den offentliga sektorn Vi lever sedan slutet av 1990-talet i ett samhälle där intresset för utvärdering och närbesläktade aktiviteter som uppföljning, kvalitetsmätning, tillsyn och revision tycks eskalera mer och mer för varje år som går. Utvärdering sägs generera information som är viktig för verksamhetsutveckling, politisk styrning, kontroll och ansvarsutkrävande. Utgångspunkten i denna bok är att utvärdering inte självklart ska ses som en "god" aktivitet. Inbyggt i utvärdering finns också en potentiell kraft som kan påverka politik och verksamheter på oönskat vis. I bokens fokus står de växande krav på att mäta kvalitet som under senare år riktats mot många offentliga verksamheter, inte minst inom skola och socialtjänst där många av bokens exempel hämtas ifrån.
| Nya Utvärderingsmonstret
Nya
Lena Lindgren
Lena Lindgren är fil dr i statsvetenskap och docent i offentlig förvaltning vid Förvaltningshögskolan, Göteborgs universitet. Hon har mångårig erfarenhet av undervisning och forskning i policyanalys och utvärdering, och har genomfört ett flertal utvärderingar, främst inom utbildning, folkbildning och socialt arbete. Hennes forskning i ämnet har det senaste decenniet allt mer inriktats på kritisk granskning av utvärdering som ett samhällsfenomen i sig själv.
Nya Utvärderingsmonstret Om kvalitetsmätning i den offentliga sektorn
Med utgångspunkt i internationell litteratur i ämnet tillhandahåller boken praktiska anvisningar för hur man ska förstå, planera, genomföra och använda kvalitetsmätningar, men problematiserar samtidigt mätandets logik, metod och användning. Perspektivet är med avsikt kritiskt och ifrågasättande. Boken är angelägen för studenter inom bl.a. offentlig förvaltning, pedagogik och socialt arbete, samt för yrkesverksamma inom den offentliga sektorn som behöver skaffa sig en medveten hållning till utvärdering. Art.nr 32325
2:a uppl.
Andra upplagan
Lena Lindgren
www.studentlitteratur.se
978-91-44-08894-5_01_cover.indd 1
2014-05-15 10:04
Kopieringsförbud Detta verk är skyddat av upphovsrättslagen. Kopiering, utöver lärares begränsade rätt att kopiera för undervisningsbruk enligt Bonus Presskopias skolkopieringsavtal, är förbjuden. För information om av-talet hänvisas till utbildningsanordnarens huvudman eller Bonus Presskopia. Den som bryter mot lagen om upphovsrätt kan åtalas av allmän åklagare och dömas till böter eller fängelse i upp till två år samt bli skyldig att erlägga ersättning till upphovsman eller rättsinnehavare. Denna trycksak är miljöanpassad, både när det gäller papper och tryckprocess.
Art.nr 32325 ISBN 978-91-44-08894-5 Upplaga 2:1 © Författaren och Studentlitteratur 2008, 2014 www.studentlitteratur.se Studentlitteratur AB, Lund Omslagslayout: Jonas Nilsson Omslagsbild: Oskar Andersson, OA Printed by Graficas Cems S.L., Spain 2014
978-91-44-08894-5_01_book.indd 2
2014-05-15 18:10
Till Kerstin Trollhagen, den bästa lärare mina barn Simon och Hannah någonsin kunnat få, för hennes idoga men skeptiska strävanden att dokumentera deras lärande i individuella utvecklingsplaner. Andra fantastiska lärare på Kålltorpsskolan har med tiden ersatt Kerstin, bl.a. Annika Torarp och Dan-Olof Lindqvist. De tillägnas också denna bok.
978-91-44-08894-5_01_book.indd 3
2014-05-15 18:10
978-91-44-08894-5_01_book.indd 4
2014-05-15 18:10
Innehåll
Figurförteckning 8 K apitel 1
Bokens studieobjekt och syfte 9
”Everyone is measuring performance” 9 Ett kritiskt perspektiv 14 Tillvägagångssätt 20 K apitel 2
Hur märks utvärderingsmonstret? 25
Utvärdering i den svenska offentliga sektorn 25 Professionalisering 29 Drivkrafter 31 K apitel 3
Skolans och socialtjänstens utvärderingslandskap 35
Staten och kommunerna 35 Skolan 37 Socialtjänsten 43 K apitel 4
Nyckelbegrepp för kvalitetsmätning 49
Kvalitet 49 Resultat 53 Indikatorer, mått och nyckeltal 57 Kvalitetsmätning och/eller resultatmätning? 59
© F ö rfattaren och S tudentlitteratur
978-91-44-08894-5_01_book.indd 5
5
2014-05-15 18:10
Innehåll K apitel 5
Kvalitetsmätning i sex steg 63
Steg 1: Beskriva verksamheten i programteoriformat 63 Steg 2: Tolka mål och avgränsa vad som ska mätas 65 Steg 3: Konstruera indikatorer 71 Steg 4: Samla in, bearbeta och analysera måtten 76 Steg 5: Använda mätresultat 79 Steg 6: Verksamhetens kvalitet ökar; insyn, jämförelser, kontroll och ansvarsutkrävande underlättas 81 K apitel 6
Problematiska förutsättningar 83
En främmande diskurs, eller inte längre? 83 Oklara mål och målträngsel 88 K apitel 7
Konstruktionsproblematik 93
Bara det mätbara mäts 93 Osäkra effektmått och samband 96 Mått är politiska konstruktioner 98 K apitel 8
Implementerings- och användningsproblem 101
Skiftande tolkningar och kreativ bokföring 101 Diffus men också betydande användning 104 K apitel 9
Perversa bieffekter 109
Förväntade effekter och icke-förväntade bieffekter 109 Indikatorfixering 110 Tröskeleffekter och standardisering 113 Avprofessionalisering 116 ”Panopticon” 119
6
978-91-44-08894-5_01_book.indd 6
© F ö rfattaren och S tudentlitteratur
2014-05-15 18:10
Innehåll K apitel 10
Himmel och helvete 121
En återbruksprodukt 121 ”How many times do we have to come back to this one?” 124 Räddar kvalitetsmätning världen eller leder det till helvetet? 126 Några tankar avslutningsvis 131
Referenser 135
© F ö rfattaren och S tudentlitteratur
978-91-44-08894-5_01_book.indd 7
7
2014-05-15 18:10
Figurförteckning
Figur 3.1. Figur 3.2 Figur 4.1 Figur 4.2 Figur 4.3 Figur 5.1 Figur 5.2 Figur 5.3 Figur 5.4 Figur 6.1 Figur 10.1
Utvärderingssystem i det svenska skolväsendet 2 Utvärderingssystem i socialtjänsten 48 Resultat 54 Vad värderas i termer av effektivitet? 54 Grundmodell för kvalitetsmätning 61 Programteori 64 Programteori för enheten daglig verksamhet i Göteborgs stad 68 Från mål till mått i kvalitetsmätning 72 Exempel på kvalitetsindikatorer i Öppna jämförelser 2013 74 Principiella skillnader mellan förvaltningar och företag 84 Faktorer för framgångsrik mätning av kvalitet i offentliga verksamheter 129
8
978-91-44-08894-5_01_book.indd 8
© F ö rfattaren och S tudentlitteratur
2014-05-15 18:10
Kapitel 3
Skolans och socialtjänstens utvärderingslandskap
Staten och kommunerna Kommuner och landsting har i Sverige det huvudsakliga ansvaret för genomförandet av offentliga välfärdstjänster. Dessutom råder den för vårt land traditionella principen om kommunal självstyrelse som, utöver beskattningsrätt, ger kommuner och landsting stor frihet att bestämma över sin egen organisation och i övrigt sätta en lokal prägel på statliga uppdrag. De grundläggande värdena bakom självstyrelsen uttrycks ofta som demokrati och effektivitet. Men även om principen om kommunal självstyrelse är fastslagen i regeringsformens portalparagraf så är kommuner och landsting en del av statens politiska organisation, vilket gör att deras villkor på olika sätt kan förändras genom nationella politiska beslut. I egenskap av offentligt rättssubjekt är kommunerna även bundna av EU-rätten (Montin & Haglund 2013). Kommunala verksamheter styrs därför i hög grad av staten, med generella lagar (t.ex. kommunallagen och förvaltningslagen) och speciallagar (t.ex. skollagen och socialtjänstlagen) som beslutats av riksdagen, men även med andra typer av styrmedel. Speciallagarna är ofta av ramlagskaraktär och anger allmänna mål och riktlinjer för en verksamhet. De måste därför preciseras med detaljbestämmelser och vägledande tolkningar, främst i form av förordningar utfärdade av regeringen samt föreskrifter (bindande) och allmänna råd (rekommendationer) från centrala statliga myndigheter. Under senare tid har regeringen vidtagit flera åtgärder för att mer kraftfullt styra välfärdstjänster i en viss riktning, bl.a. i form av specialdestinerade statsbidrag vilka inte sällan är prestationsbaserade (bidrag utgår om en viss prestation görs). Utformning av nationella riktlinjer som utgår från vetenskap och beprövad erfarenhet och avser att vägleda praktiken är en annan statlig styråtgärd. © F ö rfattaren och S tudentlitteratur
978-91-44-08894-5_01_book.indd 35
35
2014-05-15 18:10
3 Skolans och socialtjänstens utvärderingslandskap
Sedan 1990-talet har flera speciallagar och förordningar kompletterats med paragrafer som säger att verksamheten ifråga ska vara av god kvalitet. Det har i sin tur motiverat ansvariga centrala myndigheter att utfärda föreskrifter, allmänna råd och publicera handböcker och andra stödjande skrifter som definierar vad kvalitet är eller bör vara samt vilka aspekter som bör beaktas i det lokala kvalitetsarbetet. Det är även vanligt att statliga tillsynsmyndigheter kontrollerar att lokala verksamheter har ett tillfredsställande kvalitetsarbete. Någon central statlig aktör som sysslar med uppföljning och styrning av kommunsektorn finns emellertid inte. Statskontoret har på regeringens uppdrag analyserat förutsättningarna för en samlad uppföljning av produktivitet, kvalitet och effektivitet i form av aggregerade mått för hela den offentliga sektorn, men funnit att dessa är begränsade på så väl kort som på längre sikt (Statskontoret 2011b). Internt inom flertalet av landets kommuner tillämpas också mål och resultatstyrning. Orienteringen mot mål, kvalitet och resultat i den kommunala verksamheten förstärks genom att New Public Managementfilosofin har slagit rot och haft stort inflytande på den kommunala organiseringen, men också genom nationella politiska beslut som på olika sätt främjar valfrihet (Montin & Haglund 2013). En allt större del av offentligt finansierade tjänster utförs på så vis av privata utförare, och i vissa fall har kommunerna en skyldighet att konkurrensutsätta verksamheten. Privat utförande av kommunala angelägenheter kan ske antingen genom upphandling enligt LOU (lag om offentlig upphandling) eller LOV (lag om valfrihetssystem). För dessa privata utförare är inte offentlighetsprincipen tillämpbar, möjlighet att överklaga beslut finns inte och varken Justitieombudsmannen eller Justitiekanslern har rätt att utöva tillsyn (SOU 2013:53). Till följd av att andelen privata utförare av offentligt finansierad och reglerad verksamhet ökat har frågor som rör uppföljning och kontroll av hur skattemedel används och regleringar tillämpas fått ökad uppmärksamhet. Flera studier har exempelvis undersökt kommunernas styrning av kvalitet i privat äldreomsorg samt hur kommuner med valfrihetssystem inom hemtjänsten arbetar för att säkerställa insatsernas kvalitet (se t.ex. Socialstyrelsen 2012b). En statlig utredning har, som redan nämnts, nyligen sett över kommunallagen i detta avseende, vilket föranlett ett lagförslag som ger fullmäktige en uttrycklig skyldighet att anta ett program med mål, riktlinjer och tydliga kriterier för uppgiftens utförande för de kommunala verksam 36
978-91-44-08894-5_01_book.indd 36
© F ö rfattaren och S tudentlitteratur
2014-05-15 18:10
3 Skolans och socialtjänstens utvärderingslandskap
heter som lämnas över till privata utförare. I programmet, som ska följas upp varje mandatperiod, ska det framgå hur fullmäktiges mål och riktlinjer samt övriga föreskrifter inom området ska följas upp och hur allmänhetens insyn ska tillgodoses. Lagförslaget innebär även ett ökat krav på kommunerna att tillhandahålla god information inom områden där medborgare har möjlighet att välja mellan olika utförare (SOU 2013:53; Lagrådsremiss 2014-01-24). Medan staten är sysselsatt med frågor om hur privata utförare kan följas upp och kontrolleras bättre, så driver privata välfärdsföretag ett eget internt arbete kring dessa frågor. Nyckelfrågan gäller hur kvaliteten i privata välfärdstjänster kan mätas och redovisas så att oberoende granskning säkerställs. Här finns emellertid också en diskussion om hur företag inom vård, skola och omsorg kan arbeta för att sätta branchstandarder och om behovet att skapa en särskild organisation utanför de enskilda företagen som kan ta emot och initiera åtgärder vid missförhållanden och kvalitetsbrister (Svenskt Näringsliv 2013a). Merparten av kommunernas verksamhet är som sagt speciallagsreglerad, men hur denna lagstyrning ser ut, vilka andra styrmedel som tillämpas och i vilken utsträckning varierar mellan olika politikområden. I det följande beskrivs hur den statliga styrningen ser ut för skolans respektive socialtjänstens område , vilka centrala myndigheter som är verksamma och vad de gör, vilka krav speciallagar och annan reglering som styr området ställer vad gäller uppföljning och utvärdering samt vilka utvärderingssystem som förekommer. Hur kommunerna internt arbetar med uppföljning och utvärdering inom skolan och socialtjänsten ryms dessvärre inte i denna bok.
Skolan Det svenska skolväsendet har under många år varit föremål för betydande förändringar, varav mycket har kretsat kring dess styrning och huvud mannaskap samt reformer tänkta att förbättra skolans resultat.1 Skolan har också, kanske längre än något annat område, brukat indikatorer byggda på statistik, betyg, standardiserade tester och liknande för styrning och led1 Det svenska skolväsendet omfattar förskola, förskoleklass, grundskola, grundsärskola, specialskola, sameskola, gymnasieskola, gymnasiesärskola, kommunal vuxenutbildning, särskild utbildning för vuxna, utbildning i svenska för invandrare samt fritidshem som kompletterar vissa av nu nämnda skolformer.
© F ö rfattaren och S tudentlitteratur
978-91-44-08894-5_01_book.indd 37
37
2014-05-15 18:10
3 Skolans och socialtjänstens utvärderingslandskap
ning. Det är för övrigt en utveckling som vi finner i många andra länder. I en jämförande studie av europeiska länder skriver Scheerens & Hendriks (2004, s. 105) att ”interest in education indicators has taken a high flight in recent years”. I början av 1990-talet kommunaliserades skolan, vilket innebar att kommunerna erhöll arbetsgivaransvaret för rektorer och lärare samt att den statliga regleringen av hur tilldelade resurser skulle användas upphörde. I och med kommunaliseringen förändrades styrsystemet för skolan. Staten skulle inte längre styra med centrala regler för genomförandet utan endast ange de mål som skulle uppnås. De nya läro- och kursplaner som infördes i mitten av 1990-talet var formulerade i form av mål att uppnå och sträva emot, men gav stort utrymme för anpassning till lokala förhållanden. Uppfyllelsen av dessa mål skulle sedan kunna kontrolleras och utvärderas. Hela tankekonstruktionen vilade på den dittills oprövade idén med styrning med mål och kontroll av resultat. Skolan var i själva verket den sektor som i Sverige först och mest genomgripande omformades i linje med denna idé. Strax efter kommunaliseringen och införandet av målstyrning genomfördes friskolereformen som innebar att alla skolor skulle vara öppna för alla elever och att en skolpeng följde med eleven till den skola hon eller han valde (Larsson 2012). De allra senaste åren har det utbildningspolitiska reformarbetet varit mycket intensivt. Gradvis efter kommunaliseringen och i stegrande grad under 2000-talet har skolans resultat och effektivitet tillmätts allt större betydelse, liksom statens kontroll av att skolorna och kommunerna lever upp till de nationella målen. En fristående statlig skolinspektion med förstärkta sanktionsmöjligheter har bildats, en ny skollag har antagits, nya läroplaner som inkluderar kurs- och ämnesplaner har utformats, nya betygsskalor har utarbetats, nationella prov i fler ämnen och fler årskurser har införts liksom en ny gymnasieskola och lärarutbildning. Till det ska läggas beslut om lärarlegitimation, obligatorisk befattningsutbildning för rektorer och lärarfortbildning. I en utredning med uppgift att undersöka dessa reformer konstateras att även om den statliga styrningen och kontrollen ökat och styrningsprinciperna ligger fast, så är det landskap i vilket styrningen ska fungera väsentligt förändrat jämfört med det som fanns på 1990-talet. Skolutbildning erbjuds i dag på en marknad med skolor i både offentlig och enskild regi, där vi finner såväl ett mycket stort antal små fristående huvud38
978-91-44-08894-5_01_book.indd 38
© F ö rfattaren och S tudentlitteratur
2014-05-15 18:10
3 Skolans och socialtjänstens utvärderingslandskap
män parallellt med stora skolkoncerner som har en egen styrning av sina skolor (SOU 2013:30; Vlachos 2011). De styrningsprinciper som det talas om i sagda utredning innebär att riksdag och regering fastställer mål och riktlinjer för alla skolor i landet medan huvudmannen, dvs. kommunerna eller huvudmannen för fristående skolor, har ansvar för genomförandet inom de ramar som staten anger. Huvudmannen för en fristående skola kan vara en juridisk person i form av en stiftelse, aktiebolag, ideell eller ekonomisk förening men också en fysisk person i form av en enskild individ. De lagar och regler som styr skolan finns i skollagen, skolförordningen och läroplanerna (som innehåller regler om skolans värdegrund och uppdrag, övergripande mål och riktlinjer samt kurs/ämnesplaner med kunskapskrav). Vid sidan av detta finns även andra statliga styrmedel såsom betygsskalor, lärarutbildning och rektorsutbildning. Gemensamma, övergripande mål för hela skolväsendet finns i skollagen som bl.a. säger att utbildningen: syftar till att barn och elever ska inhämta och utveckla kunskaper och värden… främja alla barns och elevers utveckling och lärande samt en livslång lust att lära… förmedla och förankra respekt för de mänskliga rättigheterna och de grundläggande demokratiska värderingar som det svenska samhället vilar på./…/ Alla ska, oberoende av geografisk hemvist och sociala och ekonomiska förhållanden, ha lika tillgång till utbildning .../…/ Utbildningen inom skolväsendet ska vara likvärdig inom varje skolform … oavsett var i landet den anordnas. (SFS 1985:1100, 1 kap 4, 8, 9 §)
Efter en omorganisering av den statliga skolförvaltningen 2008 finns tre statliga myndigheter med uppgift att på olika sätt öka kvalitet och mål uppf yllelse i skolan. Skolverket gör det genom att svara för uppföljning, utvärdering och utveckling inom skolområdet. Skolinspektionen ansvarar för tillsyn och kvalitetsgranskning samt tillståndsprövning av fristående skolor. Tillsynen sker genom regelbunden granskning av att all skolverksamhet följer de lagar och andra föreskrifter som finns för verksamheten. © F ö rfattaren och S tudentlitteratur
978-91-44-08894-5_01_book.indd 39
39
2014-05-15 18:10
3 Skolans och socialtjänstens utvärderingslandskap
Kvalitetsgranskning innebär att Skolinspektionen studerar olika delar av skolverksamheten mer ingående, t.ex. hur olika huvudmän arbetar med styrning och uppföljning. Specialpedagogiska skolmyndigheten ger specialpedagogiskt stöd till förskolor, skolor och vuxenutbildning, främjar tillgång till anpassade läromedel för elever med funktionsnedsättning samt är huvudman för den statliga specialskolan för elever med vissa funktionsnedsättningar. Skolväsendet har också en överklagandenämnd vars kansli finns hos Skolinspektionen. Till dessa tre kan läggas Institutet för arbetsmarknads och utbildningspolitisk utvärdering (IFAU) i vars uppgifter bl.a. ingår att utvärdera effekter av olika reformer och åtgärder inom utbildningsväsendet. I 2014 års budget proposition aviserar regeringen även om en ny myndighet med uppdrag att ”systematiskt väga samman och sprida forskningsresultat som bidrar till ökad kunskap om vetenskapligt väl underbyggda och effektiva metoder och arbetssätt i skolväsendet” (Prop. 2013/14:1, s. 206). Med en sådan myndighet formaliseras med andra ord idén om evidensbaserad praktik även i skolan. I Skolverkets uppföljande och utvärderande uppgifter ingår att ansvara för den officiella statistiken samt för Sveriges deltagande i internationella kunskapsmätningar. Den nationella statistiken innehåller för alla kommunala skolor och nästan alla fristående skolor uppgifter om skolor, elever, personal, kostnader, betyg och provresultat. Det finns även speciellt utformade databaser (Jämförelsetal, SIRIS, SALSA, BRUK) med statistik för olika ändamål. 2 Skolverket ansvarar vidare för svenskt deltagande i internationella kunskapsmätningar, såsom PISA, PIRLS, TIMSS och ICCS.3 Skolverket är också den myndighet som utarbetar och fastställer kurs/ ämnesplaner med kunskapskrav samt föreskrifter och allmänna råd inom olika områden, t.ex. för bedömning och betygssättning, utvecklingssamtal och skriftlig individuell utvecklingsplan samt systematiskt kvalitetsarbete. Nationella prov är en etablerad tradition i den svenska skolan (Erickson & 2 Jämförelsetal (innehåller kommunala nyckeltal om barn och grupper, skolor och elever, personal och studieresultat); SIRIS (Skolverkets internetbaserade resultat- och kvalitetssystem); SALSA (Skolverkets arbetsverktyg för lokala sambandsanalyser); BRUK (ett verktyg för självskattning av kvalitet i samtliga skolformer) 3 PISA (Programme for International Student Assessment); PIRLS (Progress in International Reading Literacy Study), TIMSS (Trends in International Mathematics and Science Study) och ICCS (International Civic and Citizenship Education Study).
40
978-91-44-08894-5_01_book.indd 40
© F ö rfattaren och S tudentlitteratur
2014-05-15 18:10
3 Skolans och socialtjänstens utvärderingslandskap
Lander 2007). De spelar en väsentlig roll vid bedömning och betygssättning av elever, men ingår också i nationell statistik där de ger underlag för analys av måluppfyllelse. De nationella proven konstrueras av universitet och högskolor på uppdrag av Skolverket, och genomförs i vissa ämnen i årskurs 3, 6 och 9 i grundskolan samt i vissa kurser i gymnasiet. För skolors och huvudmäns systematiska kvalitetsarbete, som regleras i skollagen, har Skolverket utformat allmänna råd och kommentarer som ska stödja huvudmän och skolor att hitta former och rutiner för kvalitetsarbetet. Enligt de allmänna råden innebär skollagens krav på systematiskt kvalitetsarbete att alla huvudmän och skolor: systematiskt och kontinuerligt ska följa upp verksamheten, analysera resultaten i förhållande till de nationella målen och utifrån det planera och utveckla utbildningen. Verksamhetens resultat behöver dessutom följas upp, analyseras och bedömas i förhållande till vad vetenskap och beprövad erfarenhet lyfter fram som betydelsefullt i genomförandet. Även vid p lanering och prioritering av utvecklings insatser är det viktigt att ta hänsyn till aktuell forskning. (Skolverket 2012, s. 11)
I tillägg till det nu sagda har regeringen aviserat att verksamheter inom utbildningsområdet behöver följas upp med hjälp av en uppsättning c entralt fastlagda indikatorer som belyser delar av måluppfyllelse och resultat som regeringen bedömer är centrala. Som exempel kan nämnas att det för grundskolans del handlar om resultat på nationella prov, andel elever som nått målen i alla ämnen, genomsnittligt meritvärde, lärarbehörighet samt resultat i internationella studier (Prop. 2012/13:1, s. 40). Utöver PISA och andra internationella kunskapsmätningar deltar Sverige i den kartläggning av utbildningssystem som OECD gör inom ramen för den årliga rapporten ”Education at a Glance”. Den senaste rapporten omfattar drygt 30-talet länder och bygger på nationell statistik om utbildningsresultat i vid mening, resurser som investeras i utbildning samt organisatoriska aspekter (t.ex. klassrumstid, lärartäthet, lärarlöner) (OECD 2013a). ”Eurydice” och ”Key data” är en liknande rapport om olika aspekter av utbildningssystem för länder som deltar i EU:s program för livslångt lärande, och innehåller bl.a. nyckeldata om lärare och elever (European Commission 2012). © F ö rfattaren och S tudentlitteratur
978-91-44-08894-5_01_book.indd 41
41
2014-05-15 18:10
3 Skolans och socialtjänstens utvärderingslandskap
Utöver myndigheter och överstatliga organisationer som samlar in och presenterar offentligt tillgängliga data om utbildning i rapporter och webbportaler finns också privata aktörer som ägnar sig åt detta. Inom utbildningsområdet finns i Sverige bl.a. Institutet för Kvalitetsutveckling som i samarbete med Skolverket årligen delar ut Kvalitetsutmärkelsen Bättre Skola, Lärarförbundets ranking och pris till Bästa Skolkommun samt SKL:s Öppna jämförelser som rangordnar kommuner och andra huvudmän på basis av ett set indikatorer. En rapport från Skolverket (2011) visar för övrigt att sistnämnda data är den dominerande informationskällan i flera kommuner när det gäller att värdera den egna kommunens måluppfyllelse. Figur 3.1 visar en kartläggning av existerande utvärderingssystem i den svenska skolan som gjorts av OECD (2011). Som synes framstår skolan som ett särdeles utvärderingstätt område som befolkas av en rad olika utvärderingssystem som organiserats för att löpande hantera flöden av uppföljningsoch utvärderingsinformation. Systemen finns på olika nivåer och hanteras av olika organisationer, såväl offentliga som privata. Utan att överdriva särskilt mycket skulle man kunna säga att det råder en viss trängsel på skolans utvärderingsarena. En slutsats i nämnda OECDrapport är att även om befintliga
Elevutvärdering
Betyg Nationella prov IUP (Individuella utvecklingsplaner)
Skolutvärdering
Systematiskt kvalitetsarbete Tillsyn och kvalitetsgranskning (Skolinspektionen) Kommunal tillsyn och revision Lokala uppföljnings och utvärderingssystem
Systemutvärdering
Internationella system för kunskaps- och kvalitetsjämförelser
Nationell statistik om skolan Jämförelsetal, SIRIS, SALSA, BRUK Analyser, utvärderingar, lägesbedömningar (Skolverket) Utvärdering av åtgärder och reformer (IFAU) Öppna jämförelser (SKL) Kolada, skolstatistik (SKL) Medborgarundersökningar (SCB) Kvalitetsutmärkelsen Bättre skola (SIQ) PISA, TIMSS, PIRLS, ICCS Education at a Glance (OECD) Eurydice, Key Data on Education (EU)
Figur 3.1 Utvärderingssystem i det svenska skolväsendet.
42
978-91-44-08894-5_01_book.indd 42
© F ö rfattaren och S tudentlitteratur
2014-05-15 18:10
3 Skolans och socialtjänstens utvärderingslandskap
utvärderingssystem är väl etablerade så är de olika systemen inte kopplade till varandra och en helhetssyn saknas. För att systemen ska kunna utnyttjas till fullo samt för att hindra överlappning och förebygga inkonsekvent målsättning bör utvärderingssystemen enligt OECD utgöra en helhet.
Socialtjänsten Socialtjänsten omfattar bland annat individ och familjeomsorg (som i sin tur inkluderar social barn och ungdomsvård, missbrukarvård och ekonomiskt bistånd), stöd och service till personer med funktionshinder samt vård och omsorg om äldre. Socialtjänsten är obligatorisk i alla kommuner, genom Socialtjänstlagen (SoL) har kommunerna ålagts att ansvara för att människor som behöver detta slags hjälp och stöd får det. Till SoL finns sedan kopplat ett antal separata lagar som styr kommunernas arbete inom speciella områden; LSS (lag om stöd och service till vissa funktionshindrade), LVU (lag om särskilda bestämmelser om vård av unga) och LVM (lag om vård av missbrukare i vissa fall). I SoL:s målsättningsparagraf stadgas att Samhällets socialtjänst ska på demokratins grund främja människornas ekonomiska och sociala trygghet, jämlikhet i levnadsvillkor, aktiva del tagande i samhällslivet. Socialtjänsten skall under hänsynstagande till människans ansvar för sin och andras sociala situation inriktas på att frigöra och utveckla enskildas och gruppers egna resurser. Verksamheten skall bygga på respekt för människornas självbestämmanderätt och integritet. (SFS 2001:453, 1 kap. 1§)
Socialstyrelsen är central förvaltningsmyndighet inom socialtjänstområdet. I dess uppgifter ingår bl.a. att utarbeta föreskrifter, allmänna råd, nationella riktlinjer och andra vägledningar samt ansvara för nationell statistik. Myndigheten genomför också uppföljningar och utvärderingar samt hanterar ett stort antal regeringsuppdrag varje år, varav flertalet inbegriper uppföljning och utvärdering. Vid Socialstyrelsen finns en speciell avdelning för kunskapsstyrning där man bl.a. arbetar med evidensbaserad praktik. Fram till 2013 ingick även tillsyn i Socialstyrelsens uppgifter, men för det svarar nu den nybildade myndigheten Inspektionen för vård och omsorg © F ö rfattaren och S tudentlitteratur
978-91-44-08894-5_01_book.indd 43
43
2014-05-15 18:10
Utvärderingsmonstret Om kvalitetsmätning i den offentliga sektorn Vi lever sedan slutet av 1990-talet i ett samhälle där intresset för utvärdering och närbesläktade aktiviteter som uppföljning, kvalitetsmätning, tillsyn och revision tycks eskalera mer och mer för varje år som går. Utvärdering sägs generera information som är viktig för verksamhetsutveckling, politisk styrning, kontroll och ansvarsutkrävande. Utgångspunkten i denna bok är att utvärdering inte självklart ska ses som en "god" aktivitet. Inbyggt i utvärdering finns också en potentiell kraft som kan påverka politik och verksamheter på oönskat vis. I bokens fokus står de växande krav på att mäta kvalitet som under senare år riktats mot många offentliga verksamheter, inte minst inom skola och socialtjänst där många av bokens exempel hämtas ifrån.
| Nya Utvärderingsmonstret
Nya
Lena Lindgren
Lena Lindgren är fil dr i statsvetenskap och docent i offentlig förvaltning vid Förvaltningshögskolan, Göteborgs universitet. Hon har mångårig erfarenhet av undervisning och forskning i policyanalys och utvärdering, och har genomfört ett flertal utvärderingar, främst inom utbildning, folkbildning och socialt arbete. Hennes forskning i ämnet har det senaste decenniet allt mer inriktats på kritisk granskning av utvärdering som ett samhällsfenomen i sig själv.
Nya Utvärderingsmonstret Om kvalitetsmätning i den offentliga sektorn
Med utgångspunkt i internationell litteratur i ämnet tillhandahåller boken praktiska anvisningar för hur man ska förstå, planera, genomföra och använda kvalitetsmätningar, men problematiserar samtidigt mätandets logik, metod och användning. Perspektivet är med avsikt kritiskt och ifrågasättande. Boken är angelägen för studenter inom bl.a. offentlig förvaltning, pedagogik och socialt arbete, samt för yrkesverksamma inom den offentliga sektorn som behöver skaffa sig en medveten hållning till utvärdering. Art.nr 32325
2:a uppl.
Andra upplagan
Lena Lindgren
www.studentlitteratur.se
978-91-44-08894-5_01_cover.indd 1
2014-05-15 10:04