Dolder, Wie beeinflussen sich Evaluation und New Public Management?

Ti 1

Olivier Dolder

Dolder_Evaluation_NPM_Titelei.indd 1

W ie beeinflussen sich Evaluation und New Public Management?

03.06.19 10:36

Ti 2

Die Schriftenreihe „Public Management“ wird herausgegeben von Prof. Dr. Kuno Schedler, Universität St. Gallen

Dolder_Evaluation_NPM_Titelei.indd 2

03.06.19 10:36

Ti 3

Olivier Dolder

Wie beeinflussen sich Evaluation und New Public Management?

Analyse am Beispiel von Schweizer Kantonsverwaltungen

Haupt Verlag

Dolder_Evaluation_NPM_Titelei.indd 3

03.06.19 10:36

Ti 4

Olivier Dolder arbeitet als NRP-Projektleiter beim Amt für Wirtschaft des Kantons Schwyz. Zuvor war er mehrere Jahre als Projektleiter bei Interface Politikstudien in Luzern tätig. Er studierte an der Universität Genf und am Lausanner Hochschulinstitut für öffentliche Verwaltung (IDHEAP) Politik- und Verwaltungswissenschaften und promovierte an der Universität Luzern.

Originaltitel der Dissertation: «Evaluation | NPM. Analyse der gegenseitigen Beeinflussung von Evaluationspraxis und NPM-Instrumenten am Beispiel von Schweizer Kantonsverwaltungen» Doktortitel im Jahr 2018 vergeben von der Kultur- und Sozialwissenschaftlichen Fakultät der Universität Luzern.

Erstgutachter: Prof. Dr. Andreas Balthasar (Universität Luzern); Zweitgutachter: Prof. Dr. Frédéric Varone (Universität Genf).

1. Auflage: 2019

Der Haupt Verlag wird vom Bundesamt für Kultur mit einem Strukturbeitrag für die Jahre 2016–2020 unterstützt.

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.dnb.de abrufbar.

ISBN 978-3-258-08149-6 Alle Rechte vorbehalten.

Copyright © 2019 Haupt Bern Jede Art der Vervielfältigung ohne Genehmigung des Verlages ist unzulässig.

Redaktion und Satzherstellung durch den Autor Printed in Switzerland www.haupt.ch

Dolder_Evaluation_NPM_Titelei.indd 4

03.06.19 10:36

Inhalt Abbildungsverzeichnis ...................................................................................................... VIII Tabellenverzeichnis .............................................................................................................. IX Dank ..................................................................................................................................... XI 1 Einleitung.......................................................................................................................... 1 1.1

Zielsetzung und Fragestellung .............................................................................. 2

1.2

Forschungsdesign .................................................................................................. 5

1.3

Aufbau der Studie ................................................................................................. 6

2 Theoretischer Rahmen ...................................................................................................... 7 2.1

Eingrenzung und Definition des Untersuchungsgegenstandes ............................. 7

2.2

Kausalmodell und Kausalhypothesen ................................................................. 13

2.3

Grundmodell und Grundhypothesen ................................................................... 20

2.4

Untersuchungsmodell und Untersuchungshypothesen ....................................... 22

2.5

Hypothesenübersicht ........................................................................................... 28

3 Methodisches Vorgehen ................................................................................................. 29 3.1

Forschungsdesign ................................................................................................ 29

3.2

Fallauswahl ......................................................................................................... 31

3.3

Operationalisierung ............................................................................................. 33

3.4

Datenerhebung .................................................................................................... 35

3.5

Datenauswertung und Darstellung der Resultate ................................................ 38

4 Fallstudie 1: Gesundheits- und Fürsorgedirektion des Kantons Bern............................. 41 4.1

Evaluation und NPM auf einen Blick ................................................................. 42

4.2

Evaluationsaktivitäten der Gesundheits- und Fürsorgedirektion ........................ 42

4.3

ERKOS und die De-Institutionalisierung von Evaluation .................................. 44

4.4

Einführung und Umsetzung von NEF ................................................................. 45

4.5

Überprüfung der Hypothesen .............................................................................. 47

4.6

Zwischenfazit ...................................................................................................... 50

5 Fallstudie 2: Erziehungsdirektion des Kantons Bern ...................................................... 53 5.1

Evaluation und NPM auf einen Blick ................................................................. 54

VI

Inhalt

5.2

Evaluationsaktivitäten der Erziehungsdirektion ................................................. 55

5.3

Vom Amt für Bildungsforschung zur «Evaluationsstelle» der Erziehungsdirektion ............................................................................................ 58

5.4

Einführung und Umsetzung von NEF ................................................................. 60

5.5

Überprüfung der Hypothesen .............................................................................. 61

5.6

Zwischenfazit ...................................................................................................... 67

6 Fallstudie 3: Dienststelle Gesundheit des Kantons Luzern ............................................. 71 6.1

Evaluation und NPM auf einen Blick ................................................................. 72

6.2

Evaluationsaktivitäten der Dienststelle Gesundheit ............................................ 72

6.3

Keine Institutionalisierung von Evaluation und die Rolle von Gesundheitsförderung Schweiz........................................................................... 74

6.4

Einführung und Umsetzung von WoV................................................................ 75

6.5

Überprüfung der Hypothesen .............................................................................. 76

6.6

Zwischenfazit ...................................................................................................... 79

7 Fallstudie 4: Dienststelle Volksschulbildung Kanton Luzern......................................... 81 7.1

Evaluation und NPM auf einen Blick ................................................................. 82

7.2

Evaluationsaktivität............................................................................................. 83

7.3

Institutionalisierung und Intensivierung der Evaluation ..................................... 85

7.4

Einführung und Umsetzung von WoV................................................................ 86

7.5

Überprüfung der Hypothesen .............................................................................. 87

7.6

Zwischenfazit ...................................................................................................... 89

8 Fallstudie 5: Dienststelle für Gesundheitswesen des Kantons Wallis ............................ 93 8.1

Evaluation und NPM auf einen Blick ................................................................. 94

8.2

Evaluationsaktivitäten der Dienststelle für Gesundheitswesen ........................... 94

8.3

Keine Evaluationsstelle, dafür eine Evaluationsklausel ...................................... 96

8.4

Einführung und Umsetzung von NPM................................................................ 96

8.5

Überprüfung der Hypothesen .............................................................................. 98

8.6

Zwischenfazit .................................................................................................... 101

9 Fallstudie 6: Bildungsdirektion des Kantons Zürich .................................................... 103 9.1

Evaluation und NPM auf einen Blick ............................................................... 104

9.2

Evaluationsaktivitäten der Bildungsdirektion ................................................... 104

9.3

Bildungsplanung als Evaluationsstelle.............................................................. 105

Inhalt

VII

9.4

Einführung und Umsetzung von wif!................................................................ 106

9.5

Überprüfung der Hypothesen ............................................................................ 108

9.6

Zwischenfazit .................................................................................................... 111

10 Fallstudie 7: Gesundheitsdepartement des Kantons Basel-Stadt .................................. 115 11 Fallstudie 8: Erziehungsdepartement des Kantons Basel-Stadt .................................... 117 12 Synthese ........................................................................................................................ 119 12.1

Untersuchungsmodell und methodisches Vorgehen ......................................... 119

12.2

Resultate............................................................................................................ 120

12.3

Überprüfung der Untersuchungshypothesen ..................................................... 124

12.4

Überprüfung des Kausalmodells ....................................................................... 133

13 Erkenntnisse und Ausblick ........................................................................................... 135 13.1

Beantwortung der Forschungsfragen ................................................................ 135

13.2

Diskussion der Resultate ................................................................................... 136

13.3

Weitere Erkenntnisse ........................................................................................ 140

13.4

Methodendiskussion ......................................................................................... 142

13.5

Ausblick ............................................................................................................ 144

Literaturverzeichnis ............................................................................................................ 147 Anhang ............................................................................................................................... 157

Abbildungsverzeichnis Abbildung 1: Erste Kausalhypothese (Personenhypothese Hi)............................................. 13 Abbildung 2: Zweite Kausalhypothese (Datenhypothese Hii) .............................................. 15 Abbildung 3: Dritte Kausalhypothese (Prinzipal-Agent-Hypothese Hiii) ............................. 17 Abbildung 4: Grundmodell ................................................................................................... 22 Abbildung 5: Untersuchungsmodell ..................................................................................... 23 Abbildung 6: Organigramm der Gesundheits- und Fürsorgedirektion des Kantons Bern .... 41 Abbildung 7: Organigramm der Erziehungsdirektion des Kantons Bern ............................. 53 Abbildung 8: Organigramm der Dienststelle Gesundheit des Kantons Luzern .................... 71 Abbildung 9: Organigramm der Dienststelle Volksschulbildung des Kantons Luzern ........ 81 Abbildung 10: Organigramm der Dienststelle für Gesundheitswesen des Kantons Wallis ....................................................................................................................... 93 Abbildung 11: Organigramm der Bildungsdirektion des Kantons Zürich.......................... 103 Abbildung 12: Organigramm des Gesundheitsdepartements des Kantons Basel-Stadt...... 115 Abbildung 13: Organigramm des Erziehungsdepartements des Kantons Basel-Stadt ....... 117 Abbildung 14: Untersuchungsmodell ................................................................................. 119 Abbildung 15: Übersicht über die Evaluationsaktivität (Anzahl Evaluationsberichte pro Jahr), die Institutionalisierung von Evaluation und NPM in den acht Fallstudien . 121 Abbildung 16: Resultat der Hypothesenüberprüfung ......................................................... 132

Tabellenverzeichnis Tabelle 1: Übersicht Hypothesen.......................................................................................... 28 Tabelle 2: Übersicht Fallstudien ........................................................................................... 31 Tabelle 3: Übersicht geführte Interviews (Anzahl befragte Personen) ................................. 36 Tabelle 4: Anzahl Evaluationen pro Jahr im Bereich Gesundheit der Gesundheits- und Fürsorgedirektion und institutionelle Veränderungen .............................................. 42 Tabelle 5: Übersicht Evaluationsprojekte der Gesundheits- und Fürsorgedirektion im Bereich Gesundheit .................................................................................................. 43 Tabelle 6: Überprüfung der Hypothesen (Fallstudie Gesundheits- und Fürsorgedirektion des Kantons Bern) ....................................................................... 51 Tabelle 7: Anzahl Evaluationen pro Jahr der Erziehungsdirektion des Kantons Bern in den Bereichen Volksschule, Mittelschule und Berufsbildung und institutionelle Veränderungen ......................................................................................................... 55 Tabelle 8: Übersicht Evaluationsprojekte der Erziehungsdirektion des Kantons Bern in den Bereichen Volksschule, Mittelschule und Berufsbildung.................................. 56 Tabelle 9: Überprüfung der Hypothesen (Fallstudie Erziehungsdirektion des Kantons Bern) ......................................................................................................................... 68 Tabelle 10: Anzahl Evaluationen pro Jahr der Dienststelle Gesundheit des Kantons Luzern bzw. ihrer Vorgängerinstitutionen und institutionelle Veränderungen ........ 72 Tabelle 11: Übersicht Evaluationsprojekte der Dienststelle Gesundheit des Kantons Luzern bzw. ihrer Vorgängerinstitutionen ............................................................... 73 Tabelle 12: Überprüfung der Hypothesen (Fallstudie Dienststelle Gesundheit des Kantons Luzern) ....................................................................................................... 80 Tabelle 13: Evaluationsaktivität der Dienststelle Volksschulbildung des Kantons Luzern und institutionelle Veränderungen ............................................................... 82 Tabelle 14: Übersicht Evaluationsprojekte der Dienststelle Volksschulbildung des Kantons Luzern bzw. ihrer Vorgängerinstitutionen ................................................. 83 Tabelle 15: Überprüfung der Hypothesen (Fallstudie Dienststelle Volksschulbildung des Kantons Luzern) ................................................................................................. 90 Tabelle 16: Anzahl Evaluationen pro Jahr der Dienststelle für Gesundheitswesen des Kantons Wallis sowie institutionelle Veränderungen .............................................. 94 Tabelle 17: Übersicht Evaluationsprojekte der Dienststelle für Gesundheitswesen des Kantons Wallis ......................................................................................................... 94 Tabelle 18: Überprüfung der Hypothesen (Fallstudie Dienststelle für Gesundheitswesen des Kantons Wallis)................................................................................................ 102 Tabelle 19: Anzahl Evaluationen pro Jahr der Bildungsdirektion des Kantons Zürich in den Bereichen Volksschule, Mittelschule und Berufsbildung und institutionelle Veränderungen ....................................................................................................... 104 Tabelle 20: Überprüfung der Hypothesen für die Fallstudie Bildungsdirektion des Kantons Zürich ....................................................................................................... 112

X

Tabellenverzeichnis

Tabelle 21: Anzahl Evaluationen pro Jahr der Gesundheitsdirektion des Kantons BaselStadt bzw. ihrer Vorgängerinstitutionen im Bereich Gesundheit ........................... 116 Tabelle 22: Anzahl Evaluationen pro Jahr des Erziehungsdepartements des Kantons Basel-Stadt bzw. ihrer Vorgängerinstitutionen im Bereich Bildung ...................... 118 Tabelle 23: Überprüfung der Untersuchungshypothesen: Fallstudienübersicht und Gesamtbewertung ................................................................................................... 125 Tabelle 24: Übersicht erfüllte Kausalbedingungen in Verwaltungseinheiten .................... 133

Dank An dieser Stelle möchte ich allen danken, die zum Gelingen meiner Dissertation beigetragen haben. Besonders danken möchte ich meinen beiden Betreuern Prof. Dr. Andreas Balthasar und Prof. Dr. Frédéric Varone. Sie haben mich gefordert und gefördert und standen mir stets mit Rat und Tat zur Seite. Ebenfalls danken möchte ich meinem Mitdoktoranden Walter Rohrbach für die gute und inspirierende Zusammenarbeit.

Weiter möchte ich meinen Arbeitskolleginnen und Arbeitskollegen von Interface danken, die es mir ermöglicht haben, diese Dissertation berufsbegleitend zu schreiben. Ein besonderer Dank gilt hier meinen Vorgesetzten Prof. Dr. Ueli Haefeli, Dr. Stefan Rieder und Dr. Christof Schwenkel, die mir stets erlaubten, mein Arbeitspensum den Bedürfnissen meines Dissertationsprojekts anzupassen. Ebenfalls ein besonderer Dank gilt meinen (ehemaligen) «Arbeitsgspändli» Marcelo Duarte, Anina Hanimann, Milena Iselin und Guy Schwegler.

Ein riesiges Dankeschön gebührt auch all den Verwaltungsmitarbeitenden, die mir als Interviewpartnerinnen und Interviewpartner zu Verfügung standen, mir Informationen aufbereitet haben und mir damit erst die Empirie ermöglicht haben. Auch meinen Kolleginnen und Kollegen aus dem Forschungsprojekt «SynEval» möchte ich danken. Ihre Rückmeldungen brachten meine Arbeit immer wieder ein Stück vorwärts.

Schliesslich möchte ich dem Schweizerischen Nationalfonds für die finanzielle Unterstützung meiner Dissertation danken.

Einleitung Die Frage nach dem gegenseitigen Einfluss von Evaluation und New Public Management (NPM) drängt sich geradezu auf. Die Wirksamkeit von staatlichen Massnahmen stellt nicht nur ein zentrales Erkenntnisinteresse von Evaluationen, sondern auch das zentrale Steuerungsinteresse von NPM-geprägten Verwaltungsführungsansätzen dar (Proeller JKLM, S. NO).

Gleichzeitig leben wir im «Zeitalter der Evaluation» (Dahler-Larsen JKLJ, S. L) und NPM zählt zu den bedeutendsten Verwaltungsreformen der letzten Jahre (Pollitt und Bouckaert JKLL, S. JKP; Rieder und Widmer JKKR, S. LM).

In den letzten Jahren rollte eine Evaluationswelle über die westlichen Länder. Evaluationsaktivitäten nahmen zu und Evaluation wurde zu einer eigenständigen Disziplin, mit eigener Berufsvereinigung, Zeitschriften, Konferenzen, Weiterbildungsangeboten und Institutionen (Dahler-Larsen JKKS, S. TLS). Der Internationale Evaluationsatlas von Furubo und Sandahl (JKKJ, S. T) zeigt, dass bereits JKKL eine Grosszahl der westlichen Länder über eine reife Evaluationskultur verfügte. In den nachfolgenden Jahren hat sich die Evaluationskultur noch weiterentwickelt. Und die Schweiz gehört inzwischen zu den Ländern mit der am weitesten entwickelten Evaluationskultur (Jacob et al. JKLS). In der Schweiz wird – zumindest auf nationaler Ebene – rege evaluiert und die Evaluationsaktivität sowie die Institutionalisierung von Evaluation nehmen weiter zu (Balthasar und Strotz JKLR; Balthasar JKKO). Mit New Public Management (NPM) rollte eine weitere Reformwelle über die westlichen Saaten. Der NPM-Trend erfasste ab Anfang der LOOKer Jahre nach Australien, Neuseeland, den USA und Grossbritannien auch Kontinentaleuropa und die Schweiz (Emery und Giauque JKLJ; Ritz JKKN; Pollitt und Bouckaert JKLL; Lienhard et al. JKKS). So wurde auch in der Schweiz in den letzten zwanzig Jahren auf verschiedenste NPM-Reformen umgesetzt (Lienhard et al. JKKS; Schmidt JKKP; Rieder und Widmer JKKR).

Trotz Evaluations- und NPM-Welle fehlen empirische Studien, die den Zusammenhang zwischen Evaluation und NPM vertieft untersuchen. Zwar wird die Thematik in diversen Studien aufgegriffen (z.B. Balthasar und Rieder JKKO; Pattyn JKLMa; Varone und Jacob JKKM), abschliessende Antworten bleiben die Studien jedoch schuldig. Dies ist umso erstaunlicher, als dass in der Tat eine theoretische Debatte stattfindet. Es werden in der Literatur drei Standpunkte vertreten: Eine erste Gruppe von Forschenden (z.B. Balthasar und Rieder JKKO, S. MLT–MLR; Bussmann LOOR, S. JN; Dahler-Larsen JKKS, S. TLT; Wollmann JKKM, S. JS–JT, S. MK–ML) ist der Ansicht, NPM-Reformen und Politikevaluation würden sich gegenseitig befruchten. Sie vertreten die Komplementaritätshypothese und argumentieren, dass NPM ein Katalysator für die Politikevaluation darstelle. Unterschiedliche Führungsinstrumente und

W

Einleitung

der stärkere Fokus auf Leistung und Wirkung seien eine gute Voraussetzung für die Entwicklung einer Evaluationskultur. Die Durchführung von Evaluationen werde zudem durch empirische Daten erleichtert, die durch NPM-Indikatoren gesammelt würden. Eine zweite Gruppe von Forschenden (z.B. Derlien und Rist JKKJ, S. MSK–MSS; Varone und Jacob JKKM, S. JPN–JPT) argumentiert gegenteilig: NPM führt dazu, dass Wirkungsevaluationen durch NPM- und andere Management-Instrumente (z.B. Monitoringsysteme) substituiert würden.

Ihre Substitutionshypothese postuliert, dass NPM zu einem Rückgang der Evaluationsaktivität führe. NPM fokussiere auf interne Effizienz und Leistungsmessung. Diese verlagere den Fokus von Politikevaluation, die politischen Massnahmen und deren Wirkungen auf die Zielgruppen beurteile, hin zu Leistungsmonitoring. Derlien und Rist (JKKJ, S. MSK) beschreiben diese Entwicklung wie folgt: «The growth of an interest in New Public Management might have contributed to the decline of impact measurements as politicians say they more and more want to rely on signals from the market.» Eine dritte Gruppe von Forschenden (z.B. Mathison JKLL; Vedung JKLK) argumentiert wiederum anders. Die Argumentationslinie der Transformationshypothese besteht darin, dass sich die Art und Weise der Evaluation durch NPM verändert. Evaluation wird letztlich zu einem NPM-Instrument, das aber nicht mehr auf die Wirkung, sondern auf die Leistungsmessung und interne Effizienz fokussiert. Vedung (JKLK, S. JRT) schreibt beispielsweise: «New Public Management pushed strongly for evaluation as accountability and value for money.»

.

Zielsetzung und Fragestellung

Die Frage nach dem gegenseitigen Einfluss von Evaluation und NPM sollte gemäss DahlerLarsen (JKLM, S. JR–JP) in jedem Land gestellt werden, in dem eine Evaluationsgesellschaft die Rolle und die Qualität der Evaluation fördert und in dem gleichzeitig NPM ein oder das wichtigste Modell der Verwaltungsführung ist. Die vorliegende Arbeit will diese Frage beantworten. Wie eingangs erläutert, wird diese Frage zwar theoretisch debattiert, Konsens gibt es aber nicht. Und empirisch wurde die Frage bis anhin lediglich stiefmütterlich (z.B. Balthasar und Rieder JKKO; Pattyn JKLMa; Varone und Jacob JKKM) behandelt, mit unterschiedlichen Resultaten: Balthasar und Rieder (JKKO) können in ihrer Studie zu evidenzbasierter Politik in der Schweiz keinen signifikanten Einfluss von NPM auf die Evaluationstätigkeit feststellen.

Pattyn (JKLMa) konnte zwar in Flandern Effekte von NPM erkennen, abschliessende Erkenntnisse waren ihr jedoch nicht möglich, da ihr Längsschnittdaten fehlen. Auf die Forschungslücke macht Proeller (JKLM, S. SL) aufmerksam: Ein Hauptargument, weshalb ein Synergiepotenzial zwischen NPM-Reformen und Evaluationen zu erwarten war, war das gemeinsame Interesse an Wirkungen und Kausalitäten. Diesbezüglich ist aber die Erkenntnislage auch heute noch fragmentarisch und unzureichend. So gibt es bis heute immer noch

Zielsetzung und Fragestellung

Y

wenige Erkenntnisse über die Wirkungen und Wirkungsmechanismen von Reformen und NPM-Instrumenten in Hinblick auf die Effektivität staatlichen Handelns.

Ziel der Arbeit ist es, die Forschungslücke zu schliessen und die Fragen nach dem gegenseitigen Einfluss von Evaluation und NPM empirisch zu beantworten. Damit will die Arbeit auch einen Beitrag zum wissenschaftlichen Verständnis von Evaluationspraxis leisten. Denn gemäss Henry und Mark (JKKN) wissen wir noch immer sehr wenig darüber, wann, warum, wie und von wem Evaluationen durchgeführt werden. Pattyn (JKLMa) erklärt diesen Befund damit, dass zum einen Evaluationspraxis eine neueres Phänomen sei. In verschiedenen Ländern begann sich erst Ende der LOOKer Jahren eine Evaluationspraxis zu etablieren (Furubo et al. JKKJ) – so auch in der Schweiz (Jacob und Varone JKKM). Zum anderen sei Evaluation in erster Linie noch immer eine professionelle Tätigkeit. Deshalb sei das Interesse an Evaluationsmodellen und -methoden grösser als Metastudien zur Evaluationspraxis.

Bisherige Studien zur Evaluationspraxis, zur Evaluationskultur oder auch zur Institutionalisierung von Evaluation fokussierten hauptsächlich auf die Makroebene und postulieren damit, dass es auf nationaler, kantonaler oder Politikfeldebene so etwas wie eine einheitliche Evaluationspraxis gibt. Auch die Frage nach dem Einfluss von NPM wurde bis anhin nur auf einer Makroebene abgehandelt. Dies wiederum postuliert, dass NPM auf nationaler, kantonaler oder Politikfeldebene homogen umgesetzt wird. Furubo et al. (JKKJ) und auch Jacob et al. (JKLS) untersuchten beispielswiese Staaten auf ihre Evaluationskultur hin. Balthasar und Rieder (JKKO) widmeten sich der Evaluationspraxis von Schweizer Kantonen und interessierten sich unter anderem für deren Beeinflussung durch NPM. Weitere Arbeiten (z.B. Balzer JKKO; Hirschi JKKO; Rhyn JKKO; Widmer et al. JKKO) setzten sich mit der Evaluationspraxis in unterschiedlichen Politikbereichen auseinander.

Die organisationale Ebene hingegen wurde bis anhin kaum berücksichtigt. Zu den wenigen Studien mit Organisationsfokus gehören Okbani (JKLT) und Pattyn (JKLMa). Beide Studien weisen dementsprechend auch auf die Vernachlässigung der Organisationsebene. Okbani (JKLT) untersuchte die Institutionalisierung von Evaluation am Beispiel der «Caisse d’Allocations Familiales» eines französischen Departements und Pattyn (JKLMa) analysierte die Evaluationsaktivität flämischer Verwaltungseinheiten. Beide Studien machen mit ihrer Empirie deutlich, wie entscheidend die Organisationsebene für das Verständnis der Evaluationspraxis ist. Auf die Problematik von Makroanalysen weisen auch Meyer und Stockmann (JKKR) hin: Eine nationale Betrachtung der Evaluationspraxis führe dazu, dass möglicherweise signifikante Unterschiede auf einer tieferen Untersuchungsebene verborgen blieben, insbesondere dann, wenn es keine Forschung zu diesen Ebenen gebe. Sie erläutern weiter, dass Evaluationspraktiken von Institutionen geprägt seien, die selten über verschiedene Politikbereiche hinweg tätig sind. Für den Fall der Schweiz zeigen empirische Studien genau dies

\

Einleitung

(Dolder et al. JKLR; Balthasar und Strotz JKLR): Unterschiedliche Verwaltungseinheiten auf unterschiedlichen Staatsebenen und in unterschiedlichen Politikfeldern weisen unterschiedliche Evaluationspraktiken auf. Die Wichtigkeit der organisationalen Ebenen macht auch die Literatur zu «Evaluation Capacity Building» deutlich (z.B. Labin et al. JKLJ). Sie interessiert sich für den Aufbau von Evaluationskompetenzen bei Organisationen (Stockdill et al. JKKJ) oder bei Organisationen und ihren Mitarbeitenden (Preskill und Boyle JKKP).

Die vorliegende Studie fokussiert daher auf die Organisationsebene und untersucht den gegenseitigen Einfluss von Evaluationspraxis und NPM-Instrumenten auf Ebene von Verwaltungseinheiten. Letztlich kann nur auf Organisationsebene wirklich überprüft werden, ob und wie sich Evaluation und NPM beeinflussen. Denn es ist sind Organisationen, nicht Politikfelder, die gleichzeitig NPM-Instrumente einsetzen und Evaluationen auslösen und betreuen. In dieser Studie sollen zwei Forschungsfragen beantwortet werden: L. Wie beeinflusst der Einsatz von NPM-Instrumenten die Evaluationspraxis einer Verwaltungseinheit?

J. Wie beeinflusst die Evaluationspraxis den Einsatz von NPM-Instrumenten in einer Verwaltungseinheit?

Nicht Gegenstand dieser Studie sind Evaluationen von NPM-Reformen. Die vorliegende Studie will nicht klären, wie Evaluationen von NPM-Reformen die Reformen selbst beeinflussen. Ebenso wenig beabsichtigt die Studie, zu erklären, welche NPM-Reformen evaluiert werden und welche nicht. Die Studie grenzt sich somit von Ritz’ (JKKN) Studie «Evaluation von New Public Management» ab, welche zum einen ein Evaluationsmodell zur Bewertung von NPM-Reformen erarbeitete und zum anderen NPM-Reformen selbst evaluierte. Ebenso unterschiedet sich die vorliegende Studie von Pollitts Aufsatz (LOOS) «Justification by Works or by Faith? Evaluating the New Public Management». Pollitt untersuchte nämlich, wieweit NPM-Reformen evaluiert wurden und formulierte Empfehlungen, wie Reformen von NPMReformen verbessert werden können. In dieser Arbeit werden keine Reformen oder Evaluationen bewertet, noch werden Empfehlungen formuliert. Zuletzt grenzt sich die Studie von Arbeiten ab, die Evaluationen als Bestandteil von NPM definieren (z.B. Rieder und Widmer JKKR).

Forschungsdesign

.

^

Forschungsdesign

Um die beiden Forschungsfragen zu beantworten, werden acht Fallstudien durchgeführt und vergleichend analysiert. Untersucht werden kantonale Verwaltungseinheiten aus den Politikfeldern Bildung und Gesundheit über einen Zeitraum von LM bis LR Jahren (bis JKLN).1 Fallstudien ermöglichen es, Wirkungszusammenhänge – gerade auf Organisationsebene – detailliert zu verstehen (Blatter und Haverland JKLM). Durch den Vergleich von Fallstudien kann die Robustheit der Einzelfallerkenntnisse geprüft werden – gewisse Verallgemeinerungen werden möglich (Levi-Faur JKKT). Der Untersuchungszeitraum von rund LS Jahren ermöglicht es, sowohl kurz- als auch langfristige Auswirkungen NPM-Reformen zu identifizieren. Pattyn (JKLMa, S. JOS) weist in ihrer Studie auf die Wichtigkeit der longitudinalen Perspektive hin. So konnte sie den Einfluss der NPM-Reform auf die Evaluationspraxis flämischer Verwaltungseinheiten nicht abschliessend erklären, da ihre Studie nicht als Längsschnittstudie konzipiert war.

Der Fokus auf die Kantonsebene sowie auf die Politikfelder Gesundheit und Bildung lässt sich wie folgt begründen: Die Kantonsebene bietet den idealen Forschungsrahmen für die vorliegende Studie. Bisher wurde die Kantone in der Evaluationsforschung zwar kaum berücksichtigt, dies aber zu Unrecht, wie die nachfolgenden Ausführungen zeigen. Zu den wenigen Ausnahmen gehören die Studien von Balthasar und Rieder (JKKO), Dolder et al. (JKLR) und Widmer (JKKJ).

-

-

-

1

Kantone sind Einheiten im selben nationalen politischen System. Es gibt viele Gemeinsamkeiten, die als konstant betrachtet werden können. Die Kantone eignen sich deshalb für systematische Vergleiche. Solche innerstaatliche Vergleiche erweisen sich oft sogar als fruchtbarer als Vergleiche auf nationaler Ebene (Vatter und Rüefli JKKN, S. NKJ).

Mehr als die Hälfte der JT Kantone haben NPM eingeführt, die meisten davon vollständig (Heimgartner und Dietrich JKKP). Zudem haben die NPM-Reformaktivitäten in der Schweiz auf kantonaler Ebene die höchste Intensität und Verbreitung erreicht (Ritz JKKS, S. TS). Auf nationaler Ebene beispielsweise werden lediglich rund fünf Prozent des Budgets über Leistungsaufträge und mit Globalbudgetierung geführt (Schedler und Summermatter JKKO, S. NOJ).

Auch auf Kantonsebene wird rege evaluiert. Bereits vor über LS Jahren haben Derlien und Rist (JKKJ, S. MSN) auf die Zunahme der Evaluationsaktivität auf subnationaler Ebene hingewiesen und explizit auch die Schweiz erwähnt. Die Arbeiten von Balthasar und Rieder (JKKO) sowie von Dolder et al. (JKLR) zeigen, dass sich die Evaluationsaktivitäten auf

Die Untersuchungsperiode der einzelnen Fälle variiert aufgrund der verfügbaren Daten sowie des Zeitpunkts der NPM-Reform (siehe Kapitel L).

_

Einleitung

kantonaler Ebene entwickelt haben und dass heute auf Kantonsebene in verschiedenen Politikbereichen regelmässig evaluiert wird.

Die Politikfelder Gesundheit und Bildung weisen einen hohen Grad an Evaluationsaktivität auf (Derlien und Rist JKKJ, S. MSJ; Dahler-Larsen JKKS, S. TLR). Gerade auch in der Schweiz gehören die Politikfelder zu den Spitzenreitern in Bezug auf die Evaluationsaktivität. In keinem Politikfeld wird auf nationaler Ebene mehr evaluiert als in der Gesundheit. Auf kantonaler Ebene weist der Bildungsbereich am meisten Evaluation auf (Balthasar und Rieder JKKO). Kommt hinzu, dass die Kantone in diesen beiden Bereichen weitreichende Kompetenzen haben (Vatter JKLM, S. MNL–MNN). Und Labin et al. (JKLJ, S. NJP) weisen darauf hin, dass insbesondere in diesen beiden Bereichen viel in den Aufbau von Evaluationskompetenzen investiert werde. Die Politikfelder Gesundheit und Bildung bilden folglich eine exzellente Grundlage, um Effekte auf die und ausgehend von der Evaluationspraxis beobachten zu können.

.

Aufbau der Studie

Die vorliegende Studie ist wie folgt aufgebaut: Im nachfolgenden Kapitel werden das theoretische Fundament dieser Arbeit gelegt, das Untersuchungsmodell präsentiert und die Hypothesen entwickelt. In Kapitel wird das methodische Vorgehen beschrieben. Als Erstes wird das Forschungsdesign (vergleichende Fallstudien) dargelegt. Danach wird die Fallauswahl begründet und die Operationalisierung der Variablen erklärt. Zum Schluss des Kapitels wird die Erhebung und die Auswertung der Daten erläutert. Die Kapitel bis sind den acht Fallstudien gewidmet. Pro Kapitel wird eine Fallstudie abgehandelt. Im Kapitel , dem Synthesekapitel, werden die Ergebnisse der Fallstudien zusammengefasst und die Hypothesen fallübergreifend geprüft. Im letzten Kapitel werden Forschungsfragen beantwortet und die Studienresultate diskutiert. Zusätzlich gewonnene Forschungserkenntnisse werden zudem in verdichteter Form präsentiert. Vor dem Hintergrund der gewonnenen Erkenntnisse wird die angewandte Methodik kritisch hinterfragt. Die Studie schliesst mit einem Ausblick auf weitere Forschungsansätze.