Manual «Prüfungssystem»

Prüfungssystem Nicht Wissen, sondern Können ist gefragt Manual #5 zum Themenschwerpunkt ‹Kompetenzorientierung›

Herausgeberin Ectaveo AG Riedtlistrasse 15a CH-8006 Zürich info@ectaveo.ch www.ectaveo.ch Autorinnen und Autoren Dr. Petra Hämmerle Lic. phil. Mirjam Häubi Dr. Monja Mariner Dr. Daniel Preckel Gestaltung und Satz dezember und juli gmbh www.dezemberundjuli.ch Auflage 3. Auflage, 2011 (1. Auflage, 2008)

Copyright © uneingeschränkt bei der Herausgeberin

inhaltsverzeichnis

1

Einführung

3

2

Für die schnellen Leserinnen und Leser

7

3

Chancen und Risiken in der Praxis

11

4

Allgemeine Erkenntnisse

15

4.1 Wozu führe ich Prüfungen durch?

20

4.2 Was will ich prüfen?

22

4.3 Wie will ich prüfen?

26

4.4 Wie will ich auswerten?

30

4.5 Wie genau will ich prüfen?

32

5

35

Lösungsskizzen

5.1 Wozu führe ich Prüfungen durch?

37

5.2 Was will ich prüfen?

39

5.3 Wie will ich prüfen?

42

5.4 Wie will ich auswerten?

51

5.5 Wie genau will ich prüfen?

54

6

Weiterführende Fragestellungen

57

7

Literaturverzeichnis

61

1 einf端hrung

02 I 03

Liebe Leserin, Lieber Leser Es gibt Erfahrungen, die wir alle teilen – wer von uns hat nicht an unzäh­ ligen Prüfungen während seiner Schul-, Studien-, Aus- oder Weiterbildungs­ zeit teilgenommen? Wer kennt sie nicht, die kniffligen Fragen im naturwis­ senschaftlichen Unterricht: Wie vielen Teilen eines Meters entspricht ein Nanometer? Oder die, die nach geschichtlichen Jahreszahlen verlangen: ­ In welchem Jahr wurde Sokrates zum Tode verurteilt? In Zeiten, in denen die Diskussion rund um den Bildungskanon durch populäre Sendungen wie «Wer wird Millionär?» mitbestimmt wird, scheint diese Art von Wissenstest wieder sehr aktuell zu sein. Wenden wir uns aber dem Thema berufliche Aus- und Weiterbildung zu, zeigt sich schnell, dass auswendig gelerntes Wissen abzufragen keine geeig­ nete Prüfungsmethode ist. Sondern Handlungskompetenz muss im gesam­ ten Lernprozess – einschliesslich des Prüfungssystems – verankert sein. Fakt ist, dass diesem Grundsatz noch viel zu wenig Rechnung getragen wird. Und damit bleibt leider auch die Erkenntnis ungenutzt, dass die Art der Prüfung das Lernverhalten massgeblich steuert. Diese Einsicht gilt ganz besonders für kompetenzorientierte Bildungs­ gänge. Wird ein Lernprozess mit klassischen Wissens- und Verständnistests abgeschlossen, so werden sich die Kandidat/innen auch nur Wissen und Verständnis aneignen. Sollen die Kandidat/innen Kompetenzen trainieren, so müssen diese Kompetenzen in den Prüfungen bewertet werden. Dies ist bei entsprechenden Prüfungsformen möglich. Denken Sie nur an Fallstu­ dien, Mini-Cases, Simulationen oder auch an Umsetzungen in den eigenen Berufs­alltag, an Gesellenstücke oder an eine konkrete Projektarbeit im Rah­ men von berufsbegleitenden Ausbildungen. Das vorliegende Manual bezieht sich einerseits auf Prüfungssysteme, die den Lernprozess unterstützen und andererseits auf Abschlussprüfungen, bei denen berufliche Kompetenzen ermittelt werden und so der Kompe­ tenzdiagnostik dienen.

Das Thema Prüfungen ist ein weites Feld. Die Betrachtungen in diesem Manual erheben deshalb nicht den Anspruch auf Vollständigkeit – so wer­ den beispielsweise Prüfungsmethoden bewusst ausgeklammert – sondern möchten Sie bei der Planung und Durchführung von kompetenzorientierten Prüfungen mit ein paar gezielten Impulsen begleiten und unterstützen. Wir freuen uns, wenn Sie unser Manual mit Interesse lesen und unsere Anre­ gungen Ihnen beim «Prüfen von Handlungskompetenz» von konkretem Nutzen sind.

Ihr Autorinnen- und Autorenteam

einführung

04 I 05

2 f端r die schnellen leserinnen und leser

06 I 07

Empfehlungen für kompetenzorientierte Prüfungen auf einen Blick? Diese Seite ermöglicht es Ihnen.

Fragen

Empfehlungen

Wozu führe ich ­Prüfungen durch? ( Funktion )

Die klassische Aufgabe ist die der Kompetenzdiagnostik.

Was will ich ­prüfen? ( Inhalte )

Wenn Prüfungen als Lernzielkontrolle eingesetzt werden, müssen sie die Lernziele der Ausbildung repräsentativ abbilden. Dienen ­ sie zur Überprüfung der beruflichen Kompetenzen, müssen sie sich ganz klar auf die Praxis beziehen und an den erforderlichen Kompetenzen ansetzen.

Wie will ich ­prüfen? ( Prüfungsform )

Bei der Lernprozessbegleitung wird auf einen abgestimmten Methodenmix geachtet. Dieser setzt sich aus Wissens- und Ver­ ständnisabfragen, Anwendungsaufgaben und Umsetzungs- ­ bzw. Reflexionsaufgaben zusammen, die der gezielten «Förde­- rung und Entwicklung» der Kandidat/innen dienen.

Damit Prüfungen sowohl diagnostizieren als auch fördern und ­ent­wi­ckeln können, sollten sie im Ausbildungskontext regel­mässig durch­geführt werden und Rückmeldungen zur Kompetenzent­ wicklung enthalten.

Bei den Abschlussprüfungen werden typische Arbeitssituationen simuliert, um die Anforderungen, die in ihnen enthalten sind, zum Gegenstand der Prüfung zu machen (fachliche und theo­retische Inhalte, Arbeitsmethodik, Umgang mit sich selbst und den Mit­ akteuren). Ausserdem wird die Reflexionsfähigkeit überprüft. Wie will ich ­auswerten? (Beurteilung )

Die Auswertung der Prüfungsleistungen erfolgt anhand von ­Beurteilungskriterien, die den Kandidat/innen bekannt sind.

Wie genau will ­ ich prüfen? (Qualitätsanspruch )

Die Gültigkeit (    Validität) der Prüfungsaufgaben ist bei kompe­­tenz­orientierten Prüfungen wichtiger als die Zuverlässigkeit ­ ( Reliabilität ).

3 chancen und risiken in der praxis

10 I 11

Wir haben zwei Personen, die Erfahrungen in der Gestaltung von kompetenz­ orientierten Prüfungen haben, die Frage gestellt: «Wo liegen Ihrer Meinung nach Chancen und Stolpersteine beim Prüfen von Handlungskompetenz?»

Christoph Gull Präsident der Prüfungskommission Eidg. Organisatorenprüfung Vorstandsmitglied Schweizerische Gesellschaft für Organisation und Management (SGO)

Handlungsorientiertes Prüfen wird zum entscheidenden Wettbewerbs- und Erfolgsfaktor für die höhere Berufsbildung, davon bin ich überzeugt. Mit der stärkeren Handlungsorientierung wird es gelingen, der höheren Berufsbil­ dung wieder eine eigenständigere Positionierung als eine echte und interes­ sante Alternative zu einer akademischen Bildungslaufbahn zu verleihen. An den eidgenössischen Organisatorenprüfungen haben wir die Handlungs­ kompetenz in den mündlichen Prüfungen bereits gut etabliert ( Gruppen­ prozess und Sozialkompetenz, Moderation und Coaching ). In den schrift­ lichen Prü­fungen braucht es noch weitere Schritte.

Dr.  oec.  publ. Peider Signorell Ehemaliger Rektor der Schuleinheit Weiterbildung der KV Zürich Business School Mitglied verschiedener Prüfungskommissionen

Die Kompetenzorientierung hat grosse Auswirkungen auf die Struktur und den Ablauf unserer Studiengänge und das interne Prüfungssystem. Ziel ist es, die Studierenden nicht nur bei der Kompetenzentwicklung zu unterstüt­ zen, sondern diese Kompetenzen auch zu überprüfen. Unsere Studierenden haben während der ganzen Studiendauer und mit unterschiedlichen Leistungen zu beweisen, dass sie über die geforderten Handlungskompetenzen verfügen. Interessant ist, dass das neue Qualifika­ tionskonzept mehr geschätzt und als weniger belastend empfunden wird als das bisherige System, bei dem auf umfangreiche, mehrheitlich schrift­ liche und theoretische Jahresprüfungen gebüffelt wurde.

chancen und risiken in der praxis

12 I 13

4 allgemeine erkenntnisse

14 I 15

Gegenstand kompetenzorientierter Prüfungen ist die Handlungskompetenz der Kandidatinnen und Kandidaten mit dem Ziel, ihre Handlungskompetenz sichtbar und damit bewertbar zu machen. Handlungskompetenz ist, wie im Manual  1 beschrieben, die Eignung zum erfolgreichen und verantwortungsvollen Handeln in bestimmten konkreten Arbeitssituationen. Sie zeichnet sich durch klare Bestimmungsgrössen aus, die für die Gestaltung von Prüfungen von grosser Relevanz sind :

Kontextbezug Berufliche Handlungskompetenz ist keine übergreifen­ de, all­­ge­­meine Fähigkeit, sondern sie bezieht sich jeweils auf konkrete ­Arbeitssituationen und Kontexte. Kompetentes Handeln in spezifischen Arbeitssituationen setzt Verschiedenes voraus : Ein kompetent Handelnder beziehungsweise eine kompetent Handelnde muss neben den relevanten theoretischen Begriffen, Konzepten und Inhalten auch über Methoden und Techniken verfügen, die im konkreten Arbeitskontext umsetzbar sind. Zu­ sätzlich zeichnen sich kompetent Handelnde dadurch aus, dass sie ­diese Methoden und Techniken in reflektierter Weise einsetzen: Erst wenn sie ihre Vorgehensweise systematisch reflektieren, werden sie fähig sein, sich zu beurteilen während sie agieren und unmittelbar Anpassungsleistungen vorzunehmen. Problemlösen Der Berufsalltag zeichnet sich meist durch komplexe ­Arbeits­situationen aus. Komplexität entsteht unter anderem dadurch, dass die Arbeitssituationen auch unwichtige und irreführende Informationen beinhalten. Kompetentes Handeln zeigt sich dann darin, dass die oder der Handelnde die Situation zunächst sorgfältig analysiert, indem sie/er die wichtigen und vielfältigen Bestimmungsgrössen erfasst und dann die adä­ quaten Verhaltensweisen wählt. Das Verhalten entspricht den inhaltlichen sowie methodischen Standards und bezieht dabei den Umgang mit den ­Mitakteuren aktiv ein. Zeitliche Entwicklung Wie im Manual  1 dargestellt, entwickelt sich Hand­ lungskompetenz nicht von heute auf morgen, sondern in verschiedenen Entwicklungsstufen ( vgl.  Rauner, 2004 ). Nach der Stufe eines beruflichen Orientierungs- und Überblickswissens entsteht nach und nach ein Zusam­ men­hangswissen, das es der/dem Handelnden erlaubt, verschiedene Techno­­logien, Techniken, Methoden, Vorgehensweisen und Wissensinhalte ­ko­or­diniert in konkreten Situationen einzusetzen. Durch reflektierte Übung entsteht schliesslich Detail- und Funktionswissen, das es erlaubt, auch neu­ artige und schwierige Aufgaben zu lösen. Auch in jeder dieser Entwicklungs­ stufen braucht es Zeit, um sich Handlungskompetenz anzueignen. Studien zeigen, dass ein intensives Training nötig ist – im Sinne von « 76 mal üben und tun» (vgl.  Hoffmann, 1997) – um eine Transferpraxis, also praktisch ein­ setzbares Können, zu erreichen.

allgemeine erkenntnisse

16 I 17

Das Verfahren zur Prüfung von Handlungskompetenz Gilt es Handlungskompetenz zu prüfen, sind zunächst ganz prinzipielle Ent­ schei­dungen über die Inhalte und die Formen des Prüfens sowie die Formen des Auswertens zu treffen. Diese Entscheidungen hängen massgeblich von zwei übergeordneten Fragen ab : Es ist einerseits zu klären, wozu überhaupt geprüft werden soll, und andererseits, in welchem Masse die üblichen Anfor­ derungen an eine Prüfung im Sinne empirischer Sozialforschung erfüllt werden sollen, das heisst wie gut geprüft werden soll. Die Funktionen des Prüfens, die Anforderungen an das Prüfen sowie der eigent­liche Prüfungsprozess sind nicht als geschlossenes System zu be­ trach­ten. Sie sind eingebettet in einen curricularen Rahmen des jeweili­ gen ­Bil­dungs­systems (  berufliche Grundbildung, Höhere Berufsbildung usw. ) ­sowie in das vorherrschende Lehr-/Lernverständnis. Dieses wird im folgenden Rah­men­modell kompetenzorientierter Prüfungen abgebildet ( vgl.  Metzger, 1998  ).

Rahmenmodell kompetenzorientierter Prüfungen Curricularer Rahmen Prüfungsprozess Wozu führe ich ­Prüfungen durch ? ( Funktion )

Was will ich prüfen ? ( Inhalte )

Wie will ich prüfen ? ( Prüfungs­ formen ) Wie will ich auswerten ? ( Beurteilung )

Lehr- /  Lernverständnis

Wie genau will ich prüfen ? ( Qualitäts­ anspruch )

Bei Prüfungen, denen ein kompetenzorientiertes Verständnis zugrunde liegt, lauten die Antworten auf diese Fragen wie folgt : Fragen

Antworten

Wozu führe ich ­Prüfungen durch? ( Funktion )

Prüfungen unterstützen im schulischen Kontext den individuellen Lernprozess. In den Abschlussprüfungen (  z.  B. eidg.  Prüfungen ) ­erfolgt eine Kompetenzdiagnostik. (  Kapitel 4.1 )

Was will ich prüfen? ( Inhalte )

Prüfungen beziehen sich konsistent auf Kompetenzen und Lern­ ziele. ( Kapitel 4.2 )

Wie will ich prüfen? (  Prüfungsformen )

In den Prüfungen wird der Lernerfolg mit verschiedenen Metho­ den überprüft. Es werden dabei relevante Arbeitssituationen simu­ liert. ( Kapitel 4.3  )

Wie will ich ­auswerten? (  Beurteilung )

Die Auswertung der Prüfungen erfolgt anhand transparenter ­Kriterien. ( Kapitel 4.4  )

Wie genau will ­ ich prüfen? ( Qualitäts­anspruch )

Die Validität der Prüfungsaufgaben ist das wichtigste Qualitäts­ kriterium. ( Kapitel 4.5  )

Diese Empfehlungen werden in den folgenden Abschnitten eingehender erläutert.

allgemeine erkenntnisse

18 I 19

4.1 wozu führe ich prüfungen durch?

Curricularer Rahmen Prüfungsprozess Wozu führe ich ­Prüfungen durch ? ( Funktion )

Was will ich prüfen ? ( Inhalte )

Wie will ich prüfen ? ( Prüfungs­ formen )

Wie genau will ich prüfen ? ( Qualitäts­ anspruch )

Wie will ich auswerten ? ( Beurteilung ) Lehr- /  Lernverständnis

Die Gestaltung von Prüfungen verlangt zunächst Entscheidungen, die mit der Funktion von Prüfungen zu tun haben. Es geht hier also um die Frage, wozu Prüfungen eigentlich durchgeführt werden. Grundsätzlich lassen sich zwei Funktionen unterscheiden: Prüfungssysteme, die den Lernprozess unterstützen Prüfungen können den individuellen Lern- und Entwicklungsprozess der Kandidat/innen massgeblich unterstützen. Dies erfolgt in der Praxis jedoch nur vereinzelt. Nach wie vor sind klassische Semesterprüfungen oder Jahres­ prüfungen, die punktuell zu absolvieren sind, die Regel. Berufliche Kompetenzen entwickeln sich jedoch während eines langen Lern­ prozesses und über verschiedene Entwicklungsstufen hinweg – von der des Novizen bis zu derjenigen des Experten (  vgl.  Rauner, 2004  ). Dabei ist einer­ seits die Bewältigung von «Arbeitsaufgaben» oder «Arbeitssituationen» der zentrale Motor des Kompetenzerwerbs, andererseits benötigen diese Lernprozesse Zeit. Dieser Lern- und Entwicklungsprozess lässt sich durch Prüfungen steuern und unterstützen, indem die Kandidat/innen durch sie erfahren, wo sie mit ihren Leistungen stehen; diese Rückmeldungen dienen letztlich also ihrer Förderung und Entwicklung. Dass Prüfungen – kombi­ niert mit konstruktiven Rückmeldungen – für Lernprozesse von zentraler Bedeutung sind, und zwar indem sie die Lernleistung und -motivation stei­ gern, ist wissenschaftlich belegt. Vorausgesetzt, sie kommen regelmässig zum Einsatz. Und neben den üblichen Noten oder Punkten muss das Feed­

back auch qualitative Aussagen zur individuellen Lernleistung und zu den Optimierungsmöglichkeiten beinhalten ( z. B.  Hattie, 1996 ). Abschlussprüfungen, die der Kompetenzdiagnostik dienen Klassischerweise dienen Prüfungen dem Nachweis von Qualifikationen und Handlungskompetenzen. Dabei zeigen die Kandidatinnen und Kandidaten, ob sie über die notwendigen Handlungskompetenzen verfügen, die im ­Beruf verlangt sind. Die heutige Praxis sieht so aus, dass sich sowohl die eid­ genössischen Prüfungen wie auch die schulisch durchgeführten Abschluss­ prüfungen eher durch Wissensabfrage, also durch Prüfen von einzelnen Aspekten der Handlungskompetenz auszeichnen. Hier herrscht ein Opti­ mierungsbedarf der Art und Weise wie geprüft wird, auf den in den nächs­ ten Kapiteln eingegangen wird.

allgemeine erkenntnisse

20 I 21

4.2 was will ich prüfen?

Curricularer Rahmen Prüfungsprozess Wozu führe ich ­Prüfungen durch ? ( Funktion )

Was will ich prüfen ? ( Inhalte )

Wie will ich prüfen ? ( Prüfungs­ formen )

Wie genau will ich prüfen ? ( Qualitäts­ anspruch )

Wie will ich auswerten ? ( Beurteilung ) Lehr- /  Lernverständnis

Bei der Konzeption einer Prüfung gilt es zu bestimmen, um welche Inhalte es in einer Prüfung geht. Die Frage lautet also: Welche Inhalte prüfe ich? Auch hier muss zwischen Prüfungssystemen, die den Lernprozess unterstüt­ zen und Abschlussprüfungen, die der Kompetenzdiagnostik dienen, unter­ schieden werden: Prüfungssysteme, die den Lernprozess unterstützen Im schulischen Bereich lautet die Antwort : Ich prüfe, ob alle relevanten Lern­ ziele erreicht werden. Dabei sollten die Lernziele in der gleichen Breite und Tiefe sowie in denjenigen Kontexten geprüft werden, in welchen sie den Kandidatinnen und Kandidaten in der Ausbildung nahe gebracht worden waren. Man spricht hier auch von inhaltlicher Repräsentativität, wenn Prü­ fungen sich aus einem repräsentativen Auszug aus den Lernzielen der Aus­ bildung zusammensetzen ( vgl.  Metzger, 2005 ). Lernziele und Prüfungen, die so aufeinander abgestimmt sind, zeugen von einer systematischen und sorgfältigen Bildungskonzeption: Nachdem in der Bildungsbedarfsanalyse Arbeitssituationen und Kompetenzen definiert wurden, diese dann in Lernziele übersetzt und mit entsprechenden Lehr- und Lernarrangements vermittelt wurden, müssen die Lernziele in den Quali­fikationsverfahren überprüft werden. Wenn im Qualifikationsverfah­ ren beruflich irrelevante Lernziele oder sogar solche, die überhaupt nicht vermittelt wurden, abgefragt werden, dann fehlt der Bildungskonzeption diese Konsistenz.

Eine sorgfältige Bildungskonzeption, bei der sich die Prüfungen konsequent aus den Lernzielen ableiten, überzeugt auch aus anderen Gründen: Wissen­ schaftliche Befunde zu Lernverhalten und Leistungsmotivation zeigen, dass die Ausgestaltung der Prüfungen einen Einfluss darauf hat, wie die Kandi­ dat/innen lernen und sich auf die Prüfungen vorbereiten. Erwarten diese in der Prüfung eine Abfrage von Fakten, werden sie sich nur Faktenwissen aneignen, anstatt zu zeitaufwändigen, auf tieferes Verständnis ausgerichte­ ten Lernstrategien zu greifen. Dieses kommt in der unter Bildungsforschern bekannten und empirisch sehr gut abgesicherten Erkenntnis zum Ausdruck: «What you test is what you get» oder «Die Prüfung steuert das Lernverhal­ ten» ( z. B. Swanson & Holton, 1999 ). Wird im Qualifikationssystem also nicht nur Fachwissen geprüft, sondern das ganze Spektrum der vermittelten Lern­ ziele ( von den Taxonomiestufen K1 bis K6), bereiten sich die Kandidat/innen auch auf höhere Taxonomiestufen vor. Die folgende Grafik zeigt die Beziehung zwischen Kompetenzen, Lernzielen und dem Prüfungssystem im schulischen Bereich auf: Kompetenzen und Lernziele im schulischen Prüfungssystem Berufsbild/ Tätigkeitsbeschreibung Arbeits­ situation

Kompetenzen

Lernzielkatalog

Prüfungssystem

Lernziel 1

Fallstudie

Lernziel 2 Lernziel 3

Arbeits­ situation

Kompetenzen

Arbeits­ situation

Kompetenzen

Lernbereich A

Lernziel 4 Lernziel 5 Lernziel 6

Lernbereich B

Wissenstest

Praxisprüfung

Lernziel 7 Lernziel 8

Diplomarbeit

Es ist zu beachten, dass sowohl Fachwissen auf den unteren Taxonomie­ stufen wie auch Kompetenzdimensionen auf den oberen Taxonomiestufen geprüft werden. Handlungskompetente Berufsleute verfügen immer auch über ein breites Fachwissen der unteren Taxonomiestufen.

allgemeine erkenntnisse

22 I 23

Abschlussprüfungen, die der Kompetenzdiagnostik dienen Im Rahmen der Abschlussprüfungen, zum Beispiel in Form der eidgenös­ sischen Berufs- und Diplomprüfungen, werden die in der Berufspraxis erfor­ derlichen Kompetenzen geprüft. Aus einer kompetenzorientierten Perspektive lässt sich gerade für Abschluss­ prüfungen argumentieren, dass Prüfungen auf jeden Fall darüber hinausge­ hen müssen, lediglich das Fachwissen der Kandidatinnen und Kandidaten zu überprüfen. Der Fokus muss auf dem konkreten Handeln in Arbeitssitua­ tionen liegen. Deshalb müssen Prüfungen praxisnah gestaltet sein und die Kandidat/innen dazu herausfordern, die relevanten Kompetenzen unter Pra­ xisbedingungen unter Beweis zu stellen. Häufig versagen Prüfungen in Bezug auf die Praxisorientierung. In Prüfun­ gen verschiedener Fachgebiete und Bildungsstufen findet man in der Regel einen Anteil von 70 bis 90 Prozent Wissensfragen. Fragen, die über die reine Abfrage von Wissen hinausgreifen, werden kaum gestellt ( Gage & Berliner, 1996 ). Problematisch ist, dass gerade diese komplexeren Leistungen ( das Analysieren eines Zusammenhanges, das Anwenden von Gelerntem oder das Beurteilen von Äusserungen ) für den Nachweis beruflicher Handlungs­ kompetenzen unverzichtbar sind: Eine «Facharztprüfung Anästhesie», die grösstenteils aus Multiple-Choice-Aufgaben besteht, lässt keinen sicheren Schluss darüber zu, ob die jungen Ärztinnen und Ärzte die Handlungskom­ petenz besitzen, eine situationsgerechte Anästhesie vorzunehmen. Um zu verhindern, dass Prüfungen ohne Bezug zur beruflichen Praxis ein­ zig und allein Wissen abfragen, müssen Prüfungsaufgaben entwickelt wer­ den, die an den Arbeitssituationen und Kompetenzen ansetzen. Um die Prüfungsexpertinnen und -experten bei der Kompetenzdiagnostik nicht zu überfordern, zieht man Beurteilungskriterien hinzu. Sie gewährleisten, dass die Kompetenzen, welche die Kandidat/innen in den Prüfungsaufgaben zei­ gen müssen, beobachtbar, beurteilbar und letzten Endes messbar sind. Die folgende Grafik zeigt die Beziehung zwischen Kompetenzen, Beurtei­ lungskriterien und Prüfungsaufgaben bei Abschlussprüfungen auf. Die Ver­ bindungslinien weisen darauf hin, dass Arbeitssituationen, Kompetenzen, Beurteilungskriterien und Prüfungen «aus einem Guss» sein müssen.

Kompetenzen und Beurteilungskriterien bei Abschlussprüfungen Arbeitsprozess 1 Beurteilungskriterium 1 Arbeits­ situation

Kompetenzen

Beurteilungskriterium 2 Beurteilungskriterium 3

Prüfungsaufgabe A

Beurteilungskriterium 4 Arbeits­ situation

Kompetenzen

Arbeits­ situation

Kompetenzen

Beurteilungskriterium 5 Beurteilungskriterium 6 Beurteilungskriterium 7

Praxis

Prüfungsaufgabe B

Beurteilungskriterium 8 Beurteilungskriterium 9 Prüfung

Sind diese Angaben nicht verfügbar, so muss für eine konsistente Prüfungs­ gestaltung als erster Schritt eine Berufsfeldanalyse durchgeführt werden. Details dazu sind im Manual   2 «Kompetenzmodellierung im Rahmen der Bildungsbedarfsanalyse – Der erste Schritt zur Handlungskompetenz» be­ schrieben.

allgemeine erkenntnisse

24 I 25

4.3 wie will ich prüfen?

Curricularer Rahmen Prüfungsprozess Wozu führe ich ­Prüfungen durch ? ( Funktion )

Was will ich prüfen ? ( Inhalte )

Wie will ich prüfen ? ( Prüfungsformen )

Wie genau will ich prüfen ? ( Qualitäts­ anspruch )

Wie will ich auswerten ? ( Beurteilung ) Lehr- /  Lernverständnis

Eine Prüfung zu planen beginnt damit, zu entscheiden, in welcher Form ge­ prüft werden soll. Es geht also um die Frage: Mit welchen Prüfungsformen wird die Prüfung gestaltet? Prüfungssysteme, die den Lernprozess unterstützen Hier gilt es, abgestimmt auf die Lernziele, die geeigneten Prüfungsformen ein­zusetzen. Diese können einerseits auf eine Wissens- oder Verständnis­ abfrage abzielen oder Anwendungsaufgaben mit unterschiedlichem Komp­ le­xi­täts­grad beinhalten. Dabei sollten Umsetzungsaufgaben unbedingt überprüfen, ob neben der reinen Anwendungsebene auch die Umsetzungs- und Reflexionskompetenzen vorhanden sind. Und zudem ganz wichtig : ­­­­ die Prüfungen sollen den Lernprozess im Sinne einer Messwiederholung be­ gleiten. Messwiederholung Prüfungen sollten nicht nur am Ende der Ausbildung eingesetzt werden. Wenn möglich sollte eine begleitende Steuerung des Lernverhaltens durch geeignete Prüfungsformen stattfinden. Diese Empfehlung lässt sich mit dem Entwicklungsverlauf der Handlungskompetenz begründen, welche sich nach und nach über Entwicklungsstufen hinweg entwickelt. Deshalb macht es Sinn, je nach Entwicklungsstufe verschiedene Prüfungen einzu­ setzen: solche, die zu den frühen Stufen, zum Orientierungs- und Über­ blickswissen («Kennt die/der Kandidat/in die typischen Arbeitssituationen und Vorgehensweisen?»), passen wie auch später solche, die sich um das Zusammenhangswissen und das Detail- und Funktionswissen drehen;

zum Beispiel indem die Kandidat/innen ihre Analysefähigkeit in einer un­ strukturierten Situation beweisen und eine komplexe Problemsituation be­ wältigen müssen. Setzt man nun über den gesamten Entwicklungsverlauf regelmässig Prüfun­ gen ein, wird die Entwicklung der Kandidat/innen sichtbar gemacht. Neben der Einschätzung der Kompetenzen im Sinne einer Standortbestimmung («Was kann die/der Kandidat/in?») lassen sich dadurch auch Informationen über die Weiterentwicklung gewinnen («Welche Fortschritte hat sie/er ge­ macht?»). Die Kandidat/innen können sich so orientieren: Sie können sich besser einschätzen, wissen, wo sie stehen, wo sie noch Lücken haben und wie sie sich weiterentwickelt haben. Ausserdem wird dadurch verhindert, dass sie am Schluss ihrer Ausbildung – allenfalls durch ein schlechtes Ab­ schlussergebnis – erst erkennen, dass sie während ihrer Ausbildung völlig falsch gelernt haben. Abschlussprüfungen, die der Kompetenzdiagnostik dienen In den Prüfungen werden relevante Arbeitssituationen simuliert, die wieder­ holt mit verschiedenen Prüfungsformen im Sinne einer Methodenvielfalt und Messwiederholung abgebildet werden. Simulation von Arbeitssituationen Aus kompetenzorientierter Perspektive geht es bei Prüfungen nicht um das Abfragen von abstraktem Wissen, sondern um den Nachweis von Hand­ lungskompetenzen in konkreten Situationen. Prüfungen sind so zu gestal­ ten, dass sie typische berufliche Arbeitssituationen möglichst realitätsnah simulieren. Je realistischer die Simulation der Arbeitssituation ist, desto ver­ lässlichere Aussagen lassen sich über die Ausprägung der relevanten Hand­ lungskompetenzen machen. Ziel ist es, dass die Kandidat/innen in typischen Arbeitssituationen nicht nur Wissen zeigen, sondern auch, ob sie >> Inhalte, Methoden, Techniken usw. einsetzen können, >> bestimmte Fähigkeiten erworben haben (  z. B. bezüglich sozialer Kompetenz  ), >> Zusammenhänge erkennen können, >> über die Situation und sich selbst reflektieren können. allgemeine erkenntnisse

26 I 27

Daher beziehen kompetenzorientierte Prüfungen den praktischen Kon­ text möglichst mit ein: alle Inhalte, Methoden, Techniken und Instrumente werden im praxisrelevanten, komplexen Kontext überprüft. Alle relevanten Anforderungen in einer Arbeitssituation werden zum Gegenstand der Prü­ fung gemacht. Neben den fachlichen und theoretischen Inhalten wird die Arbeits­methodik beziehungsweise der Umgang mit sich selbst und den Mit­akteuren thematisiert. Neben der konkreten Anwendungsebene wird die Reflexionsfähigkeit im Sinne einer reflektierten Praxiserfahrung über­ prüft. Die Kandidat/innen erläutern, welche Annahmen, Überlegungen, Erwar­tungen etc. sie zu ihren Handlungen bewegen. Hinter diesem Ansatz steht das wissenschaftliche Prinzip der Verhaltens­ orien­tierung, wie es aus der Personaleignungsdiagnostik bekannt ist. Da­ nach sagt das Verhalten, das eine Person in einer bestimmten beruflichen Handlungssituation zeigt, sehr viel aus über die zukünftige Bewährung im realen Berufsfeld. Gemäss dem Postulat «The best predictor of future perfor­ mance is past performance» (  Wernimont & Campbell, 1968, S.  372 ) will man in verhaltensorientierten Prüfungen bei den Kandidat/innen Verhaltenswei­ sen provozieren und ihre individuellen Fähigkeiten und Kompetenzen sicht­ bar und überprüfbar machen, um zu beurteilen, ob sie über die notwendige Kompetenz für die Bewältigung realer beruflicher Situationen verfügen. Dabei ist noch ein anderes wissenschaftliches Prinzip von Bedeutung, und zwar das Prinzip der Simulation: Um zu gewährleisten, dass das beobach­ tete Verhalten der Kandidat/innen eine repräsentative Stichprobe für das später verlangte Verhalten ist, müssen die Prüfungsaufgaben die Anforde­ rungen der späteren Tätigkeit in realistischer und typischer Weise simulie­ ren. Mit anderen Worten: Je genauer die Prüfungssituation die Aufgaben der späteren Berufstätigkeit simuliert, desto präzisere Schlüsse können gezogen werden, was das Ausmass der Handlungskompetenzen der Kandidat/innen betrifft (  Amelang & Zielinski, 1997  ). Ein bekanntes Verfahren, bei dem diese beiden Prinzipien umgesetzt ­werden, ist das Assessment Center (  AC  ), welches in der Personalauswahl und Potenzialanalyse eingesetzt wird: Hier bewältigen die Kandidat/innen berufsbezogene Arbeitsaufgaben und Tests und werden dabei von mehre­ ren Beobachtern nach verschiedenen Kriterien beobachtet und bewertet (  Schuler, 2005  ).

Methodenvielfalt Handlungskompetenzen sind komplex und gehen über reine Fertigkeiten oder Kenntnisse hinaus. Aufgrund ihrer Komplexität sollte man sie daher nicht nur mit einer einzelnen diagnostischen Methode erfassen, sondern mit unterschiedlichen Messverfahren (  Schuler, 2005  ), denn dadurch wird die Zahl der Indikatoren für berufliche Handlungskompetenz vergrössert, was auch die Treffsicherheit der Kompetenzdiagnose erhöht. Bei wenig komplexen Leistungen (  zum Beispiel einfache Additionsaufgaben lösen ) kann die Feststellung eines Leistungswerts nur aus einem Messvor­ gang bestehen: Ist die Additionsaufgabe korrekt gelöst, sagt das aus, dass die Kandidatin oder der Kandidat einfache Additionsaufgaben kompetent bewältigt. Für die meisten Leistungen, die im beruflichen Kontext erbracht werden, stehen jedoch keine so einfachen Messwerte zur Verfügung. Inwie­ weit es etwa einer Finanzberaterin oder einem Finanzberater gelingt, Ver­ trauen und ­Respekt der Kunden zu gewinnen, Bankprodukte nachvollziehbar zu erklären, die Organisationsaufgaben gut zu lösen und gleichzeitig eine gute Teamplayerin oder ein guter Teamplayer zu sein, all dies wird sich nicht durch den Notenwert, der zum Beispiel aus einer schriftlichen Prüfung her­ vorgeht, ausdrücken lassen. Ergänzende Leistungsindikatoren sind notwen­ dig, wie etwa die Beurteilung durch die Ausbilder/innen am Arbeitsplatz, die in gewissen Abständen die Kundenberatung beobachten, oder objektive Leistungsergebnisse wie die Anzahl der Vertragsabschlüsse. Eine Prüfung sollte also immer eine Stichprobe sein, die alle relevanten Handlungskompetenzen breit erfasst. Um das Ergebnis breit abzustützen, sollten diese mit unterschiedlichen Methoden erhoben werden.

allgemeine erkenntnisse

28 I 29

4.4 wie will ich auswerten?

Curricularer Rahmen Prüfungsprozess Wozu führe ich ­Prüfungen durch ? ( Funktion )

Was will ich prüfen ? ( Inhalte )

Wie will ich prüfen ? ( Prüfungs­ formen )

Wie genau will ich prüfen ? ( Qualitäts­ anspruch )

Wie will ich auswerten ? ( Beurteilung ) Lehr- /  Lernverständnis

Eine Prüfung zu planen heisst auch zu entscheiden, wie die Prüfungsleis­ tungen ausgewertet werden sollen. Es geht also um die Frage : Wie will ich auswerten, wie sieht meine Beurteilung aus? Sowohl bei Prüfungssystemen, die den Lernprozess unterstützen als auch bei Abschlussprüfungen, die der Kompetenzdiagnostik dienen, müssen Nachweise erbracht werden. Bei beiden Prüfungsformen geht es um den qualifizierbaren und quantifizierbaren Nachweis von Leistungen bezogen auf das Beherrschen von Lehr- beziehungsweise Lernstoff, also um den Nachweis von bestimmten Handlungskompetenzen, die mit der Bildungs­ massnahme aufgebaut werden sollten. Was eine gute Leistung ist, lässt sich dabei nur mithilfe eines äusseren Referenzsystems bestimmen. Was es also braucht, um eine bestimmte Note oder eine bestimmte Anzahl von Punkten zu erreichen, müssen die Prüfer/innen vorgeben. Je nach Art des Referenzsystems ist eine Prüfung entweder normorientiert, das heisst sie setzt das individuelle Prüfungsergebnis in Relation zu den ­Resultaten der anderen Kandidat/innen und bestimmt die Position eines einzelnen Ergebnisses innerhalb einer Gruppe. Oder sie ist kriterienorien­ tiert, das heisst sie vergleicht die individuelle Leistung der Kandidat/innen mit einem von anderen Individuen unabhängigen Massstab – wie eben vor­ definierten Beurteilungskriterien.

Normorientierte Prüfungen Normorientierte Prüfungen sind immer noch eine übliche Form der Bewer­ tung, vor allem in der schulischen Bildung sind diese weit verbreitet. Hier geht es darum, dass die Noten einer Klasse zum Beispiel der Gauss’schen Normalverteilung entsprechen müssen. Deshalb wird die Notenskala pro Prüfung und Klasse angepasst. Normorientierte Prüfungen machen aus der Optik kompetenzorientierter Bildungskonzeptionen allerdings wenig Sinn, da sie nur den Ausprägungsgrad der gewünschten Handlungskompetenz abbilden und nicht, wie bei einem Auswahlverfahren, den Rang einer Kandi­ datin oder eines Kandidaten im Vergleich zu anderen Kandidat/innen be­ stimmen. Denn die Aussage « .  .  . ist verglichen mit der Referenzgruppe bezie­ hungsweise der Klasse auf Rang 12 von 20 .  .  . » liefert keine Information über den Nachweis einer beruflichen Kompetenz. Kriterienorientierte Prüfungen In kriterienorientierten Prüfungen werden die Ausprägungen der Handlungs­ kompetenzen anhand zuvor definierter Kriterien bewertet. Es existieren also konkrete Vorgaben, Massstäbe oder Angaben, die aufzeigen, was als gute, mittelmässige oder schwache Ausprägung einer Handlungskompetenz auf­ gefasst wird. Kriterienorientierte Beurteilungen haben den Vorteil, dass man die Kandidat/innen im Vorfeld der Prüfung über die Anforderungsdimen­ sionen einer Prüfungsaufgabe informieren kann. Dadurch können sich diese bestmöglich auf die geforderten Dimensionen konzentrieren, weil sie sich darüber im Klaren sind, worauf die Prüfer/innen jeweils achten. Für kriterienorientierte Prüfungen sprechen auch motivationspsycholo­ gische Argumente. Studien zeigen, dass Leistungen am wirksamsten ge­ steigert werden, wenn ein Leistungsfortschritt an der individuellen statt an der sozialen Bezugsnorm gemessen wird (  Cotton, 1988  ). Wenn man anhand eines Kriteriums angibt, in welchem Ausmass ein/e Kandidat/in die aktu­ elle gegenüber einer früheren Leistung verbessert hat (  individuelle Bezugs­ norm ), motiviert sie/ihn das stärker, als wenn man bewertet, inwieweit die Leistung über dem Durchschnitt der Klasse liegt oder inwiefern die/der Kan­ didat/in die Leistungsposition innerhalb der Klasse verbessert hat ( soziale Bezugsnorm ).

allgemeine erkenntnisse

30 I 31

4.5 wie genau will ich prüfen?

Curricularer Rahmen Prüfungsprozess Wozu führe ich ­Prüfungen durch ? ( Funktion )

Was will ich prüfen ? ( Inhalte )

Wie will ich prüfen ? ( Prüfungs­ formen )

Wie genau will ich prüfen ? ( Qualitäts­ anspruch )

Wie will ich auswerten ? ( Beurteilung ) Lehr- /  Lernverständnis

Von Prüfungen, insbesondere von qualifikationsrelevanten Prüfungen, wird grundsätzlich erwartet, dass sie bestimmten messtheoretischen Qualitäts­ kriterien genügen. Hier gibt es grosse Gestaltungsspielräume, und die zen­t­ rale Frage lautet: Welchen Qualitätsanspruch setze ich? Grundsätzlich umfasst der Qualitätsanspruch zwei Dimensionen: Validität und Reliabilität. Validität Von Prüfungen wird einerseits gefordert, dass diese gültig ( valide ) sind. ­Valide ist eine Prüfung dann, wenn sie das, was sie zu erfassen vorgibt, auch tatsächlich erfasst. Es muss also eine Übereinstimmung zwischen den ge­ forderten Kompetenzen, den angekündigten Lernzielen und dem tatsäch­ lichen Prüfungsinhalt herrschen. Anderseits müssen die Form und das Beurteilungsverfahren der Prüfung auf die Kompetenzen und Lernziele ab­ gestimmt sein. Das bedeutet, dass eine Prüfung so gestaltet werden muss, dass sie eine bestimmte Kompetenz oder ein Lernziel auch wirklich über­ prüfen kann. Erst wenn diese Übereinstimmungen gegeben sind, kann von einer validen Prüfung gesprochen werden. Reliabilität Die Forderung nach Reliabilität bedeutet, dass Prüfungen das, was sie erfas­ sen, möglichst zuverlässig ( reliabel  ) erfassen sollen. Messfehler, die das Prü­ fungsergebnis und letztlich dessen Bewertung und Interpretation wesent­

lich verfälschen, sollen so weit wie möglich vermieden werden. Dies wird durch eine hohe Objektivität, das heisst durch für alle betroffenen Kandi­dat/innen gleichartige und präzise Bedingungen in der Durchführung, Aus­ wertung und Interpretation erreicht. Eine Prüfung gilt als reliabel, wenn die Testergebnisse reproduzierbar sind, wenn das Ergebnis also nicht von anderen als den zu messenden Faktoren abhängt. Eine Prüfung ist dann unzuverlässig, wenn bei derselben Kandida­ tin beziehungsweise beim selben Kandidaten unterschiedliche Prüfer/innen zu unterschiedlichen Ergebnissen kommen. Oder wenn die Kandidat/innen an verschiedenen Tagen geprüft werden, und dabei die individuellen Ergeb­ nisse je unterschiedlich ausfallen. Oder wenn zwei Kandidat/innen, welche die gleichen Kompetenzen aufweisen, eine unterschiedliche Bewertung er­ halten. So entsteht ein Spannungsfeld zwischen Gültigkeit (Validität) und Genauig­ keit der Messung (Reliabilität). Kompetenzorientierte Prüfungen sind vor allem der Validität verpflichtet. Es lässt sich argumentieren, dass ein differenzierter, aussagekräftiger Kompe­ tenznachweis nur möglich ist, wenn einerseits Prüfungen die geforderten Kompetenzen in der inhaltlich nötigen Breite und Tiefe verlangen. Und wenn anderseits das relevante Können der Kandidat/innen in jenen Kontex­ ten überprüft wird, in denen das Wissen und die Fähigkeiten einen Anwen­ dungsbezug haben (Resnick & Resnick, 1992). Dabei werden Einschränkungen an Zuverlässigkeit und Ökonomie bewusst in Kauf genommen. So sind kompetenzorientierte Prüfungsaufgaben unzu­ verlässiger, weil sie oft umfangreicher, komplexer, kontextgebundener und individualisierter sind und deshalb schon in der Konstruktion und Durch­ führung, besonders aber in der Auswertung nicht denselben Objektivitäts­ ansprüchen genügen wie wissensorientierte Prüfungsaufgaben. Allerdings lassen sich auch hier Gegenmassnahmen ergreifen, um eine zufriedenstel­ lende Zuverlässigkeit zu erreichen, so zum Beispiel indem die Prüfungs­ expert/innen geschult und jeweils mehrere Expert/innen für eine Kandida­ tin oder einen Kandidaten eingesetzt werden.

allgemeine erkenntnisse

32 I 33

5 lรถsungsskizzen

34 I 35

In den folgenden Abschnitten wird dargestellt, wie sich die oben genannten Erkenntnisse im Pr端fungssystem beziehungsweise in der Pr端fungspraxis umsetzen lassen.

5.1 wozu führe ich prüfungen durch?

Abschlussprüfungen, die der Kompetenzdiagnostik dienen, werden aktuell immer wieder eingesetzt. Prüfungssysteme, die den Lernprozess unterstüt­ zen, sind deutlich seltener anzutreffen. Da wir hier einen Optimierungs­ bedarf sehen, werden wir im Folgenden vor allem auf die lernprozessbeglei­ tende Funktion und ihre Besonderheiten eingehen. Dabei geht es um die regelmässige Erteilung von Rückmeldungen zum Wohle der Kompetenz­ entwicklung. Regelmässiger Einsatz von Prüfungen Die Entwicklung von Handlungskompetenzen erfolgt schrittweise, indem die Kandidat/innen berufliche Handlungssituationen und Aufgaben be­ wältigen, die in ihrer Komplexität und Schwierigkeit sukzessive zunehmen. Dadurch entsteht im Idealfall zunächst ein berufliches Orientierungs- und Überblickswissen, dann ein Zusammenhangswissen, später ein Detail- und Funktionswissen, und der Novize entwickelt sich immer mehr über die Stufe des Fortgeschrittenen zu einem kompetent Handelnden. Dieser Entwicklungsprozess lässt sich durch Prüfungen unterstützen. Sinn­ vollerweise wird die Kompetenzentwicklung nicht nur abschliessend über­ prüft, etwa in Form von Schlussprüfungen am Ende des Schuljahres, son­ dern regelmässig über den ganzen Entwicklungsprozess hinweg. Ziel ist es, den Kandidat/innen regelmässige Informationen zum Status quo ihrer individuellen Kompetenzentwicklung zu geben. So erhalten sie die Gelegen­ heit zur Diagnose ihres (  Orientierungs- und Überblicks-, Zusammenhangs-, ­­ Detail- und Funktions-  ) Wissens und ihrer Handlungskompetenzen. Im Be­ reich des Wissens führt eine regelmässige Standortbestimmung im Sinne des « Mastery learning » dazu, dass die Kandidat/innen wichtiges Vorwissen für den nächsten Lernschritt sichern – ein entscheidender Faktor für Lernerfolg. In Anwendungs- und Umsetzungsaufgaben werden Aussagen zu verschie­ denen Kompetenzdimensionen gemacht. Indem die unterschiedlichen Auf­ gabenstellungen im Rahmen des Prüfungssystems bewertet werden, erhält die gesamte Lernanlage die notwendige Verbindlichkeit.

lösungsskizzen

36 I 37

Rückmeldungen zur Kompetenzentwicklung Die Information über die Kompetenzentwicklung sollte sich nicht nur auf Punktzahlen oder Noten beschränken, sondern sie sollte Angaben zum Ent­ wicklungsprozess, zu Entwicklungszielen und zur Umsetzungsoptimierung enthalten. Ziel ist es, den Kandidat/innen anhand objektiver Kriterien im Detail aufzuzeigen, wie sich ihre Kompetenzentwicklung darstellt, welche konkreten Verbesserungsmöglichkeiten bestehen und wie diese erreicht werden können. Zudem geht es darum, die Bemühungen sich zu verbessern zu unterstützen, nicht nur durch Tipps und Handlungsanweisungen, sondern auch psycholo­ gisch durch die Stärkung der Leistungsmotivation und der Selbstwirksam­ keitserwartung. Ziel ist es, die nächsten Entwicklungsschritte einzuleiten, indem die Dozierenden ein leicht erhöhtes Anspruchsniveau bekannt geben, also die anspruchsvolleren Zielsetzungen aufzeigen.

Beispiel «Führungskurs» Die Teilnehmenden verbessern die organisationalen Abläufe in ihrem Füh­ rungsbereich. Dazu erhalten sie in jedem Semester eine schriftliche Aufga­ benstellung, sie halten ihre Analyse und ihr Vorgehen im Hinblick auf eine Verbesserung fest und reichen diese Prüfungsleistung ein. Zu dieser Arbeit erhalten sie von der Lehrgangsleitung ein schriftliches Feedback, das ihnen Stärken und Schwächen klar aufzeigt und ihnen weitere Handlungsempfeh­ lungen gibt.

Beispiel «Lehrgang Statistik» Im Kurs «Grundlagen» der deskriptiven Statistik wird nach jedem grösseren Lernblock (  Häufigkeitsverteilungen, Gruppierung von stetigen Merkmalen, kumulierte Häufigkeiten, Odds, graphische Darstellungsmöglichkeiten, ­Lage­masse, Streuungsmasse  ) ein schriftlicher Wissenstest (  Mastery lear­ ning  ) durchgeführt. Nach dem achten Lernblock erhalten die Teilnehmen­den eine anwendungsbezogene Fallstudie, bei der sie die Themen miteinan­der vernetzen müssen. Zur entsprechenden Arbeit erhalten sie eine schriftliche Rückmeldung.

5.2 was will ich prüfen?

Prüfungen müssen, wenn sie den Lernprozess unterstützen, die Lernziele der Ausbildung repräsentativ abbilden. Dienen sie der Kompetenzdiagnos­ tik, müssen sie einen klaren Bezug zu den geforderten Kompetenzen her­ stellen. Auf die Lernziele zugeschnitten Wie im Abschnitt 4.2 empfohlen, ist es für den schulischen Bereich zwin­ gend, dass Ausbildung und Prüfung aufeinander abgestimmt sind: Die Prü­ fungsaufgaben sollten sich auf die konkreten Lernziele des Bildungsgangs beziehen. Diese Beziehung lässt sich auch umdrehen: Lernziele sind nur dann sinnvoll, wenn sie auch überprüft werden. So sollte bei deren Formu­ lierung und Spezifikation immer auch bedacht werden, wie beobachtet und gemessen werden kann, ob die Lernziele erreicht worden sind. Die Konsistenz zwischen den Lernzielen und den Prüfungen sollte aber nicht nur über den Inhalt und die Prüfungsform gewährleistet werden, sondern auch über die gedankliche Leistung der Kandidat/innen. Diese gedankliche Leistung zeigt sich in den Lernzielen mittels der Angabe der sogenannten Taxonomiestufen. Es gibt verschiedene Modelle, diese Taxonomiestufen zu bestimmen. Eines der gebräuchlichsten Modelle ist die Taxonomie von Bloom (  Bloom, 1972  ). Dieses unterscheidet sechs K-Stufen (  K1: Wissen, K2: Verständnis, K3: Anwendung, K4: Analyse, K5: Synthese, K6: Beurteilung  ). Sie unterscheiden sich durch den kognitiven Komplexitätsgrad der im Lernziel geforderten Leistung. Die Abstimmung von Lernzielen und Prüfungen sollte sich auch in der Ver­ teilung der K-Stufen widerspiegeln. Wenn zum Beispiel im Lehrplan rund ein Drittel Wissens- und Verständnisziele, ein Drittel Anwendungsziele und ein Drittel K4- bis K6-Ziele verfolgt werden, muss sich diese Taxierung auch im Prüfungssystem wiederfinden. Die Prüfungsaufgaben und -formen sind den Lernzielen entsprechend auszuwählen. So kann etwa eine komplexe Beur­ teilungskompetenz nicht mithilfe von Multiple-Choice-Aufgaben nachge­ wiesen werden. Wenn beispielsweise das Verfassen eines Sitzungsprotokolls im Hinblick auf die Lernziele eine relevante Handlungskompetenz ist, dann empfiehlt es sich, in der Prüfung tatsächlich ein Sitzungsprotokoll verfassen zu lassen.

lösungsskizzen

38 I 39

Beispiel: «Führungskurs» Ausbildung

Prüfung

1. Die Teilnehmer/innen sind in der Lage, einer Mitstudentin/einem Mitstuden­ ten ihre Rolle im Verkaufsprozess ihrer ­Geschäftseinheit zu beschreiben. ( K3 )

Geprüft werden Lernziel zwei und drei

2. Die Teilnehmer/innen können quantita­ tive Zielvereinbarungen mit ihren Mit­ arbeitenden vereinbaren. ( K3 )

Prüfungsform : Rollenspiel Aufgabe : Vereinbarung von quantitativen Zielen und Rückmeldungen bei einem Mitarbeitenden, der die Verkaufsziele um 15 Prozent verfehlt hat.

3. Die Teilnehmer/innen können situations­ gerecht Rückmeldungen auf die Verkaufs­ leistungen ihrer Mitarbei­tenden erteilen. ( K5 )

Beispiel: «Lehrgang Statistik» Ausbildung

Prüfung

1. Die Teilnehmer/innen können die Grund­­ begriffe der deskriptiven Statistik erklären. ( K2 )

Geprüft werden Lernziel zwei und drei

2. Die Teilnehmer/innen können einen ­Datensatz deskriptiv auswerten. ( K3 )

Aufgabe: Auswertung eines Datensatzes mit SPSS ( einem Statistikprogramm ) ­inklusive grafischer Darstellung, Erläute­ rung der Daten mit Hinweisen, wie ­ diese zu interpretieren sind.

3. Die Teilnehmer/innen können die Aus­ sagekraft verschiedener Statistiken ­ kritisch beurteilen. (K6)

Prüfungsform: Schriftliche Prüfung

Auf die Kompetenzen zugeschnitten Bei Abschlussprüfungen geht es nicht primär um eine Lernzielkontrolle, sondern um die Überprüfung der Kompetenzen, die die Kandidatinnen und Kandidaten in der Arbeitswelt vorweisen müssen. Insofern müssen hier die Prüfungen primär auf die Kompetenzen und nicht auf die Lernziele zuge­ schnitten sein. Die Prüfungen müssen daher praxisbezogen sein und sich sowohl inhaltlich als auch formal und was das Beurteilungsverfahren be­ trifft darauf konzentrieren, was die Kandidat/innen in der Praxis beherr­ schen sollen. Damit also keine Kluft zwischen Praxis und Prüfung entsteht, müssen Prü­ fungsaufgaben entwickelt werden, die an den Arbeitssituationen und Kom­ petenzen ansetzen. Wenn möglich soll eine komplexe Arbeitssituation so­ wohl fachliche, als auch soziale und methodische Fähigkeiten erfordern, so dass mehrere Kompetenzen gleichzeitig auf die Probe gestellt werden. Worauf Sie bei der Wahl einer Arbeitssituation für die Erstellung einer Prü­ fung achten müssen und wie Sie diese konkretisieren können, zeigen wir ­Ihnen an einem Beispiel ( Seite 44 ) im Zusammenhang mit dem schrittwei­ sen Vorgehen bei der Formulierung von Prüfungen.

lösungsskizzen

40 I 41

5.3 wie will ich prüfen?

Ein Prüfungssystem, das den Lernprozess unterstützt und Abschlussprü­ fungen, die der Kompetenzdiagnostik dienen, unterscheiden sich einerseits in den Prüfungsformen und andererseits in der Messwiederholung. Bei Prüfungssystemen, die den Lernprozess unterstützen, wird in der Folge vor allem auf die Messwiederholung eingegangen. Prüfungssysteme, die den Lernprozess unterstützen Für kompetenzorientierte Prüfungen ist es zentral, dass die Prüfungen nicht alle am Schluss der Ausbildung, sondern während des Lernprozesses statt­ finden. Die immer noch verbreitete Gewohnheit, Prüfungen am Ende des Semesters beziehungsweise Schul- oder Studienjahres durchzuführen, wird damit aufgegeben. Neu können die Kandidat/innen während ihrer Ausbil­ dung laufend zeigen, welche Lernfortschritte sie machen. Um die einzelnen Lernziele, also die Kompetenzdimensionen zu überprüfen, werden unter­ schiedliche Methoden eingesetzt. Dazu gehören zum Beispiel Wissenstests, Fallstudien, Projekt- oder Diplomarbeiten. Das folgende Beispiel eines Prüfungssystems veranschaulicht, wie die Prü­ fungen über die gesamte Studiendauer verteilt und wie verschiedene Prü­ fungsmethoden eingesetzt werden können. Beispiel: «Führungsausbildung» Prüfungen

1.  Semester

2.  Semester

3.  Semester

Transferaufgaben

Präsentationen Praxisprojekte

Invervisionsgruppe Kompetenzraster

Lerntagebuch Virtuelles Forum

Beispiel: «Lehrgang Statistik» Prüfungen

1.  Semester

2.  Semester

3.  Semester

Wissenstest

SPSS-Übungen

Mündliche Prüfung

Schriftliche Prüfung

Praxisprojekte

Praxisorientierte (Diplom-, Semester-) Arbeit

Durch das Prinzip der Methodenvielfalt und Messwiederholung (  mit der Verteilung der Prüfungsleistungen auf die gesamte Dauer des Bildungsan­ gebots  ) erhöht sich die organisatorische Komplexität, dafür unterstützt das Prüfungssystem den Lernprozess ganz gezielt. Abschlussprüfungen, die der Kompetenzdiagnostik dienen Die relevanten Handlungskompetenzen werden in einer Prüfungssituation abgefragt, die sich so nah wie möglich an den konkreten künftigen Arbeits­ situationen der Kandidat/innen orientiert. Nachfolgend zeigen wir Ihnen Schritt für Schritt auf, wie Sie bei der Auswahl und Gestaltung von Prüfungs­ aufgaben vorgehen können.

lösungsskizzen

42 I 43

Schritt 1: Wahl einer relevanten Arbeitssituation und Definition der ­Kompetenzen Im ersten Schritt wählen Sie eine relevante Arbeitssituation aus. Die Grund­ lage dafür liefert die Bildungsbedarfsanalyse, die entsprechende Tätigkeits­ beschreibungen oder Arbeitssituationen mitsamt den Kompetenzen um­ fasst. Die Arbeitssituation sollte dabei so komplex sein, dass sie relevante diagnostische Informationen darüber liefern kann, >> ob die Kandidat/innen Inhalte, Methoden, Techniken usw.  anwenden können, >> sie die zentralen Fähigkeiten erworben haben, >> sie Zusammenhänge erkennen, >> und über die Situation und das eigene Handeln reflektieren können.

Beispiel «Führungsausbildung» Arbeitssituation

Kompetenz

Auswahl von Mitarbeitenden

Die/der Teilnehmende ist in der Lage, ­einen Personalauswahlprozess unter Berücksichtigung der HR-Strategie zu ­überarbeiten.

Beispiel: «Lehrgang Statistik» Arbeitssituation

Kompetenz

Deskriptive Analyse von Unternehmensdaten

Die/der Teilnehmende ist fähig, Daten­ sätze deskriptiv zu analysieren. Sie/er ist ­in der Lage, mithilfe von SPSS Korre­ lationsrechnungen statistische Signifi­ kanzprüfungen durchzuführen.

Schritt 2: Konkretisierung der Arbeitssituation Auf der Grundlage der gewählten Arbeitssituation werden Sie konkreter, in­dem Sie die Situation klar, prägnant und überschaubar beschreiben. Sie ergänzen Informationen und Aspekte, die zur Lösung notwendig sind, irre­ levante Details lassen Sie bei Kandidat/innen in frühen Ausbildungsphasen weg, auf einer späteren Entwicklungsstufe setzen sie irrelevante Details ganz bewusst ein.

Beispiel «Führungsausbildung» Ihr Unternehmen plant ein neues Design des Personalauswahlprozesses für untere Kadermitarbeitende. Das bestehende Verfahren (  Analyse des Bewerbungsdossiers, grafologisches Gutachten, unstrukturiertes Vorstel­ lungsgespräch  ) soll durch validere Methoden ersetzt werden. Diese sollen auch positive Auswirkungen auf das Personalmarketing und das Image des Unternehmens in der Region haben. Das Projekt ist auf sechs Monate ange­ setzt. Ihnen steht ein Budget von 120  000 CHF zur Verfügung.

Beispiel «Lehrgang Statistik» Sie arbeiten für ein mittelständisches Unternehmen in der Halbleiter­ industrie mit mehreren Standorten. Es häufen sich Gerüchte über eine Zunahme der Mitarbeiterfehlzeiten. Durch die neuen Lohnmodelle ist die ­Arbeitszufriedenheit rapide gesunken. Sie werden als Statistikbeauftragte/r damit betraut, sich die Zahlen genauer anzuschauen.

lösungsskizzen

44 I 45

Schritt 3: Entwicklung konkreter Aufgaben und Fragen Wenn eine konkrete Arbeitssituation vorliegt, können Aufgaben und Fra­ gen formuliert werden, die prüfen, ob die Kandidatin beziehungsweise der Kandidat die Arbeitssituation kompetent bewältigen kann. Dabei sollten sich die Aufgaben und Fragen unmittelbar auf die Situation beziehen. Sie müssen klar formuliert sein, einen konkreten Handlungsauftrag für die Kan­ didat/innen enthalten (  ohne jedoch den Lösungsprozess bereits vorzustruk­ turieren  ), und klare Kriterien aufweisen. Zudem stellt die Prüfungsaufgabe idealerweise eine vollständige Handlung dar, das heisst das berufliche Vor­ gehen, das zur Bewältigung der Arbeitssituation notwendig ist, umfasst die Komponenten Informationsbeschaffung, Planung, Durchführung, Kontrolle, Auswertung.

Beispiel «Führungsausbildung» Bereiten Sie den Personalauswahlprozess vor. Notieren Sie, wie Sie ­typische Beurteilungsfehler vermeiden, um möglichst valide Informationen über die Bewerber/innen zu erhalten. Setzen Sie die Auswahlinstrumente sinnvoll ein und werten Sie diese aus.

Beispiel «Lehrgang Statistik» Stellen Sie die Durchschnittsfehlzeiten im Unternehmen und die saisonalen Schwankungen in der Region durch Mittelwert und Streuung dar; zeigen Sie auf, wie oft bestimmte Absenzenzahlen überschritten werden; vergleichen Sie die Regionen und Zeiträume mithilfe von Grafiken oder ­Tabellen. Prüfen Sie statistisch die Hypothese: «Zwischen Arbeitszufrieden­heit und Absen­ tismus besteht ein Zusammenhang.» Erstellen Sie ­einen Bericht von zwei Seiten.

Schritt 4: Einbindung von Hilfsmitteln und Zusatzinformationen Mit dem Ziel, eine realistische berufliche Arbeitssituation zu simulieren, werden den Kandidat/innen weitere Informationen zur Verfügung gestellt, die zur Lösung der Aufgabe notwendig sind. Alle Informationen, die im Be­ rufsalltag in einer entsprechenden Situation vorliegen, sollten auch in einer handlungsorientierten Prüfung bereitgestellt werden. Dies sind beispiels­ weise Angebote, Formulare, Gesetzestexte und so weiter.

Beispiel «Führungsausbildung» Nutzen Sie zur Vorbereitung die Unterlagen des Unternehmens zur HR­Strategie, zum Leitbild, zur Personalplanung. Gehen Sie davon aus, dass die Bewerber/innen die aktuelle Situation des Unternehmens (  insbesondere die Restrukturierung im Vertrieb  ) noch nicht kennen.

Beispiel «Lehrgang Statistik» Zur Verfügung stehen: Rohdatensatz Mitarbeiterbefragung und Fehlzeiten ( < 1 Tag, 2–5 Tage, >5 Tage ), Statistikprogramm SPSS, Taschenrechner.

lösungsskizzen

46 I 47

Schritt 5: Der Einsatz unterschiedlicher Prüfungsmethoden Die Aufgaben sollten nun mit unterschiedlichen Prüfungsmethoden umge­ setzt werden. Dadurch wird die Aussagekraft des Qualifikationsverfahrens er­höht, weil die Kandidat/innen die zu prüfenden Kompetenzen in unter­ schied­lichen Kombinationen und Situationen zeigen müssen; und weil ­un­ter­­schiedliche Kompetenzfacetten überprüft, also eine Kompetenz durch mehrere Methoden erfasst werden kann. Prinzipiell wird zwischen den folgenden, für kompetenzorientierte Bildungs­ angebote zentralen Prüfungsverfahren unterschieden (  vgl.  Metzger, 2005 ): >> Prozessbeobachtung versus Produkt-/Ergebnisbeobachtung >> Schriftliche Prüfungen versus mündliche Prüfungen >> Wissensprüfungen versus praktische Prüfungen >> Individuelle versus kooperative Prüfungsformen Prozessbeobachtung versus Produkt-/Ergebnisbeobachtung Bei dieser Unterscheidung geht es um Prüfungen, bei denen entweder be­ urteilt wird, auf welche Art die/der Kandidat/in die Aufgabe löst, also wel­ chen Weg sie/er zur Lösung der Aufgabe wählt (  Prozessbeobachtung  ), oder es wird bewertet, zu welchem Ergebnis sie/er kommt (  Produkt-/Ergebnis­ beobachtung  ).

Beispiel «Führungsausbildung» Prozessbeobachtung

Produkt-/Ergebnisbeobachtung

• Mündliche Präsentation eines Konzepts ­ mit situativen Fragen • Auswertung des Gruppenprozesses ­ während der Konzepterstellung

• Bewertung des Ergebnisses ­ ( nach Innovationsgehalt, Realitäts­bezug usw. )

Beispiel: «Lehrgang Statistik» Prozessbeobachtung

Produkt-/Ergebnisbeobachtung

• Bewertung der eingesetzten statistischen Verfahren

• Auswertung der Absentismuszahlen • Projektdokumentation ( Bericht )

Schriftliche Prüfungen versus mündliche Prüfungen Die Prüfungsmethoden können je nach Situation schriftlich oder mündlich durchgeführt werden. Auch Kombinationen sind denkbar. Bei der Entschei­ dung, ob eine Prüfung schriftlich oder mündlich durchgeführt werden soll, ist vor allem auf die zugrunde liegenden Kompetenzen beziehungsweise Arbeitssituationen zu verweisen. Mündliche Prüfungen sind insbesondere bei Kompetenzen sinnvoll, die sich durch Beobachtung erschliessen lassen ( kommunikative und soziale Kompetenzen ). Schriftliche Prüfungen sind eher angezeigt, wenn fachliche Kompetenzen oder Problemlösungskompe­ tenzen überprüft werden sollen.

Beispiel «Führungsausbildung» Mündlich

Schriftlich

• Rollenspiele zum Einstellungsgespräch (  Interview  ) • Präsentation zum Thema «Neues Design ­unseres Personalauswahlprozesses für ­untere Kaderleute»

• Lerntagebuch mit Reflexionen zum ­Lernprozess • Schriftlich angeleitete, qualifikations­ relevante Transferaufgaben

Beispiel: «Lehrgang Statistik» Mündlich

Schriftlich

• Mündliche Prüfung zur Arbeit mit SPSS

• Praxisorientierte Arbeit (  Auswertung eines Datensatzes  )

lösungsskizzen

48 I 49

Individuelle versus kooperative Prüfungsformen In der Berufsbildung sind viele Kompetenzen eng mit dem Arbeiten in Teams verknüpft. Es ist deshalb sinnvoll, individuelle und kooperative Prüfungs­ formen zu kombinieren. Diese Gruppenprüfungen, zum Beispiel Projekt­ arbeiten, werden auch kollektiv beurteilt. Sie können als schriftliche und/ oder mündliche Prüfung durchgeführt werden.

Beispiel «Führungsausbildung» Individuelle Prüfungen

Kooperative Prüfungen

• Präsentation im Präsenzunterricht • Lerntagebuch

• Projektarbeit in der Gruppe

Beispiel: «Lehrgang Statistik» Individuelle Prüfungen

Kooperative Prüfungen

• Mündliche/schriftliche Prüfung • Praxisarbeit

• Beteiligung an einer Gruppendiskussion zum Thema «Zusammenhang zwischen Arbeitszufriedenheit und Fehlzeiten»

Eine gute Mischung von Prüfungsmethoden ist ein wichtiges Qualitäts­ merkmal des kompetenzorientierten Prüfungssystems.

5.4 wie will ich auswerten?

Wie im Abschnitt 4.4 empfohlen wurde, ist jede Prüfung kriterienorientiert zu bewerten. Bei Prüfungssystemen, die den Lernprozess unterstützen sind die Beurtei­ lungskriterien aus den Lernzielen beziehungsweise den darin festgelegten Massstäben abzuleiten. Anders bei Abschlussprüfungen, die der Kompe­ tenz­diagnostik dienen. Bei den Abschlussprüfungen basieren die Beurtei­ lungskriterien auf den Kompetenzen. In beiden Fällen müssen die Beurtei­ lungskriterien und entsprechenden Massstäbe den Kandidat/innen vor der Durchführung der Prüfung bekannt sein. Damit sind die Anforderungen und entsprechenden Bewertungen transparent, und die Prüfungsergebnisse sind vergleichbar.

Schritt 7: Definition von Kriterien Klären Sie für sich, ob die Kompetenz, die sie prüfen möchten, unter den ge­ gebenen Rahmenbedingungen (  Aufgabe, Zeit, Hilfsmittel usw.  ) beobacht­ bar und überprüfbar ist. Definieren Sie dann eine Leitfrage, die den Beobach­ tungsfokus festlegt.

Beispiel «Führungsausbildung» Leitfrage Ist der im Bericht beschriebene Personalauswahlprozess klar strukturiert, die Wahl der Auswahlinstrumente nachvollziehbar und ist deren Einsatz realistisch geplant?

Beispiel: «Lehrgang Statistik» Leitfrage Ist der Datensatz vollständig ausgewertet und interpretiert?

lösungsskizzen

50 I 51

Jedes Beurteilungskriterium umfasst eine Beschreibung von bestimmten «Gütestufen». Geben Sie daher an, was von der Kandidatin oder vom Kan­ didaten erbracht werden muss, damit von einer guten Leistung gesprochen werden kann.

Beispiel «Führungsausbildung» Leitfrage Ist der im Bericht beschriebene Personalauswahlprozess klar strukturiert, die Wahl der Aus­ wahlinstrumente nachvollziehbar und ist deren Einsatz realistisch geplant? Sehr gut erfüllt

Der Bericht ist vollständig (enthält Aussa­gen zum Auswahlprozess und den ­-instrumenten). Er über­ zeugt die Leserschaft durch eine sehr klare, rationale ­Argumentation und eine realistische ­Planung.

Teilweise erfüllt

Der Bericht ist vollständig (enthält Aussa­gen zum Auswahlprozess und den -in­stru­menten). Er greift nur teilweise ratio­nale Argumente auf oder zeigt nur ­teilweise ­realistische Planungsansätze auf.

Kaum oder nicht erfüllt

Der Bericht ist entweder unvollständig (es fehlen wesentliche Aussagen zum Auswahlprozess und den -instrumenten), ­oder er überzeugt die Leserschaft nicht. Die ­Argumentation ist schwer nach­vollziehbar, subjektiv begründet, oder die Planung ist unrealis­ tisch.

Beispiel «Lehrgang Statistik» Leitfrage Ist der Datensatz vollständig ausgewertet und interpretiert? Sehr gut erfüllt

Der Umgang mit SPSS erfolgt sicher und fehlerlos. Alle Befehle werden korrekt ­gewählt, ausgeführt und begründet. Auf Fragen nach Sinn und Zweck der statis­tischen Verfahren folgen kompetente A­nt­ worten.

Teilweise erfüllt

Der Umgang mit SPSS erfolgt grösstenteils sicher und fehlerlos. Die Mehrzahl ­der ­Befehle wird kor­ rekt gewählt, ausge­führt und begründet. Auf Fragen nach Sinn ­und Zweck der statistischen Verfahren ­folgen in der Regel kompetente Antworten.

Kaum oder nicht erfüllt

Der Umgang mit SPSS erfolgt nur teilweise sicher und fehlerlos. Nur einige Befehle werden korrekt ge­ wählt, ausge­f­ührt und begründet. Auf Fragen nach Sinn ­und Zweck der statistischen Verfahren folgen häufig keine kompetenten Antworten.

Eine Leistungsbeurteilung besteht in der Regel nicht nur aus einem Beurtei­ lungskriterium. Je nach Komplexität der Arbeit ist es sinnvoll, mehrere Kri­ terien zu verwenden. Dabei ist es wichtig, dass alle Aspekte einer Leistung gleichwertig berücksichtigt werden. Um die Prüfungsexpert/innen bei der kriteriengestützten Bewertung nicht zu überfordern, sollten jedoch nicht mehr als 4 bis 6 Kriterien pro Prüfungs­ aufgabe eingesetzt werden.

lösungsskizzen

52 I 53

5.5 wie genau will ich prüfen?

Prüfungen messen die von ihnen zu erfassenden Leistungsmerkmale nie mit absoluter Exaktheit. Um die Unzulänglichkeiten der Messungen zu mini­ mieren, sollte man bei allen Prüfungen grössten Wert auf eine sorgfältige Entwicklung, Durchführung und Auswertung der Prüfungen legen. Bei den Prüfungen sind unter anderem die folgenden Aspekte zu berücksichtigen:

Validität (  Gültigkeit  ) ist bei kompetenzorientierten Prüfungen das wich­ tigste Qualitätskriterium. Um Handlungskompetenzen beurteilen zu kön­ nen, müssen in der Prüfung authentische Anwendungssituationen geschaf­ fen werden. Um valide Prüfungen zu entwickeln, sollten bei der Konstruktion von Prüfungen die vorher beschriebenen Arbeitsschritte konsequent umge­ setzt werden. Auch bei der Lernzielüberprüfung ist auf eine angemessene Abbildung der Lernziele zu achten. Reliabilität Prüfungen sollten die Kompetenzen, die sie testen und beurtei­ len, möglichst reliabel (  zuverlässig  ) erfassen. Es geht darum, Messfehler zu vermeiden, die das Prüfungsergebnis wesentlich verfälschen können, bei­ spielsweise dass die Prüfungsexpert/innen unterschiedliche Bewertungs­ massstäbe anwenden oder Beobachtungsfehler machen. Um dem vorzu­ beugen, gilt es die Prüfungsexpert/innen umfassend zu schulen. Folgende Ziele werden bei einer Schulung verfolgt: >> Die Expertinnen und Experten sind mit den Beurteilungskriterien ver­ traut. >> Die Expert/innen sind mit den einzelnen Prüfungsaufgaben, deren Ziel­ setzungen und Abläufen vertraut. >> Die Expert/innen sind sich möglicher Fehlerquellen bei den Beobach­ tungs- und Bewertungsprozessen bewusst. >> Die Expert/innen sind in der Lage, die Kompetenzen kriterienorientiert zu beurteilen.

Die in Prüfungen vorgenommenen Einschätzungen beruhen auf den sub­ jektiven Wahrnehmungen der Prüfungsexpertinnen und -experten und sind damit auch trotz Beobachtertrainings zwangsläufig auf Beobachtungs­ fehler anfällig. Deshalb ist es sinnvoll, nach dem Vier-Augen-Prinzip immer mindestens zwei Prüfungsexpert/innen einzusetzen, die die Kompetenzen jeder Kandidatin und jedes Kandidaten beobachten und bewerten.

lösungsskizzen

54 I 55

6 weiterf端hrende fragestellungen

56 I 57

Im Rahmen der Umsetzung von kompetenzorientierten Prüfungen stellt sich immer wieder eine Reihe von Fragen. Für Schulen ist die Umstellung auf kompetenzorientierte Prüfungsformen eine komplexe Aufgabe. Prüfungen sind so zu gestalten, dass sie den Pro­ zess der Kompetenzentwicklung unterstützen. Das Curriculum und das Prü­ fungssystem müssen aufeinander abgestimmt sein und miteinander ent­ wickelt werden. Die Prüfungsaufgaben können nicht mehr fächerbezogen konstruiert werden, sondern müssen sich fächerübergreifend auf Arbeits­ situationen beziehen. Es reicht nicht mehr, Kandidat/innen nur Noten oder Punkte zu geben, sie müssen konstruktive Rückmeldungen erhalten, die sie zur präzisen Standortbestimmung für ihren Lernprozess nutzen kön­ nen. All dies stellt neue Anforderungen an die Dozierenden: Sie sind nicht mehr ­Prüfer/innen, sondern Coaches. Sie nutzen Prüfungen nicht mehr nur zur Kontrolle, sondern zur Unterstützung des individuellen Lernprozesses. Sie ­arbeiten eng mit anderen Dozierenden zusammen, um kompetenzori­ entierte Prüfungsaufgaben zu entwickeln, die sich an Arbeitssituationen ausrichten. Diese neuen Aufgaben bedeuten für die Dozierenden, das be­ stehende Prüfungssystem kritisch zu hinterfragen und eine neue Rolle und Funktion zu übernehmen. Das wirft die Fragen auf: Wie gewinnt man die Dozierenden? Wie holt man sie «ins Boot»?

Auch die Prüfungsexpert/innen der eidgenössischen Prüfungen sind stark gefordert: Die Entwicklung einer validen, praxisorientierten Prüfung erfor­ dert grosse Sorgfalt und Expertise in der Konzeption und Durchführung von Prüfungen. Wie kann man die Prüfungskommissionen, die in der Regel im Milizsystem arbeiten, bestmöglich bei dieser anspruchsvollen Aufgabe unterstützen? Und wie setzt man die Prinzipien kompetenzorientierter Prü­ fungen um, ohne die ökonomischen Rahmenbedingungen aus dem Auge zu verlieren? Auch kann bei kompetenzorientierten Prüfungen der Umgang mit Rekursen schwieriger sein als bei den klassischen Prüfungen. Man nimmt ja bewusst Einbussen an Objektivität in Kauf, damit man die Kompetenzen der Kandidat/innen in validen Arbeitssituationen sichtbar macht. Das führt zu komplexeren, schlechter kontrollierbaren Prüfungsanlagen, und deshalb auch zu weniger objektiven Bewertungen. Wie geht man angesichts die­ ser offenen Situationen mit Rekursen um? Und: Wie geht man mit der ver­ schlechterten Rekursfähigkeit dieser Verfahren um? Mit diesem Fazit sind nur ein paar wenige Fragen angesprochen, und sicher ist Ihnen die eine oder andere Diskussion bestens bekannt. Vielleicht sind Sie da und dort schon einen Schritt weiter? Wie machen Sie das? Was läuft gut? Wo liegen Ihrer Einschätzung nach Optimierungsmög­ lichkeiten in Ihrer Praxis? Wir wünschen Ihnen einen erkenntnisreichen Denk- und Diskussions­prozess in Ihrer Institution.

weiterführende fragestellungen

58 I 59

7 literaturverzeichnis

60 I 61

Amelang, M., Zielinski, W. ( 1997 ): Psychologische Diagnostik und ­Interven­tion. Berlin: Springer. Bloom, B. ( 1972 ): Taxonomie von Lernzielen im kognitiven Bereich. Weinheim: Beltz. Cotton, K. ( 1988 ): Instructional Reinforcement. School Improvement ­Research Series. Portland: Northwestern Educational Laboratory. Gage, N. L., Berliner, D.  C. ( 1996 ): Pädagogische Psychologie. Weinheim: Beltz. Hattie, J., Biggs, J. & Purdie, N. ( 1996 ): Effects of Learning Skills Interven­ tions on Student Learning: A Meta-Analysis. In: Review of Educational Research, 66, S. 99–136. Hoffmann, L., Häussler, P.  & Peters-Haft, S. ( 1997 ): An den Interessen von Mädchen und Jungen orientierter Physikunterricht – Ergebnisse eines ­BLK-Modellversuchs. Kiel: Universität IPN. Metzger, C., Dörig, R. & Waibel, R. ( 1998 ): Gültig prüfen. Modell und Emp­ fehlung für die Sekundarstufe II unter besonderer Berücksichtigung der kaufmännischen Lehrabschlussprüfungen. St.  Gallen: Institut für Wirt­ schaftspädagogik. Metzger, C. ( 2005 ): Prüfungen und Standards in der beruflichen Bildung. In: bwp@, 8, S. 1–11. Rauner, F. ( 2004 ): Praktisches Wissen und berufliche Handlungskompetenz. In: ITB-Forschungsberichte, 14, 2004. Resnick, L. B., Resnick, D. P. ( 1992 ): Assessing the Thinking Curriculum: New Tools for Educational Reform. In: B. R. Gifford, M. C. O’Connor (  Hrsg. ): Changing Assessments: Alternative Views of Aptitude, Achievement and Instruction. Boston: Kluwer Academic Publishers, S. 37-75. Schuler, H. ( 2005 ): Lehrbuch der Personalpsychologie. Göttingen: Hogrefe. Swanson, R. A., Holton, E. F. ( 1999 ): Results: How to Assess Performance, Learning, and Perceptions in Organizations. San Francisco: Barrett-Koehler. Wernimont, P.F., Campbell, J. P. ( 1968 ): Signs, Samples and Criteria. ­ In: Journal of Applied Psychology, 52, S. 372–376.

bildungs- und organisationsgestaltung

ectaveo ag riedtlistrasse 15a ch-8006 z端rich t +41 44 360 40 60 info@ectaveo.ch www. ectaveo.ch