Evaluation von Prüfungen - Bericht aus dem Workshop 3 (L. Schuwirth) aus der Sicht eines Teilnehmers Evaluation of Exams - Workshop Report

Prüfungen sind unverzichtbar. Im Medizinstudium versuchen sie das spätere Handeln in der Praxis vorherzusagen und müssen deshalb zuverlässige Instrumente sein. Sie dienen förmlich als ein Diagnostikum für spätere ärztliche Inkompetenz. Prüfungen steuern aber auch das Lernverhalten von Studenten, denn von Prüfungsergebnissen hängt nun einmal viel ab (in Österreich bislang nur für den Geprüften, nicht für den Prüfer). Prüfungen - "the hidden curriculum"; der Vergleich ist durchaus als Mahnung zu verstehen, den Einfluß von Art und Inhalt von Prüfungen auf das Erreichen des eigentlichen Ausbildungszieles nicht zu unterschätzen. Demnach sollte der Evaluation von Prüfungen gerade bei der Umsetzung des UOG'93 ein wichtiger Part zukommen.

Für den Workshop-Teil "Evaluation von Prüfungen", geleitet von Dr. Lambert SCHUWIRTH von der Universität Maastricht (Niederlande), interessierten sich die Teilnehmer aus sehr verschiedenen Gründen: aus dem Wunsch nach Verbesserung des nach Jahren unbefriedigend gewordenen Ablaufs des Prüfens; wegen der fehlenden Kenntnisse von psychometrischen Hintergründen; um andere Prüfungssysteme (siehe Modell Maastricht) sowie um Grundlagen von EDV-basierten Evaluationsverfahren für (schriftliche) Prüfungen kennenzulernen.

Unvermeidlich bei dieser heterogenen Zusammensetzung, kamen auch grundlegende Aspekte von Prüfungen zur Diskussion: Vorteile von schriftlichen versus mündlichen versus praktischen Prüfungen; wie kann man die Objektivität von Prüfungen verbessern? Welches medizinische Wissen und welches ärztliche Verhalten will man letztlich erreichen? Besonders interessant waren die Erfahrungen mit dem (für "gelernte Österreicher" so ganz anderen) Maastrichter Prüfungssystem, dargestellt von Dr. SCHUWIRTH, der als junger Anästhesist an der Universität einen guten Teil seiner Zeit der Evaluation der fächerübergreifenden Multiple-Choice Tests widmen kann (!).

Was kann eine Prüfung überhaupt leisten? Neben dem Faktenwissen und auch dem Verstehen der Grundlagen sind andere vom (guten) Arzt erwartete Fähigkeiten einer objektivierbaren Prüfung schlechter zugänglich: die zugrundeliegende Motivation für das Medizinstudium, die ethisch-moralische Einstellung des späteren Arztes, seine Teamfähigkeit, nicht zuletzt die Fähigkeit mit Patienten umzugehen. Die Möglichkeiten, dies alles durch Beurteilungen anderer zu "prüfen", werden bei uns derzeit nicht ergriffen (und sind daher auch nicht evaluierbar). Leider wird nicht einmal darüber diskutiert, was andernorts schon üblich ist (z.B. Beurteilung des Turnusarztes durch seine Kontaktpersonen während der Ausbildung inklusive behandelter Patienten). Prüfen von Fakten und deren Verständnis, die derzeitigen Steuerungsinstrumente im Studium, sind einer Evaluation leichter zugänglich. Für mich als erziehungspsychologisch untrainiertem Mediziner war es überraschend zu erfahren, wie klar offenbar die Fakten gegen den allseits üblichen überwiegenden Einsatz von mündlichen Prüfungen sprechen. Um mit mündlichen Prüfungen zu einem objektiven und reliablen Ergebnis ähnlich dem eines schriftlichen Tests zu kommen, müßte ein nicht machbarer Aufwand getrieben werden - man müßte in einem fort nur prüfen (abhängig vom benutzten Prüfungssystem bis zu 2 Tage mündlich vs. 2 Stunden schriftlich). Zudem sind die Ergebnisse aus mündlichen Prüfungen meist unstandardisiert und damit einer Auswertung/Evaluation schlecht zugänglich. Schriftliche Tests hingegen haben unter anderem den Vorteil, rasch statistisch analysiert werden zu können, wenn man standardisierte Fragen stellt (z.B. Multiple Choice Fragen in verschiedenen Versionen). Durch Verwenden einfacher Statistikprogramme wie SPSS sind Ergebnisse schriftlicher Tests leicht untersuchbar: etwa, ob Fragen schwer oder leicht sind (um eine ausgewogenes Verhältnis zu erzielen) oder ob sie schlecht bzw. irreführend sind. Letztere würden nicht von den guten Studenten am ehesten richtig beantwortet werden. Sicher sind Tests mit wenigen Fragen auch schon durch Durchsehen nach wenigen logischen Kriterien analysierbar, aber mit steigendem Umfang gewinnt die Option für eine computerassistierte Bearbeitung. Interessant war außerdem zu erfahren, daß schriftliche Testergebnisse auch sehr gut mit den Ergebnissen praktischer Prüfungen wie OSCE (objective simulated clinical exam) korrelieren. Dies ist zwar nur der Fall in den höheren Kompetenzbereichen (zweite Hälfte des Studiums im klinischen Bereichs). Trotzdem kann sich die Verwendung dieser Prüfungsmethode so positiv auf das Lernverhalten auswirken, daß OSCE auch für weniger weit fortgeschrittene Studenten sinnvollerweise eingesetzt werden.

Eine große Sammlung evaluierter Multiple-Choice Fragen (ca. 17.000 aus der gesamten Medizin) aufzubauen, die jedem Studenten zugänglich ist, erscheint mir als ein Kernpunkt des Maastrichter Modells, das so durch Objektivität und Transparenz besticht. Für den von Studenten gerne gewählten "Abkürzungsweg" des Lernens von Prüfungsfragen wären in dem Fall ca. 4-6 Jahre notwendig, was keinen Vorteil gegenüber einem "ordentlichen" Medizinstudium mehr bringt.

Obwohl sicher viele Institute und Kliniken bei uns ihre Fragensammlungen über die Zeit aufgebaut haben, wird die Güte dieser Fragen (nicht der Gefragten) nach solchen Kriterien nirgends an der Fakultät laufend gemessen. Hier kann vieles verbessert werden.

Neben dem vermehrten Einsatz schriftlicher Tests in standardisierter Form, sofern der Aufwand dem Prüfungsumfang angemessen erscheint, wurden am Workshop auch andere, kurzfristiger realisierbare Möglichkeiten der Verbesserung des Systems diskutiert, die vor allem auf eine möglichst weitgehende Standardisierung von Prüfungsfragen (ob schriftlich oder mündlich) abzielen:

• Frage und Auflösung ausarbeiten - erlaubt eine bessere Erfassung der Beantwortung;
• Lernzielkataloge stecken Fragenkomplexe für den Studenten ab, diese Lernzielkataloge müssen dann aber für die in Frage kommenden Prüfer verbindlich sein;
• Aufbau von Fragensammlungen (ob mündlich oder schriftlich) nach intern festgelegten Kriterien, kritische Überprüfung von neuen Fragen intern und durch Studenten. Um das Engagement der Lehrenden und Prüfenden zu fördern, könnte man von jedem ein jährliches Quantum an neuen intern evaluierten Fragen verlangen oder dieses belohnen;
• Fragensammlungen, sofern umfangreich genug, öffentlich machen;
• "Poolen" von mehreren Prüfern und Kandidaten gleichzeitig - Absolvieren verschiedener "Prüfungsstationen" um die individuellen Parameter zu minimieren;
• Bereicherung von Prüfungen im klinischen Bereich durch standardisierte praktische Prüfungen (OSCE);
• Rückmeldungen der geprüften Studenten fordern, fördern und ernst nehmen (z.B. ihnen ein Einspruchsrecht geben, wenn sie mit entsprechenden Literaturbelegen argumentieren) - als Betroffene sind Studenten Experten für die Qualität von Prüfungsfragen.

Evaluation von Prüfungen, wie jede Evaluation in der Lehre, macht sich nicht von selbst. Von ihrer Ausbildung her sind auch habilitierte Mediziner nicht unbedingt in der Lage, diese ohne erheblichen Mehraufwand an Zeit und Weiterbildung selber professionell durchzuführen. Das Wissen von Fachleuten auf diesem Gebiet ist also unverzichtbar, trotz der Berührungsängste die zwischen Medizinern und Pädagogik-Institutionen oft bestehen. Derzeit sind solche Stellen oder Einrichtungen für die Evaluation an den medizinischen Fakultäten (noch?) nicht konkret vorgesehen. Sie sind aber genauso essentiell wie ein - verbindliches - Angebot zur pädagogischen Aus- und Weiterbildung an alle Lehrenden. Letztlich trägt eine kontinuierliche Evaluation von Prüfungen dazu bei, auf das Ausbildungsziel des Medizinstudiums (wie immer es an der einzelnen Fakultät definiert wird) hinzuarbeiten, um sowohl einem Überschuß an inkompetenten Ärzten als auch einer Fehlinvestition in Studienabbrecher entgegenzuwirken. In einer Zeit der zu teuer gewordenen Ineffizienz und des Sparens also eigentlich ein Angebot, das man nicht ablehnen kann. Es gilt, das Beste daraus zu machen.

P.S.

Mit zeitlichem Abstand zum Workshop möchte ich meine ersten Erfahrungen mit der Umsetzbarkeit der oben gemachten Verbesserungsvorschläge nicht verschweigen:

Für das in unserem Prüfungsfach abgehaltene Praktikum wurde die bisher (notwendigerweise nur kurze) mündliche Prüfung durch einen Test ersetzt. Der Mehraufwand bei der Erstellung der Fragen und deren Auswertung wurde dadurch belohnt, daß die Studenten letztlich auch mehr wußten und dennoch den Test schätzten. Aber der (vermehrte) Einsatz schriftlicher Tests stößt oft noch, besonders im klinischen Bereich auf Widerstand, der nicht selten die Charakteristika eines Glaubenskampfes trägt. Zwar weit davon entfernt, selbst ein wirklicher Experte zu sein, haben mir die am Workshop diskutierten Fakten bzgl. mündlicher Prüfungen doch zu denken gegeben. Provokant formuliert scheint der wesentlichste Beweggrund für die Art, wie hierzulande (mündliche) Prüfungen in der Medizin abgehalten werden, nur die Tradition zu sein. Aber vielleicht kann die Tatsache, daß Evaluation bald verpflichtend sein wird, das Nachdenken über zementierte Positionen befördern. Lernen von einschlägig Erfahrenen wäre ein erster Anstoß: die Idee, diesbezüglich jemanden aus dem Maastrichter "Evaluations-Stab" für ein Gastsemester in Innsbruck zu gewinnen, verfolgen wir derzeit an der Fakultät.