Qualität der Meta-Lehre - Evaluation eines Evaluations-Workshops
Quality of Meta-Teaching - Evaluation of an Evaluation Workshop

Wenn man ein Workshop zum Thema Qualität der Lehre veranstaltet, um sich dabei intensivst mit Fragen der Evaluation zu beschäftigen, gehört es ja praktisch schon zum guten Ton, auch diese Veranstaltung selbst zu evaluieren. Das Image verlangt es einfach.

Da aber die gesamte Planung und Vorbereitung auch von der Hoffnung ausging, daß dies nicht ein einmaliges Experiment bleiben, sondern wenigstens einige Wiederholungen erfahren oder sogar eine ständige Einrichtung werden könnte, wollten wir im Vorbereitungsteam auch möglichst viele Informationen sammeln, um aus den Fehlern und aus den Erfolgen des ersten Durchgangs für die Zukunft zu lernen. Soviel zum rationalen Anspruch an die Evaluation.

Möglicherweise war dieser Anspruch allerdings etwas überzogen. Denn die praktische Ausführung der Evaluation stand in deutlichem Kontrast zur ideellen Gewichtung des Evaluationsthemas für Theorie und Praxis des Workshops "Qualität der Lehre". Einen Anspruch zu formulieren, ist vor allem denkintensiv - ihn auch praktisch umzusetzen, ist dagegen zeitintensiv. Zeit ist Geld - und Geld haben wir keins.

Daher konnten wir bzw. konnte ich der Entwicklung des Konzepts und der Instrumente dieser Evaluation nur äußerst wenig Zeit widmen - und auch das zum Teil kurzfristig bis zum Exzeß. Die beiden verwendeten Erhebungsbögen (siehe Anhang) habe ich jeweils am Abend vor ihrem Einsatz in meinem Hotelzimmer am Notebook entworfen und mit dem mitgebrachten Tintenstrahldrucker ausgedruckt, damit sie am Morgen rasch kopiert und verteilt werden konnten.

Und der Auswertung erging es nicht viel besser. Von der Unmenge der Daten, die wir erhoben haben, konnte ich bisher nur einen Bruchteil auswerten - natürlich ebenfalls unter Zeitdruck, um noch rechtzeitig bis zum Redaktionsschluß dieses Bandes etwas präsentieren zu können. Und erfahrungsgemäß werden wir kaum mehr dazu kommen, später noch tiefer in den selbstgemachten Datendschungel einzutauchen.

Was lernen wir daraus? Es ist gut, wenn wir viele Informationen sammeln, um später daraus wichtige Schlüsse ziehen zu können. Wenn wir aber genau diese Informationen sammeln, die wir auch mit Sicherheit auswerten und in der Praxis berücksichtigen werden, ersparen wir uns und den von uns Befragten (möglicherweise sehr viel) Zeit - das ist noch besser.

Beim nächsten mal können wir es aber in diesem Sinne bereits besser machen. Die Evaluation evaluiert sich selbst.

Ergebnisse

Gesamterfolg

Abbildung 1: Einschätzung des Gesamterfolges (N=26)

Mehr als die Hälfte jener Teilnehmer/innen, die ein Urteil abgegeben haben, schätzen den Erfolg des Workshops zwischen 70 und 90% des Erreichbaren ein. Mit den zwischen 60 und 70% Zufriedenen sind es sogar fast drei Viertel der Evaluator/innen. Die eher Unzufriedenenen (Einschätzungen des Gesamterfolgs unter 50%) sind dagegen mit knapp einem Fünftel deutlich in der Minderheit.

Das Ergebnis hinsichtlich des Bedeutung der Vorträge für den Gesamterfolg ist dagegen weniger positiv und auch nicht eindeutig (keine klare Tendenz, sondern zwei Spitzen bei 20-30% und bei 60-80%). Fast drei Viertel der Befragten meinen hier, daß der Beitrag der Vorträge zum Gesamterfolg unter 50% liegt, der Median liegt bei 40%.

Positiver und eindeutiger fallen (wie ich meine erwartungsgemäß) die Ergebnisse hinsichtlich des Beitrags der Arbeitsgruppen zum Gesamterfolg des Workshops aus. Eine klare Mehrheit von beinahe drei Vierteln lokalisiert diesen Beitrag im Bereich zwischen 50 und 100 %. Der Schwerpunkt liegt hier bei 60 bis 80 %. Die relativ guten Einschätzungen des Gesamterfolgs sind also offensichtlich zum Großteil auf die Arbeit in den einzelnen themenzentrierten Workshops zurückzuführen.

Atmosphäre und Arbeitsweise

Abbildung 2: Erwartungen an den Workschop: Items B1 bis B8

Legende zu Abb. 2: Aus Platzgründen wird jeweils nur jener Pol des Gegensatzpaares angegeben, auf den die Mehrheit der Nennungen fällt. Dies führt bei den meisten Items zu einer Umpolung gegenüber dem Erhebungsbogen.

In den Alternativen Kompromisse vs. Fakten (B6), Praxis vs. Theorie (B1) und Prozesse vs. Produkte (B3) sprach sich eine qualifizierte Mehrheit zwischen 81 und 72 % der Teilnehmer jeweils für die erstgenannte Alternative aus. Bei den fünf restlichen Items der Frage B ließ sich keine (so) eindeutige Bevorzugung einer der zwei Alternativen feststellen; die jeweils bevorzugten Pole erreichten nur noch zwischen 62 und 54 % an Nennungen (im Vergleich zu 38 bis 46 % für den jeweils abgelehnten Pol).

Von den 29 Teilnehmern, die auch den 2. Fragebogen (am Ende des Workshops) ausgefüllt und abgegeben haben, beteiligten sich durchschnittlich 25 auch an der Einschätzung des Workshops unter den oben genannten Aspekten (Items B1-8 und C1-8). In der folgenen Abbildung 3 werden die Urteile über denn Grad der Erfüllung der oben dargestellten Erwartungen zu den Items der Frage B dargestellt. Hier waren drei Antwortmöglichkeiten vorgesehen, nämlich "zu sehr beim ersten Pol des Gegensatzes" (z.B.: Programm war zu locker), "zu sehr beim zweiten Pol" und "gerade richtig zwischen beiden Polen".

Abbildung 3: Einschätzung des Workschops nach den Items B1 bis B8

Legende zu Abb. 3: Hier wurde die Bezeichnung der Items aus Abb. 2 übernommen.

Die Zufriedenheit mit der jeweils realiserten Mischung hinsichtlich der genannten Erwartungen reichte von 52 bis 100%. Sie war am größten bei der Alternative effizient vs. humorvoll (B7), erreichte bei zwei weiteren Variablen zwischen 80 und 90 % (locker vs. dicht; Experten- vs. eigene Aktivitäten) und bei drei Items immerhin noch ca. drei Viertel der Nennungen. Wir können daher annehmen, daß der Gesamterfolg des Workshops auch in der als angenehm und stimmig erlebten Atmosphäre und Arbeitsweise fundiert ist.

In Hinsicht auf zwei Erwartungen aus diesem Bereich zeigten sich die Teilnehmer allerdings nicht sehr zufrieden. Zwölf Personen (= 44%) bemängelten, daß (zugunsten der deren bloßen Beschreibung) zu wenig auf die Lösungen von Problemen hingearbeitet worden ist (B2). Und für elf Teilnehmer (= 41%) war der Workshop zu sehr prozeß- und damit zu wenig produktorientiert (B3). Eine stärkere Orientierung der Arbeitsweise an Lösungen und Produkten wäre daher von diesem Blickwinkel aus für die Zukunft durchaus angeraten. Für Folgeveranstaltungen (nach einem Start vom erfahrungsmäßigen Nullpunkt weg) gilt dies aber ohnehin als (beinahe) allgemeingültige Maxime.

Behandelte Fragestellungen

Bei der Eingangserhebung erwies sich unter den (möglichen) Themen des Workshops das Qualitätsmanagement in der Lehre (C1) als der absolute Renner und wurde von mehr als zwei Drittel auf den ersten Platz der Prioritätenliste gesetzt. Eine auch nur annähernd so eindeutige Gewichtung konnte kein anderes Thema mehr erreichen. (Vielleicht weil die Formulierung breiten Raum zur individuellen Interpretation gelassen hat.)

Die Bedeutung von Lernzielen (C5) und Anreizsystemen (C3) sind mit 40 bzw. 32 % prioritären Nennungen die beiden nächstgereihten Fragen. Alle weiteren Items hatten die Mehrheit der Nennungen nicht auf dem ersten Rang. Interessant ist dabei das Item C4, die Funktion von Lehrveranstaltungsbewertung, die für je ein Viertel der Teilnehmer das zweit- bzw. das drittwichtigste Thema darstellte.

Bei der Befragung am Ende des Workshops ergab sich hinsichtlich der angebotenen Inhalte folgendes Bild. Die Themen Anreizsysteme (C3), Lehrevaluation im Habilitationsverfahren (C6) und Studienplanreform (C7) wurden mehrheitlich (zwischen 81 und 56 %) als in zu geringem Ausmaß behandelt eingeschätzt. Nachdem die Anreizsysteme (C3) bei der Eingangserhebung zu einem der wichtigsten Themen gekürt worden waren, ist hier offenbar ein echtes Manko festzustellen. Auch das Standardproblem Lehre und Karriere (C8) wurde für mehr als 40% der Teilnehmer nicht ausführlich genug besprochen.

Daß karriererelevante Fragen kaum ausführlich genug thematisiert werden können, ist in einem konkurrenzorientierten Milieu wie der Universität keine Überraschung. Ob diesem Bedürfnis in Zukunft stärker Rechnung getragen werden soll, müßte meines Erachtens unter den Beteiligten jeweils neu vereinbart werden. Angenehm überraschend empfinde ich das manifestierte Interesse an der Studienplanreform, das aus meiner Sicht als Didaktiker niemals genug berücksichtigt werden kann. Dieses - möglicherweise erst richtig im Erwachen begriffene - Interesse könnte unter Umständen sogar ein Effekt des Workshops selbst sein.

Bei den restlichen vier Themen schwankte die Zufriedenheit mit der realiserten Ausführlichkeit der Behandlung zwischen 65 und 81%. Die Option zu ausführlich behandelt wurde übrigens nur ein einziges mal von einem Teilnehmer gewählt, und zwar bezogen auf das Thema Prüfungsevaluation (C2).

Conclusio

Dies wird aber nur dann möglich sein, wenn sich in den diesmal so erfolgreichen Aspekten wieder dieselbe, nicht vollständig beschreib- und erklärbare Situation ergibt, die nicht zuletzt durch ein deutliches Quäntchen Humor gekennzeichnet war.