Zeitschrift für Hochschuldidaktik Nr. 1-2/1996:
Qualität der Hoschschullehre
Franz EBNER | Ernst HOFER (Graz, Österreich)
Evaluation der Lehre - Entscheidung für die Karriere ?! - Bericht aus dem Workshop 4 mit W. Gijselaers
Evaluation of Teaching - Decisions for the Carreer?! - Workshop Report
Aufgabenstellung:
Die Aufgabenstellung des Workshops bestand in der Gestaltung eines Evaluationssystems, der Formulierung eines Evaluationsplanes und der Entwicklung von Strategien zur Implementation derselben. Die erarbeiteten Ergebnisse sollten Grundlage für universitäre Entscheidungsprozesse bei Karriere- bzw. Personalentscheidungen bilden.
In der Arbeitsgruppe wurden drei Detailziele formuliert: Erstellung eines Fragenkataloges (1), Erarbeitung von Methoden zur Auswertung und Bewertung (2), Maßnahmen zur konkreten Umsetzung (3).
1. Erstellung eines Fragenkataloges
Die Arbeitsgruppe thematisierte zunächst in Kleingruppen die Problemstellung und nahm eine Auflistung all jener topics vor, die Gegenstand eines Fragenkatalogs zur Evaluation der universitären Lehre bilden könnten und sollten.
Folgende Bereiche wurden definiert:
- Lehrziel:
- Aufbau:
- Didaktische Hilfsmittel:
- Organisation und Rahmenbedingungen:
Definition des Lehrziels; war das Lehrziel erkennbar; wurde das Lehrziel erreicht.
Präsentation (klares Konzept, übersichtliche Präsentation), Rhetorik (klare Aussprache), menschliche Haltung des(r) Vortragenden, Engage-ment, Gestik, Motivationsfähigkeit, Diskussionsbereitschaft und Diskussionsniveau, Inhalt und Relevanz (Wichtigkeit und Schwierig-keitsgrad der topics in Übereinstimmung mit dem Ausbildungsstand der StudentInnen).
Welche wurden verwendet; wie wurden sie eingesetzt; welche hand outs und andere Unterlagen wurden zur Verfügung gestellt; wie war die graphische Aufbereitung?
Vorbereitungszeit, Interaktion mit den StudentInnen, räumliche Situation des Seminarraumes, inhaltliche und zeitliche Abstimmung mit anderen Lehrveranstaltungen, Dauer der Lehrveranstaltung.
Nach Präsentation der in Kleingruppen erarbeiteten Ergebnisse wurden vom Workshop-Leiter weitere wichtige Punkte in die Diskussion eingebracht:
Für die Analyse von Evaluationen ist die Kenntnis und die Frage nach demographischen Daten von hoher Bedeutung (Alter, Geschlecht, Studienzeit und Studienfortschritt der StudentInnen). Diese sind für eine Interpretation der erhobenen Daten ausschlaggebend!
Weiters die Frage: Was hat die Lehrveranstaltung für den Lernprozeß der Studenten bewirkt?
GIJSELAERS weist darauf hin, daß häufig Fragen nach dem Lehrprozeß gestellt werden, die Frage nach dem Lernprozeß vergessen wird (Was hat die Lehrveranstaltung im Studenten induziert? Wurden Bücher in der Bibliothek zu Rate gezogen? Wieviel Zeit wurde für Selbststudium verwandt? In welchem Ausmaß wurde der Stoff nach der Lehrveranstaltung nachbearbeitet?).
Fragen nach den Vorkenntnissen und nach der Vorbildung der StudentInnen sind für die spätere Auswertung und Interpretation wichtig. Die Fragen sollen möglichst deskriptiv sein (z.B. Haben Sie das Gefühl, daß Sie etwas gelernt haben?) und nicht zu sehr bewertend.
Aus der Erfahrung von GIJSELAERS sollten nicht mehr als maximal 60 Fragen in einem Evaluationsbogen aufscheinen; der Gesamtaufwand an Zeit sollte für die Beantwortung erfordern. Doppelfragen und Doppelverneinungen sind zu vermeiden.
Jeder neu erstellte Fragebogen sollte zuerst als pilot study (Probelauf) mit KollegInnen und StudentInnen erprobt werden (Verständlichkeit, zeitlicher Aufwand etc.).
Man sollte bei Erstellung eines Fragebogens vom Grundsatz ausgehen: Die Anonymität des Beantworters muß absolut gewahrt bleiben; am Ende des Fragebogens sollte Raum für freie Bemerkungen bleiben, wie etwa: Was war gut, was ist zu verbessern?
2. Erarbeitung von Methoden zur Auswertung und Bewertung einer Evaluation
Die systematsche Bewertung einer Evaluation kann als relative, absolute oder kombinierte Methode erfolgen; eine wäre z.B. durch eine 5-Punkte-Skala gegeben und ist damit dem System der Schulbenotung vergleichbar. Psychometrische Untersuchungen sprechen gegen eine 4-Punkte-Skala! Eine kann durch eine subjektive Rating-Scale erfolgen, etwa durch Ankreuzen auf einer Graphik (auf einer durch zwei Endpunkte begrenzten Strecke zwischen zwei Extremen; very good - poor).
In der Auswertung eines Fragebogens sollte man so vorgehen, daß die erhobenen Daten in Form eines Histogramms (Häufigkeitsverteilung) dargestellt werden. Aus der graphischen Verteilung sind oft schon zwei Häufigkeitsgipfel erkennbar. In der Auswertung eines Score-Systems kann man davon ausgehen, daß bei einer Standardabweichung von mehr als 20 % mindestens zwei unterschiedliche Kollektive vorliegen müssen (z.B. Score 5 ±1).
Grundsätzlich ist die Wahl des richtigen Zeitpunktes (Zeitplan) ein wichtiges Instrument zum Erfolg einer Evaluierung.
Der Fragebogen sollte unmittelbar am Ende der letzten Vorlesung ausgefüllt werden; eine Evaluierung am Ende der Prüfung, wobei zu bedenken ist, daß der Schwierigkeitsgrad des Examens die Gesamtbeurteilung beeinflußt.
Für Kleingruppen gilt, daß ab einer Anzahl von sieben, an der Evaluation teilnehmenden StudentInnen, mit relevanten Informationen zu rechnen ist.
Für Großgruppen kann man davon ausgehen, daß bei mehr als 25 an der Evaluation teilnehmenden Personen, keine zusätzlichen Informationen hinzukommen, auch wenn die Zahl der Evaluierungsbögen wesentlich größer wäre.
Bei inhomogener Gruppenzusammensetzung ist das Gesamtkollektiv unbedingt in zwei (bis mehrere) Subkollektive zu trennen und die Evaluation getrennt (gruppenspezifisch) vorzunehmen.
Eine Retournierungsquote von 10 % ist realistisch aber auch ausreichend für eine sinnvolle Gesamtbeurteilung.
Mindestens 12 Rapporte reichen aus, um reliabel über die Qualifikation eines Lehrenden zu urteilen.
3. Konkrete Pläne zur Umsetzung einer Evaluierung vor Ort:
Für die Umsetzung der Evaluierung vor Ort bringt die Gruppe verschiedene Modelle zur Diskussion:
- Gemeinsame Erarbeitung eines konkreten Evaluationssystems lokal für eine Fakultät;
- alternativ Beiziehung eines Experten (Erziehungswissenschafters) einer Universität, die Evaluation bereits durchführt;
- Zugriff zu Literatur aus Datenbanken.
In Kenntnis der Gefahren einer unprofessionellen Evaluierung wird die Meinung vertreten, daß im Hinblick auf die im UOG 93 vorgesehene Verpflichtung zur systematischen Evaluation die Einbindung eines Gastprofessors mit entsprechender Erfahrung (z.B. University of Limburg) am zweckmäßigsten wäre. Für die universitäre Karriere sollte in Zukunft die Wahlmöglichkeit geschaffen werden, überwiegend oder temporär zwischen Karriere für die Lehre oder für die Forschung (vice versa) zu entscheiden.
Vorstellung eines (modellhaften) Evaluationsbogens durch GIJSELAERS:
Organization
|
Instructor knowledge
|
| Enthusiasm/Stimulation seems to enjoy teachingstimulates student learning |
Instructional skill
|
Rapport
|
[ Home | ZSfHD | ÖGHD Projekte | Links | Termine & News | ÖGHD | Suche |
Anfang der Seite / top of page
[ Bestellen | order |
[ Autoren | authors
[ Inhalt | contents |