Zeitschrift für Hochschuldidaktik Nr. 1-2/1996:
Qualität der Hoschschullehre

Michael SCHRATZ (Innsbruck, Österreich)

Qualitätssicherung in der universitären Lehre durch computerunterstützte Evaluation (Teaching Evaluation Assistant)
Quality Assurance of University Teaching by Computer Aided Evaluation (Teaching Evaluation Assistant)

Universitäre Lehre braucht Qualität!

Wenn die öffentliche Hand der Universität hohe Geldsummen zuweist, muß sie nachweisen, daß diese auch sinnvoll angelegt sind. Daher werden die Universitätsinstitute im neuen Universitätsorganisationsgesetz aufgefordert, die Qualität der Lehre sicherzustellen. Das Schlagwort im Universitätsalltag ist ³Evaluation². Im Bereich der Forschung gibt es schon lange Diskussionen um Qualitätsstandards, die sicherstellen sollen, daß in der Forschung Höchstleistungen erbracht werden. Die Kriterien dafür sind allerdings unterschiedlich festgelegt (vgl. etwa die Citation Indices). Immerhin stellen die Forschungsleistungen bei der Neubestellung von Universitätsprofessorinnen und -professoren eine überragende Rolle. Hingegen ist wenig bedeutsam, wie gut sie unterrichten. Gute ForscherInnen sind leider nicht immer auch gute HochschullehrerInnen!

In den letzten Jahren ist man aber zur Einsicht gekommen, daß die Qualität der Ausbildung der künftigen Akademikerinnen und Akademiker immer wichtiger wird. Vor allem gilt das für die Vermittlung von Praxiswissen. In dieser Hinsicht hat der Beitritt zur EU einen gewissen Druck ausgelöst, da unsere Absolventinnen und Absolventen in stärkere Konkurrenz zu denen aus dem Ausland treten. Um dieser Herausforderung Rechnung zu tragen, mißt das neue Universitätsorganisationsgesetz der Lehre in Zukunft einen höheren Stellenwert bei, was sich nicht zuletzt in der Einsetzung von Studiendekanen an den einzelnen Fakultäten ausdrückt. Ihre Aufgabe wird es sein, die Qualität des Unterrichts sicherzustellen bzw. zu deren Verbesserung beizutragen.

In der Praxis werden inzwischen bereits unterschiedliche Erhebungsinstrumente zur Lehrveranstaltungsevaluation eingesetzt. Vor allem sind es Fragebögen, die ­ ähnlich den schon seit vielen Jahren an amerikanischen Universitäten üblichen ­ versuchen, die Qualität des Hochschulunterrichts aus Sicht der Studierenden zu erfassen. In Österreich gibt es dazu erst einige Initiativen, etwa standardisierte Fragebögen, die an ganzen Fakultäten oder Universitäten eingesetzt werden . Diese bisher praktizierten Befragungen haben einen großen Nachteil: Sie werden erst am Ende einer Lehrveranstaltung eingesetzt. Dadurch kommen die Ergebnisse den Studierenden nicht mehr zugute. Zum Zeitpunkt des nächsten Lehrveranstaltungsangebots hat die folgende Studentengeneration womöglich bereits andere Vorstellungen und Bedürfnisse!

Da die Qualitätssicherung in Lehre und Weiterbildung nicht Selbstzweck sein kann, sondern der laufenden Rückmeldung im Rahmen des Unterrichts dienen soll, habe ich nach Möglichkeiten gesucht, ein ³Instant Feedback² zu erhalten, um sofort auf die aktuelle Situation reagieren zu können. Hierzu erscheint mir die moderne Computertechnologie mit flexibler Software einen Zugang zu eröffnen, der noch wenig für didaktische Zwecke genutzt wird.

Gemeinsam mit Rens Veltmann habe ich ein Softwareprogramm entwickelt, das der laufenden Qualitätssicherung in der universitären Lehre dienen soll. TEA (Teaching Evaluation Assistant ) ist ein computergesteuertes Programm zur sofortigen Rückmeldung über die Wirksamkeint einer Unterrichtsveranstaltung. Dazu werden von den Studierenden Qualitätsmerkmale des Unterrichts im Hinblick auf ihre Wertigkeit eingeschätzt. Durch die computermäßige Erfassung stehen die ausgewerteten Daten sofort zur Verfügung, sodaß die/der Lehrende unmittelbar darauf reagieren kann.

Durchführung des Qualitätsmonitoring mittels Computeranalyse

Vor der Durchführung der Datenerhebung gibt die/der Lehrende in ca. zehn Aussagen zur Unterrichtsqualität in das Autorenprogramm ein, die für die gegenständliche Veranstaltung von Bedeutung sind. Im Sinne einer gemeinsamen Verantwortung für die Qualität der Lehre hat es sich als sinnvoll erwiesen, die Studierenden in die Auswahl der Items einzubeziehen, indem sie Vorschläge aus ihrer (Betroffenen-)Perspektive einbringen. Darüber hinaus können Studierende selbst Aussagen, die für sie relevant sind, einbringen bzw. noch während der Eingabe ergänzen (vgl. Abbildung 3). Folgende Items stellen eine beispielhafte Auswahl für derartige Aussagen dar:

1. Die Ziele der Lehrveranstaltung sind mir klar.
2. Die Lehrveranstaltung bringt aktuelle Inhalte, die ich für die praktische Arbeit in meinem späteren Beruf brauchen kann.
3. Die Lehrveranstaltung wird interessant und abwechslungsreich gestaltet.
4. Die Lehrveranstaltung baut auf meinem bisherigen Kenntnisstand auf.
5. Die Studierenden werden zur ständigen Mitarbeit angeregt.
6. In der Lehrveranstaltung werden Unterlagen verwendet, die mir beim Verständnis des Stoffes helfen.
7. In der Lehrveranstaltung wird selbständiges und kritisches Denken gefördert.
8. Der Lehrveranstaltungsleiter geht auf Anregungen und Fragen der Studierenden ein.
9. Mir ist klar, was für den positiven Abschluß der Lehrveranstaltung erforderlich ist.

Zur Durchführung der computerunterstützten Datenerfassung steht bei kleineren Gruppen (bis zu 25 TeilnehmerInnen) ein Laptop bzw. Notebook im Unterrichtsraum zur Verfügung. Die ersten Erprobungen beim Einsatz von TEA in der universitären Lehre haben gezeigt, daß die Durchführung der Dateneingabe durch die Studierenden sehr rasch erfolgen kann, wenn das batteriebetriebene Notebook von Student/in zu Student/in weitergereicht wird. Durch die klare Strukturierung des Computerprogramms in Form von vorgegebenen Masken ist die Bedienung ohne ausführliche Vorinformation bzw. Vorkenntnisse durch die Teilnehmer/innen möglich.

Abbildung 1:[HIER EINFÜGEN]

Am Computerbildschirm wird nacheinander jeweils eine Aussage zur Qualitätsbestimmung der Lehrveranstaltung präsentiert, die sie je nach persönlicher Einschätzung im Hinblick auf die Wichtigkeit auf einer fünfstufigen Skala zwischen ³sehr wichtig² und ³unwichtig² einstufen. (Beispiel: ³Die Lehrveranstaltung bringt aktuelle Inhalte, die ich für die praktische Arbeit in meinem späteren Beruf brauchen kann.²) Zunächst wird der Stellenwert dieser Aussage aus der Sicht des/der einzelnen abgefragt. Der Stellenwert, der den jeweiligen Aussagen zugeordnet wird, ist als ³Soll-Wert² definiert, der die (Wert)Vorstellungen der Befragten darüber, ³wie es idealiter sein soll², ausdrückt. Nach Anklicken der zutreffenden Einschätzung (auf Abbildung 1 ist ³sehr wichtig² angeklickt worden) wird gefragt, inwieweit diese Aussage für die gegenständliche Lehrveranstaltung zutrifft. Mit dieser zweiten Stellungnahme werden die StudentInnen gebeten, einzuschätzen, wie sich der Ideal-Wert zum Realwert verhält. Dazu wird wiederum ein Markierungspunkt auf einer fünfwertigen Skala (zwischen den Polen ³trifft voll zu² und ³trifft überhaupt nicht zu²) mit der Maustaste angetippt. Die Einschätzung der BenutzerInnen darüber, in welchem Ausmaß die jeweiligen Items auf die eigene Schulsituation zutreffen, sind als ³Ist-Wert² definiert, er entspricht also den (Wert-)Vorstellungen der Befragten darüber, ³wie es derzeit realiter ist² (auf Abbildung 1 ist ersichtlich, daß die Ausage für die betreffende Person zutrifft).

Über das Anklicken einer Markierungsfläche kann weitergeblättert werden, worauf die nächste Aussage mit derselben Auswahlstruktur erscheint. Wenn Studierenden sich auch frühere Items bzw. ihre eigene Einschätzung dazu nochmals anschauen wollen, können sie zurückblättern und gegebenenfalls auch Korrekturen ihrer vorigen ursprünglichen Zuordnung vornehmen. Nach der letzten Vorlage erscheint eine Übersicht, auf der unterschiedliche Wahlmöglichkeiten aufscheinen (vgl. Abbildung 2).

Abbildung 2:[HIER EINFÜGEN]

Die Studierenden können die Eingaben nochmals überprüfen und gegebenenfalls verändern. Falls ein Standgerät zur Verfügung steht, an das ein Drucker angeschlossen ist, kann das individuelle Ergebnis ­ zur persönlichen Verwendung ­ ausgedruckt werden. Diese Version ist für die Diskussion mit der Gesamtgruppe interessant, da dann ein Vergleich zwischen Einzelergebnis(sen) und dem Gesamtresultat vorgenommen werden kann. (Leitfragen: ³Wo stehe ich im Vergleich zu den anderen? Welche Bedeutung hat das Ergebnis für mich? Welche Bedeutung könnte das für den künftigen Verlauf der Lehrveranstaltung haben?²) Außerdem lassen sich bei einer späteren zweiten Analyse mögliche Veränderungen in der Einschätzung von Merkmalen zur Lehrveranstaltung feststellen.

Vor Beendigung des Programms kann aber auch eine Bilschirmmaske angeklickt werden, auf der die StudentInnen auf Wunsch ergänzen können, was aus ihrer Sicht in den Vorgaben des Programms nicht berücksichtigt worden ist (vgl. Abbildung 3). Abbildung 3:[HIER EINFÜGEN]

Nach Durchlaufen des gesamten Programms ist die Datenerfassung abgeschlossen. Das anhand der einzelnen Aussagen aufgerechnete Gesamtergebnis der einzelnen Eingaben aller Studierender wird nach dem Durchlauf einer Lehrveranstaltung sofort in grafischer Form am Bildschirm sichtbar (Differenzprofil) und kann unmittelbar ausgedruckt werden (vgl. Abbildung 4).

Abbildung 4:[HIER EINFÜGEN] Damit steht das Analyseergebnis sofort zur Verfügung und kann auch gleich den Teilnehmer/innen an der Veranstaltung zur gemeinsamen Diskussion vorgelegt werden. Defizite, die von mehreren Teilnehmer/inne/n im Hinblick auf ihre Erwartungen geortet werden, können durch dieses ³Instant Feedback² sofort aufgefangen werden, womit eine höhere Wirksamkeit des Unterrichts erzielt werden kann. Bei mehrfachem Einsatz des Programms mit identischen Frage-Items und derselben Studierenden-Gruppe läßt sich auch die Entwicklung im Verlauf einer Lehrveranstaltung feststellen.

Ausblick

Ungewohnt und neu ist für viele BenutzerInnen die Bedienung des Computers zur Evaluation während einer Unterrichtsveranstaltung. Je nach Veranstaltungstyp und Wahrnehmung des Leiters/der Leiterin ergeben sich dabei Aktivitäten, die in der jeweiligen Unterrichtssituation als ³passend² oder ³unpassend² empfunden werden. Letzteres wird allerdings in der Einschätzung der Betroffenen meist ohne größere Probleme in Kauf genommen, wenn dafür die Ergebnisse sofort zur Verfügung stehen und keine weitere Zeit für aufwendige Auswertungsarbeiten investiert werden muß, wie das bei bisher üblichen Befragungsinstrumenten der Fall ist. Längerfristige Erfahrungen werden zeigen (müssen), wieweit Aktivitäten zur instant evaluation zu einem integrierten Verständnis von Evaluation und damit zur Qualitätssteigerung von Hochschulunterricht führen können.

Anfang der Seite / top of page

[ Bestellen | order | [ Zusammenfassung | abstract | [ Autoren | authors
[ Inhalt | contents |

[ Home | ZSfHD | ÖGHD Projekte | Links | Termine & News | ÖGHD | Suche |