ZSfHD 1-2/1996: Evaluation im Hochschulbereich

Zeitschrift für Hochschuldidaktik Nr. 1-2/1996:
Qualität der Hoschschullehre

Lukas MITTERAUER (Wien, Österreich)

Evaluation im Hochschulbereich
Evaluation in Higher Education

1. Rahmenbedingungen für Evaluation im Hochschulbereich

Evaluation im Hochschulbereich ist auch in Österreich nichts grundlegend Neues. Bereits der seit 1966 existierende Hochschulbericht, den der Bundesminister in Abständen von drei Jahren dem Nationalrat vorlegt, hat Leistungen und Probleme des Hochschulwesens zu beschreiben, den ressourcenbedarf und die damit verbundenen Kosten darzustellen und Vorschläge zur Lösung der Probleme in Forschung und Lehre zu unterbreiten. Im Universitäts-Organisationsgesetz 1975 wurden regelmäßige Arbeitsberichte der Institutsvorstände und der LeiterInnen der verschiedenen universitären Dienstleistungseinrichtungen eingeführt, die im Rahmen des Hochschulberichtes zu verwerten sind. Und seit 1990 ist der Bundesminister ermächtigt, für Zwecke der Planung, speziell zur Schwerpunktbildung in Forschung und Lehre, Universitätseinrichtungen, Studiengänge, Großinvestitionen und die Leistungen in Forschung, Lehre und Verwaltung gezielten Begutachtungen zu unterziehen. Jedoch erst mit dem Universitäts-Organisationsgesetz 93 (UOG'93), das umfangreiche Evaluationsmaßnahmen vorschreibt und auch akademische Organe mit der Initiierung und Durchführung von Evaluationsmaßnahmen betraut, scheint der Begriff Evaluation in der akademischen Gemeinde an Bedeutung zu gewinnen. Dieser Bedeutungswandel ist jedoch sicherlich nicht auf die Willkür einzelner VerwaltungsbeamtInnen oder kurzweilige modische Strömungen zurückzuführen (trotz der etwas inflationären Verwendung des Wortes "Evaluation"). Viel mehr ist er Indikator für ein sich wandelndes Verständnis von bürokratischen Organisationen und Veränderungen in der Gesellschaftstruktur.

1.1 Änderung der Planungs- und Steuerungsstrukturen

Ein wesentlicher Hintergrund der laufenden Evaluationsdiskussion ist die Veränderung der dominierenden Steuerungsmechanismen im österreichischen Hochschulsystem mit der Beschlußfassung des UOG 1993. Folgt man der Klassifizierung von CLARK (1983), der die akademische Oligarchie, die staatliche Autorität und den Markt als Eckpunkte eines Dreieckes auffaßt, innerhalb dessen sich je nach Ausprägungsgrad ein jedes Hochschulsystem einordnen läßt, kann für das österreichische Universitätssystem simplifizierend gesagt werden, daß die Reformbemühungen der 60er Jahre eine Verschiebung weg von der akademischen Oligarchie hin zur staatlichen Autorität bedeutete. Die derzeit laufenden Reformen im Hochschulbereich, deren Zielsetzungen im Arbeitsübereinkommen der Regierungsparteien 1990 festgeschrieben wurden, stellen hingegen eine Transformation in Richtung Markt dar ¹. Abb. 1:

Grafik

"Dabei ist zunächst einzuräumen, daß es "den" Markt ² im Hochschulwesen nicht gibt, weder in der reinen Form der Koordination noch als einheitliches Phänomen. (...) Die primären Aufgaben des Hochschulwesens - nämlich Forschung und Lehre -, dessen positiven externen Effekte sowie die Tatsache, daß Hochschulbildung als (quasi-) öffentliches Gut betrachtet werden kann, verhindern jeglichen Preismechanismus" (GOEDEGEBUURE et al., 1993 S.14).

Aus ökonomischer Sicht ergeben sich folgende Konsequenzen aufgrund der Unterschiede zwischen Wirtschaftsbetrieben und wissenschaftlichen Institutionen (ALEWELL, 1991 S.4):

Universitäten produzieren mindestens teilweise öffentliche Güter, deren Produktion individuell in Privatunternehmen nicht möglich ist, weil die Nutzung dieser Güter unentgeltlich durch die Gesamtbevölkerung erfolgen kann.
Der erwartete Nutzen sowohl in der Forschung wie in der Ausbildung hat in der Regel langfristigen Charakter und bedarf einer entsprechend langfristigen Vorfinanzierung von Sachgütern und Humanressourcen.
Aus den gleichen Gründen ist die Tätigkeit mit erheblichen Erfolgsrisiken verbunden, die außerhalb des staatlichen Bereiches allenfalls von Großfirmen getragen werden können.
Die Nachfrage nach Universitätsleistungen ist sehr umfangreich und erfolgt von einer Vielzahl von Nutzergruppen, die z.T. über Märkte mit monetären Entgelten koordiniert werden. Nutzung und ökonomische Verwertung sind außerordentlich heterogen.
Viele Leistungen erfolgen im Zusammenwirken mehrerer Disziplinen, ohne daß eine klare disziplinspezifische Trennung von Kosten und Investitionen möglich ist.
Die gewachsene Vielfalt der Fächer und fachinterne Spezialisierung erfordern außerordentlich hohe Bereitstellungs- und Bereithaltungsinvestitionen, die über lange Zeiträume auch unabhängig von schwankenden Nutzungs- und Verwertungsinteressen durchgehalten werden müssen.
Aus dem Wesen des Wissenschaftsbetriebes als Innovationsbetrieb ergibt sich auch, daß Erkenntnisse nicht nur auf nachfrageinduzierte Fragestellungen antworten, sondern daß neuartige Forschungsfragestellungen über neue Erkenntnisse neue Anwendungsmöglichkeiten induzieren und eine nachfragegesteuerte Leistungsproduktion nicht möglich ist.

Aus diesen Konsequenzen läßt sich ableiten, daß Universitäten weder wie Wirtschaftsbetriebe geführt noch so bewertet werden können. GOEDEGEBUURE et al. (1993 S. 15) folgern aus dem offensichtlichen Marktversagen im Hochschulbereich, daß man sich eher darauf konzentrieren sollte, inwieweit marktähnliche Elemente, insbesondere der Wettbewerb, zum Funktionieren des Hochschulsystems beitragen (z.B.: Konkurrenz der Studierenden um Hochschulen bzw. umgekehrt). Im Gegensatz zu Universitäten, die auf der anglo-amerikanischen Tradition aufbauen und seit je her in einem Wettbewerbsverhältnis zu anderen Universitäten stehen, sind für das österreichische Hochschulsystem unter diesem Blickwinkel gewisse Einschränkungen zu treffen. So können etwa die von BECHER und KOGAN (1992) formulierten "marktähnlichen Strukturen" in Österreich nur rudimentär aufgefunden werden ³. Etwa die Konkurrenz um Studierende ist im Selbstverständnis der meisten UniversitätslehrerInnen erst schwach verankert und wird auch in keiner Weise gefördert. Eine weitere einschränkende Bedingung ist die gering ausgeprägte studentische Mobilität. Auch die Reputation eignet sich schlecht als "Währung". Erstens ist Reputation nicht gleichbedeutend mit wissenschaftlicher Leistung, sondern eher Ausdruck eines Sozialisationsprozesses, und zweitens unterliegt die Reputation positiven Rückkoppelungsprozessen, die in der Literatur als "Matthäus"-Effekt bezeichnet werden (Viele ressourcen bedeuten viel Reputation bedeutet mehr ressourcen etc.).

Aus diesen Überlegungen folgert, daß vor der Einführung marktähnlicher Elemente in das österreichische Hochschulsystem die Tauschprozesse zwischen den Universitäten und der Gesellschaft (vertreten durch die staatliche Bürokratie und die politischen Entscheidungsträger) expliziert werden müssen, um festzustellen, in welcher Weise solche Mechanismen wirksam werden können. Über die Finanzierung des Hochschulsystems aus öffentlichen Geldern werden die Leistungen der Universitäten abgegolten, wobei die Höhe der hochschulrelevanten Budgetposten den Preis (Input) darstellt, den die Gesellschaft bereit ist für eben diese Leistungen (Output) zu bezahlen.

Unklar in dieser Tauschbeziehung ist jedoch die Definition dessen, woraus die Leistungen bestehen, in welcher Weise sie sich manifestieren und wie ihre Erbringung kontrolliert werden kann. So gibt es zwar eindeutig definierte und in den gesetzlichen Bestimmungen niedergeschriebene Ziele für die Universitäten, an denen diese ihr Handeln orientieren sollten und aus denen sich die von der Gesellschaft einzufordernden Gegenleistungen ableiten ließen. Derzeit mangelt es jedoch von seiten der staatlichen Bürokratie an der Formulierung dessen, wie diese Ziele umzusetzen sind.

Bisher wurden die Zielerreichungen nur unsystematisch beobachtet und kommentiert (z.B.: zu lange Studiendauer, zu hohe Drop-Out-Raten, etc.). Konkrete Vorschläge zur Umsetzung der Ziele der Universitäten wurden bisher nur selten gemacht. Mit dem Universitäts-Organisationsgesetz 1993 wurde nunmehr eine - wenn auch gegenüber dem ersten Gesetzesentwurf abgeschwächt - legistische Basis geschaffen, diesen Mißstand zu beseitigen. So sind die Evaluationsergebnisse, die ja anhand einer vorher definierten Zielvorgabe erhoben werden, allen Entscheidungen zugrunde zu legen (UOG §18 Abs.8). Dies bedeutet, daß auch der zweite Teil der Tauschbeziehung zwischen Gesellschaft und Universität transparent wird. Der nächste Schritt umfaßt dann Überlegungen, welche Teile dieser Tauschbeziehung mit marktähnlichen Steuerungsmechanismen (z.B.: Wettbewerbssteuerung) versehen werden können.

Neben der rein formalen Möglichkeit, das universitäre System zielorientiert zu steuern, benötigen die universitären wie auch überuniversitären Führungsebenen Instrumente, die sie in ihrer Arbeit unterstützen. Ein solches Instrument ist das Controlling, das in operatives und strategisches Controlling gegliedert wird (vgl.: PROMBERGER, 1993). Im Rahmen des operativen Controlling ("doing the things right") haben Evaluationen die Aufgabe den Zielerreichungsgrad innerhalb der vorgegebenen Rahmenbedingungen festzustellen, an den bestimmte Konsequenzen geknüpft sind (z.B.: Reorganisation, Mittelvergabe, etc.). Das strategische Controlling ("doing the right things") soll der Führungsebene helfen die Effektivität zu steigern. Hier dienen die Evaluationsergebnisse als Grundlage für Entwicklungsplanungen.

1.2. Betonung der Rechenschaftspflicht

Mit der Verschiebung der Steuerungsmechanismen von der staatlichen Autorität zum Markt bzw. der Umstellung von einer Input-Kontrolle zu einer Output-Kontrolle (vgl. VUGHT & Westerheijden, 1992) wird es mit steigendem Autonomiegrad der Universitäten notwendig, Rechenschaft gegenüber der Gesellschaft und der staatlichen Verwaltung über die erbrachten Leistungen und die Erfüllung der vorgegebenen Ziele zu legen. Den Evaluationsberichten kommt in diesem Zusammenhang eine besondere Bedeutung zu.

1.3. Bedarf an Reflexion und Verantwortlichkeit

Die bisher angestellten Betrachtungen zu den Rahmenbedingungen von Evaluation im Hochschulsystem bezogen sich ausschließlich auf die Veränderungen in den universitären Steuerungsmechanismen, die eine Modifikation der Organisationsstruktur und der Organisationsprozesse zur Folge hatten (siehe UOG'93). WEINERT(1987 S. 124) zeigt jedoch deutlich auf, daß "eine sinnvolle Analyse von Organisationsverhalten nur dann möglich ist, wenn wir gleichermaßen (a) Organisationsstruktur und Organisationsprozesse; (b) Gruppenfunktion, Gruppenzusammensetzung und Interaktionen und (c) die individuelle Persönlichkeit und individuelles Verhalten untersuchen und analysieren." Lediglich die Organisationsstruktur und die Organisationsprozesse in den Mittelpunkt der Betrachtung zu stellen, führt rasch zu Organisationsentwicklungskonzepten, die der Technologischen Organisationstheorie (TAYLOR, 1911) oder der Klassischen Management-Theorie (FAYOL, 1949) mit all ihren Fehlern und Unzulänglichkeiten entstammen könnten. (Bedauerlicherweise ist das Gedankengut dieser Theorien weit verbreitet ⁴.) Beide Konzepte sind - im Falle ihrer alleinigen Anwendung - im Hochschulbereich zwangsläufig zum Scheitern verurteilt.

Henry MINTZBERG (1983 S.213), ein kanadischer Forscher, der sich mit den Gründen für Unterschiede zwischen Organisationsstrukturen beschäftigt, stellt im Zusammenhang der Erörterung von Entwicklungsprozessen in "professionellen Bürokratien" wie den Universitäten fest:

"Veränderungen in professionellen Bürokratien entstehen nicht durch neue Verwaltungsbeamte, die ihr Amt antreten und einschneidende Reformen ankündigen, und auch nicht durch Technostrukturen der Regierung, die dazu bestimmt sind, die professionals unter ihre Kontrolle zu bekommen. Veränderungen sickern eher ein durch den langsamen Prozeß der Veränderung der professionals selbst".

Verwaltungsbeamte können in diesem Zusammenhang offenbar nur ein Umfeld schaffen bzw. fördern, das eine Veränderung der professionals ermöglicht. Einstellungs- und in weiterer Folge Verhaltensänderungen sind aber nur dann möglich, wenn die Akteure (professionals) Rückmeldungen über die Effekte erhalten. Dies impliziert, daß neue Management- und Organisationsstrukturen nur umgesetzt werden können, wenn die Betroffenen von der Sinnhaftigkeit der neuen Strukturen überzeugt sind und Rückmeldungen erhalten, die sie zur Reflexion anregen, die Verantwortlichkeit gegenüber der Gesellschaft, der Universität und allen Universitätsangehörigen stärken und in weiterer Folge zur Veränderung ihres Verhaltens führen.

Evaluationen können in diesem Zusammenhang ein wertvolles Reflexionsinstrument darstellen. Sowohl das Interesse für die eigene Arbeit, als auch für die Arbeit der KollegInnen wird gestärkt. Umgekehrt können sie aber auch den bestehenden Zustand verschlechtern.

"Durch eine Evaluation, die lediglich auf Zahlen und Statistiken beruht, wie etwa im Falle der Leistungsindikatoren (Anm: Performance Indicators), werden die Leute leicht in eine Abwehrhaltung getrieben und versuchen zu "beweisen", daß die Zahlen falsch sind und die Schlüsse nicht korrekt." (VROEIJENSTEIN & ACHERMAN, 1990).

Aus den Arbeits- und Organisationswissenschaften wissen wir, daß nicht intendierte Reaktionen - angefangen von Demotivation bis hin zur bewußten Sabotage - die Folge sind. Weiters muß darauf geachtet werden, daß Evaluationsverfahren eine Einbettung in die Beurteilung eines Ganzen erfahren, da ansonsten ursprünglich sinnvolle Bewertungsinstrumente nutzlos werden. So bedeutet etwa eine Eingrenzung der Evaluation der Lehre auf Lehrveranstaltungskritik eine Verengung der Debatte über die Qualität der Lehre. Mit diesem verkürzten Ansatz würden die tieferen Gründe, die eigentlich einer Verbesserung der Lehre im Wege stehen, überdeckt (vgl. PREISSER, 1993).

1.4. Zusammenfassende Schlußfolgerungen

Aus oben angestellten Überlegungen lassen sich zusammenfassend folgende Hauptfunktionen für Evaluationen innerhalb der neuen Universitätsorganisation identifizieren:

Entscheidungsgrundlage für Entwicklungen und Planungen wegen der sich ändernden Steuerungsmechanismen,
Entscheidungsgrundlage für die Mittelvergabe wegen der sich ändernden Steuerungsmechanismen und der Forderung nach leistungsgerechter Mittelvergabe,
Initiierung von Reflexionsprozessen, um Veränderungen überhaupt erst zu ermöglichen,
Schaffung eines Klimas erhöhter Verantwortlichkeit und
Berichtslegung über die Aktivitäten und Leistungen der Universitäten mit dem Ziel zu informieren und mehr Transparenz über die Verwendung der von der Gesellschaft zur Verfügung gestellten Mittel zu schaffen.

2. Grundzüge von Evaluation im Hochschulbereich

Die gestiegene Bedeutung der Evaluation im Hochschulbereich und ihre Institutionalisierung auf vielen Entscheidungsebenen durch das UOG'93 legt es nahe, für den Hochschulbereich ein umfassendes Evaluationssystem zu formulieren, das einerseits als Handlungsanleitung für die mit Evaluation betrauten Organe, die in der Regel keine ExpertInnen auf dem Gebiet der Evaluation sind, dienen kann und andererseits eine theoretische Basis für eine Metaevaluation liefert. Bei der Einführung eines solchen Evaluationssystems sollten üblicherweise folgende Schritte durchlaufen werden (vgl.: WOTTAWA & THIERAU, 1990):

Zieldefinition: Es muß klar definiert werden, was mit Evaluation erreicht werden soll (In diesem Beitrag werden die Ziele Funktionen genannt, um eine bessere Abgrenzung zu den Zielen der Universitäten zu gewährleisten).
Themenbereiche: Die zweite Aufgabe besteht darin genau festzulegen, welche inhaltlichen Bereiche evaluiert werden sollen. Im Kapitel 4.2 wird von den leitenden Grundsätzen, Aufgaben und Zielen der Universitäten (UOG, AHStG, FOG) ausgegangen, um zu Themenkomplexen für Evaluationen in Forschung und Lehre zu gelangen.
Fragestellungen: Der nächste Schritt umfaßt die Formulierung von Fragestellungen, die hinsichtlich der Themenbereiche von Interesse sind und die mittels Evaluation beantwortet werden sollen.
Evaluationsobjekte (zu evaluierende Organisationseinheiten): Nach der Formulierung der Fragestellungen müssen die Organisationseinheiten, die evaluiert werden sollen, separiert werden. Anschließend werden die Fragestellungen diesen Organisationseinheiten zugeordnet. Es resultiert somit eine Liste von Organisationseinheiten, denen jeweils Fragenkomplexe für eine Evaluation angeschlossen sind.
Datenquellen: Nach der Formulierung der Fragestellungen können Überlegungen dahingehend angestellt werden, welche Datenquellen zur Beantwortung herangezogen werden können (z.B.: Statistiken, Personengruppen, Berichte, etc.).
Evaluationsdesign: Wenn klargestellt ist, welche Datenquellen bei der Evaluation Verwendung finden, können Überlegungen über die generellen Durchführungsmodalitäten angestellt werden.
Evaluationsverfahren: Der nächste Schritt besteht aus der Formulierung der Evaluationsmethoden (Projektplanung) sowie der Operationalisierung der Fragestellungen. Hierbei sollte bereits berücksichtigt werden, auf welche Weise die Ergebnisse aufbereitet werden und wie die Interpretation zu erfolgen hat.
Ergebnisaufbereitung, Interpretation: Die Ergebnisaufbereitung und Interpretation muß so erfolgen, daß von den AuftraggeberInnen und Betroffenen (soweit diese nicht ident sind) die Gewinnung der Ergebnisse und die daraus abgeleiteten Schlußfolgerungen und Empfehlungen nachvollziehbar und internalisierbar sind.
Umsetzung der Empfehlungen hinsichtlich der formulierten Ziele.

In diesem Artikel werden aus Platzgründen nur die Punkte "Zieldefinition (Funktionen)", "Themenbereiche" und ansatzweise der Bereich "Fragestellungen" erörtert.

3. Ein Evaluationsmodell für die Hochschulen

3.1. Funktionen von Evaluation im Hochschulbereich

Evaluation im Sinne einer Bewertung des Zielerreichungsgrades einer Organisation bzw. Maßnahme verlangt als ersten Schritt, wie in Kapitel 2 erörtert, eine genaue Zielexplikation. In diesem Sinn und als Ergebnis der Diskussion über die geänderten Rahmenbedingungen im Hochschulbereich können folgende Funktionen von Evaluation formuliert werden:

Entwicklung und Planung: Evaluationen sollen als Entscheidungsgrundlage für Entwicklungen und Planungen herangezogen werden (z.B.: Entscheidung über Studienplanänderungen, Ausbau und Einstellung von Forschungsbereichen, etc.)
Mittelvergabe: Evaluationen sollen als Entscheidungsgrundlage für eine leistungsbezogene Mittelvergabe herangezogen werden (z.B.: Vergabe von Teilen der Budgetmittel nach dem Erreichungsgrad vorher definierter und veröffentlichter Leistungskriterien)
Reflexion: Durch Evaluationen sollen Reflexionsprozesse bei allen Universitätsangehörigen initiiert werden (z.B.: Wie können Lehrveranstaltungen verbessert werden? Welche Organisationen und Personen eignen sich für Forschungskooperationen? Sind die Anforderungen des Studiums zu bewältigen? Welche Erwartungen werden an das Berufsleben gestellt? etc.)
Verantwortung: Durch Evaluation soll bei den Universitätsangehörigen ein Klima von erhöhter Verantwortlichkeit gegenüber den anderen Universitätsangehörigen, der Institution und der Gesellschaft geschaffen werden (z.B.: Werden wirklich Mittel in dem Umfang benötigt? Haben die Forschungen auch einen anderen Sinn als die Verlängerung der Publikationsliste? Werden die Studierenden nach bestem Wissen und Gewissen ausgebildet? Werden die Studien derart betrieben, daß die AbsolventInnen den Anforderungen des Berufslebens gewachsen sind? Findet eine ausreichende Auseinandersetzung mit den Inhalten des Studiums statt, sodaß die Ziele des Studiums erreichbar sind?)
Information, Transparenz: Durch die Veröffentlichung der Evaluationsergebnisse soll einerseits der Gesellschaft (und deren Vertretern) die Möglichkeit gegeben werden, sich über die Tätigkeiten der Universität zu informieren und sich einen Überblick über die Verwendung der öffentlichen Mittel zu verschaffen, und andererseits ein Informationsfluß innerhalb der Universität (bzw. zwischen den Universitäten) in Gang gesetzt werden.

Die hier beschriebenen Funktionen sind sehr umfassend und überschneiden sich in weiten Bereichen. So stellt sich etwa die Frage, ob nicht für eine sinnvolle Entwicklungsplanung Reflexivität Voraussetzung ist. Umgekehrt wird ein Nachdenken über die eigene Tätigkeit in der Regel Entwicklungsplanungen nach sich ziehen. Zu Reduzierung von Komplexität und zur Vermeidung von zu starken Überschneidungen wäre es also sinnvoll, die Funktionen von Evaluation auf eine geringere Anzahl von Evaluationstypen zurückzuführen. Hierbei muß das Rad nicht neu erfunden werden, da in der Literatur eine Unzahl von Modellen beschrieben wird. Eine Focusierung auf die Modelle, die dem Hochschulsystem am ehesten entsprechen, erscheint also angebracht.

3.2. Evaluationsmodelle

In der Evaluationsliteratur wird zumeist zwischen summativer und formativer Evaluation unterschieden (vgl. GRÜ

Zeitschrift für Hochschuldidaktik Nr. 1-2/1996: Qualität der Hoschschullehre