1. Kapitel

Potenziale und Grenzen wirkungsorientierter Steuerung im datenbasierten kommunalen Bildungsmanagement

Sebastian Niedlich ist Experte im Bereich Wirkungsforschung und Evaluation und seit 2002 als Trainer und Prozessbegleiter im Bildungsbereich tätig. Darüber hinaus setzte sich Sebastian Niedlich im Rahmen der wissenschaftlichen Begleitung der Bundesprogramme „Lernende Regionen“ und „Lernen vor Ort“ intensiv mit Fragestellungen des kommunalen Bildungsmanagements auseinander. Seine aktuelle Veröffentlichung „Neue Ordnung der Bildung“ beschäftigt sich mit der Steuerungslogik und Regionalisierung im deutschen Bildungssystem.

Von Dr. Sebastian Niedlich, Freie Universität Berlin

Vorstellungen von wirkungsorientierter Steuerung sind nicht grundsätzlich neu. Vielmehr werden entsprechende Ansätze schon seit geraumer Zeit immer wieder gefordert – und das obwohl die Erfahrungen, die in der Praxis damit gemacht werden, häufig ernüchternd sind. Insbesondere wird auf das Risiko von Fehlanreizen durch die selektive Messung von Wirkungen („what gets measured, gets done“) und auf unrealistische Zielformulierungen hingewiesen. Zudem zeigt sich, dass Informationen aus Systemen zur wirkungsorientierten Steuerung oft nicht genutzt werden.Mit Blick auf den Bildungsbereich wird zudem eingewendet, wirkungsorientierte Steuerung sei aufgrund des teils unvorhersehbaren, ko-konstruktiven Charakters von Bildungsprozessen ungeeignet.Trotz dieser Enttäuschungen und Einwände an der Idee von Wirkungsorientierung festzuhalten, kommt insofern einem „Triumph der Hoffnung über die Erfahrung“gleich – und kann nur dann als sinnvoll gelten, wenn die Frage beantwortet wird, wie eine wirkungsorientierte Steuerung auszugestalten wäre, die den bisherigen Erfahrungen Rechnung trägt. Hierzu ist zunächst zu klären, was mit wirkungsorientierter Steuerung gemeint ist. Allgemein lässt sich damit bezeichnen, dass eine Organisation Daten und Analysen über Umsetzung und Wirkung ihrer Aktivitäten nutzt, um aus der eigenen Arbeit zu lernen und kurz- und längerfristige Anpassungen vorzunehmen, um ihre Ziele zuverlässig und nachhaltig zu verwirklichen.Fragen nach Wirkung bedeuten, die Folgen von Handlungen in den Blick zu nehmen. Nicht die Aktivitäten und „Outputs“ stehen somit im Vordergrund, sondern die „Outcomes“ und „Impacts“: das, was ausgelöst und in seiner Entwicklung unterstützt wird – etwa Veränderungen der Handlungsfähigkeit einer Zielgruppe sowie von Gelegenheiten und Anreizen, daraus resultierende Veränderungen von Verhalten und Lebenslagen und schließlich verbesserte Lebensbedingungen sowie weiterreichende gesellschaftliche Veränderungen (vgl. Abbildung Handeln und Bewirken). Welche Bedeutung hat eine solche Herangehensweise nun für ein datenbasiertes kommunales Bildungsmanagement (DKBM)? Eine erste Antwort bildet folgende These, die im Weiteren näher erläutert wird: Die Frage nach den Wirkungen kommunaler Bildungssteuerung bildete in der Konzeption des DKBM zunächst eine Leerstelle, weil der Schwerpunkt auf einer Systemperspektive lag und konkrete Maßnahmen und deren Umsetzung vernachlässigt wurden. Blickt man in die maßgeblichen programmatischen Dokumente zum DKBM, so findet ich die Erwartung, aufgrund der strategischen, integrierten Ausrichtung des DKBM könne eine neue Qualität der Steuerung erzielt werden.Das Bildungsmonitoring soll hierzu beitragen, indem es „Steuerungswissen“ bereitstellt. Dies umfasst drei Funktionen: eine Sensibilisierungsfunktion, eine Informations- sowie eine Controlling- und Evaluationsfunktion. Die Generierung und Nutzung von Steuerungswissen soll insbesondere dazu beitragen,
Klarheit über die „eigentlichen Probleme“ zu schaffen und ein Verständnis von Faktoren, die die Qualität von Bildung beeinflussen, zu entwickeln,
  • Aufschluss über Verbesserungsmöglichkeiten zu liefern,
  • Handlungsalternativen zu eröffnen,
  • Leitbilder, strategische Ziele und integrierte Planungen zu entwickeln.
     

Die Controlling- und Evaluationsfunktion legt zudem nahe, dass auch Fragen der Wirksamkeit adressiert werden sollen. Zu dieser Frage finden sich indes widersprüchliche Aussagen: Einerseits wird argumentiert, das Bildungsmonitoring könne „systematische Informationen über das Erreichen und Verfehlen politisch gesetzter und gesellschaftlich getragener Ziele von Bildung“ hervorbringenund Aufschluss über Veränderungen in Folge bildungspolitischer Entscheidungen und Maßnahmen geben.Dabei biete es die Möglichkeit, intendierte und nicht-intendierte Folgen von ergriffenen und unterlassenen Steuerungsmaßnahmen darzustellenund die Effizienz von Steuerungsstrategien zu bewerten.Andererseits wird eingeräumt, es sei nicht möglich, Veränderungen auf bestimmte Ursachen zurückzuführen10 bzw. kausale Zusammenhänge abzubilden.11 Grundlegend für diese Einschätzungen ist, dass dem Bildungsmonitoring eine Systemperspektive zugewiesen wird. Diese orientiert sich am Kontext-Input- Prozess-Output-Modell, das auch der nationalen Bildungsberichterstattung zugrunde liegt. Das Bildungsmonitoring bezieht sich damit ausdrücklich nicht auf die einzelnen Lernenden, sondern zieht lediglich Daten über individuelle Bildungsverläufe, Kompetenzfortschritte und Bildungserträge heran, um Systemleistungen einzuschätzen. Es dient der Systembeobachtung, Systemkontrolle und Systemdiagnostik. Alternative Ansätze, die das lernende Individuum sowie Angebote und Zugänge für Lerngelegenheiten in den Mittelpunkt rücken, werden demgegenüber „als Steuerungsinstrument nur bedingt geeignet“ eingeschätzt.12 Basis für das Bildungsmonitoring ist das für die kommunale Ebene bereitgestellte Indikatorensystem.13 Damit werden zumindest implizit auch Vorstellungen über wünschenswerte Gestaltungsfelder und Bewertungsmaßstäbe vermittelt. Die spezifischen bildungspolitischen Ziele der Kommunen spielen für die Konzeption des Bildungsmonitorings hingegen eine relativ geringe Rolle.
 
 
Eine auf Systembeobachtung angelegte Bildungsberichterstattung kann einen wichtigen Beitrag zum DKBM leisten, erstens durch eine regelmäßige Bestandsaufnahme, die hilft, Handlungsbedarf zu identifizieren. Allerdings ist mit der Identifizierung von Handlungsbedarf noch nicht geklärt, was zu tun wäre. Hierzu bedarf es genaueren Wissens über Probleme und ihre Ursachen, die das Systemmonitoring nicht beinhaltet. Zweitens kann das Systemmonitoring, indem es Entwicklungen im Zeitverlauf analysiert, auch Fortschritte bezüglich bildungspolitischer Ziele feststellen. Indes ist es kaum möglich, beobachtete Entwicklungen auf Basis des Systemmonitorings verlässlich auf bildungspolitische Maßnahmen zurückzuführen. Solange positive Entwicklungen im Bildungssystem zu verzeichnen sind, mag man dies in Kauf nehmen, wenn aber die erhofften Entwicklungen ausbleiben, stellt sich die Frage nach den Gründen. Waren die verfolgten Maßnahmen ungeeignet? Oder wurden sie lediglich unzureichend umgesetzt? Oder haben äußere Einflüsse die positiven Wirkungen der Maßnahmen wieder zunichte gemacht? Ein wirkungsorientiertes DKBM sollte daher nicht auf der Systemebene verharren, sondern konkreten Problemen und Ursachen nachgehen, um Handlungswissen zu generieren, sich auch auf konkrete Steuerungs-/Fördermaßnahmen richten und sich bemühen, die zugrundeliegenden Wirkungszusammenhänge zu klären und empirisch zu überprüfen.
Ein solcher Ansatz erfordert weitere Wissensformen. Die Indikatoren des Systemmonitorings sind stark dekontextualisiert. Um Maßnahmen zu entwickeln und umzusetzen sowie Aussagen über ihre Wirksamkeit treffen zu können, ist genaueres Wissen über die Situation und den Unterstützungsbedarf der Zielgruppen sowie über bestehende Handlungsansätze erforderlich. Damit gewinnt das Fach- und Erfahrungswissen der professionellen Bildungsakteure – aus der kommunalen Verwaltung und anderen Institutionen ebenso wie von pädagogischen Fachkräften auf Einrichtungsebene – an Bedeutung. Deren Einbindung kann bereits bei der Planung von Maßnahmen ansetzen und sich über die begleitende Reflexion der Umsetzung bis zur Analyse der Wirkungen fortsetzen. Nicht zuletzt steigen auf diese Weise die Chancen, dass die Maßnahmen die Interessen der bildungsrelevanten Akteure berücksichtigen und wirkungsbezogene Informationen rezipiert und genutzt werden. Insgesamt zeigt die kommunale Praxis eine ganze Reihe von Instrumenten und Interaktionsformaten, die – von der Bedarfsplanung bis zur Erfassung langfristiger Entwicklungen – zur wirkungsorientierten Steuerung beitragen (vgl. Abbildung: Instrumente und Interaktionsformate).
 

Zunehmend werden im DKBM auch Evaluationen auf der Maßnahmenebene genutzt. Wirkungsorientierte Steuerung kann sich hierbei auf das Konzept der „Programmtheorie“ stützen.14 Dabei handelt es sich um ein Modell davon, wie eine Maßnahme mittels zwischengelagerter Resultate zu bestimmten Wirkungen beiträgt. Zentral sind dabei sechs Fragen beziehungsweise.
Entwicklungsschritte:
1. Auf welche Probleme mit welchen Ursachen reagiert die Maßnahme? (Situationsanalyse)
2. Welche Wirkungen können durch die Maßnahme herbeigeführt oder beeinflusst werden? (Ein- und Abgrenzung)
3. Welche Abfolge von Wirkungen soll die Maßnahme initiieren bzw. unterstützen? (Wirkungskette)
4. Was (Aktivitäten, Inputs, Outputs, Prinzipien) beinhaltet die Maßnahme? (Programmbeschreibung)
5. Welche internen und externen Faktoren beeinflussen die Maßnahme? (Gelingensbedingungen)
6. Woran lässt sich der Erfolg der Maßnahme erkennen? (Erfolgskriterien)
Eine Programmtheorie lässt sich zunächst dazu nutzen, Maßnahmen zu planen. Indem die Annahmen, die der Maßnahme zugrunde liegen, explizit formuliert werden, entsteht nicht nur ein fundiertes Konzept, sondern dessen Erarbeitung fördert zugleich den Austausch unter den beteiligten Akteuren und hilft, ein gemeinsames Verständnis zu entwickeln und Rollen und Aufgaben zu bestimmen und zu verteilen. Zugleich bietet die Programmtheorie eine gute Grundlage für die Evaluation, weil sie es erleichtert geeignete Zeit- und Schwerpunkte zu bestimmen, etwa indem sie begründete Erwartungen darüber zulässt, in welchem Zeitraum bestimmte Wirkungen eintreten sollten, und aufzeigt, welche Kausalannahmen unsicher – und damit überprüfungsbedürftig – erscheinen.
Und nicht zuletzt bietet die Programmtheorie eine Möglichkeit einzuschätzen, ob eine Maßnahme zu den angestrebten Wirkungen beigetragen hat, indem
1. analysiert wird, inwieweit die eingetretene Entwicklung der Programmtheorie entspricht,
2. eingeschätzt wird, welche Entwicklung ohne die Durchführung der Maßnahme zu erwarten gewesen wäre, und
3. geprüft wird, inwieweit alternative Erklärungen für die eingetretene Entwicklung gefunden werden können.
Mit Blick auf die eingesetzten Methoden, ist der Ansatz der Programmtheorie offen: er ist mit klassischen (experimentellen) Verfahren der Kausalanalyse durchaus vereinbar, aber andere, auch qualitative Verfahren können zum Einsatz kommen. Ziel ist es nicht unbedingt, „Nettoeffekte“ zu berechnen, sondern kausale Wirkungsmechanismen empirisch herauszuarbeiten und begründete Einschätzungen über den Wirkungsbeitrag von Maßnahmen zu treffen. Die skizzierte Herangehensweise bietet auch eine sinnvolle Struktur für eine wirkungsorientierte Berichterstattung. 15 Diese beschreibt zunächst den Hintergrund und Kontext des Programms sowie die Annahmen und Erwartungen, die sich aus der Programmtheorie ergeben. Anschließend wird schrittweise entlang der Wirkungskette dargelegt, was auf welche Weise erreicht wurde und der Beitrag der Maßnahme (und ggf. verschiedener Akteure) eingeschätzt. Dabei geht die wirkungsorientierte Berichterstattung auch auf unerwartete Ergebnisse ein. Schließlich werden im Bericht Lehren aus der Entwicklung bis dato gezogen und Hinweise zur Anpassung der Programmtheorie beziehungsweise der Maßnahme abgeleitet. Insgesamt entsteht so eine schlüssige Gesamtdarstellung, die Erreichtes und das weitere Vorgehen plausibel vermittelt. Natürlich sollte die Evaluation auf Maßnahmenebene nicht dazu führen, dass das Zusammenspiel der vielfältigen Maßnahmen und Akteure aus dem Blick gerät. Die Einbindung unterschiedlicher Akteure und die Abstimmung in den Kooperations- und Koordinationsgremien des DKBM sollten für eine ganzheitliche Perspektive sorgen. Gerade die Arbeit mit Programmtheorien kann auch über die Einzelmaßnahme hinaus dafür sorgen, das bildungspolitische Handeln systematisch an Problemen und Ursachen auszurichten und den erzielten Wirkungen nachzugehen. Idealerweise wird Wirkungsorientierung damit nicht nur ein Merkmal des Steuerungssystems in der Kommune, sondern etabliert sich als Denkweise, die das bildungspolitische Handeln insgesamt fundiert.
 

Fußnoten:

1 Mayne, J. (2007). Challenges and Lessons in Implementing Results- Based Management. In: Evaluation 13 (1), S. 87–109.
 
2 Vgl. Bellmann, J., & Weiß, M. (2012). Risiken und Nebenwirkungen Neuer Steuerung im Schulsystem. Theoretische Konzeptualisierung und Erklärungsmodelle. Zeitschrift für Pädagogik 55 (2), S. 286–308.
 
3 Hood, C., & Peters, G. (2004). The Middle Aging of New Public Management: Into the Age of Paradox? Journal of Public Administration Research and Theory 14 (3), S. 267–282. https://www.jstor.org/stable/3525837.
 
4 Hunter, D.; Nielsen, S. B. (2013). Performance Management and Evaluation: Exploring Complementarities. New Directions for Evaluation 137, S. 7–18.
 
5 Vgl. hierzu auch im Folgenden soweit nicht anders angegeben Niedlich, S. (2019). Neue Ordnung der Bildung. Zur Steuerungslogik der Regionalisierung im deutschen Bildungssystem. Wiesbaden: Springer VS, Kap. 6.
 
6 Siepke, T. (2015). Datengrundlage eines kommunalen Bildungsmonitorings. In: H. Döbert, & H. Weishaupt (Hrsg.), Bildungsmonitoring, Bildungsmanagement und Bildungssteuerung in Kommunen. Ein Handbuch (S. 165–192).
Münster: Waxmann.
 
7 Döbert, H., & Weishaupt, H. (2015). Bildungsmonitoring, Bildungsmanagement und Bildungssteuerung in Kommunen – eine Einführung. In: Dies. (Hrsg.): Bildungsmonitoring, Bildungsmanagement und Bildungssteuerung in Kommunen (S. 11–21). Ein Handbuch. Münster: Waxmann.
 
8 Projektteam Kommunales Bildungsmonitoring (2011). Handreichung Wie erstellt man einen kommunalen Bildungsbericht? Herausgegeben vom Projektträger im Deutschen Zentrum für Luft- und Raumfahrt (PT-DLR) für das Bundesministerium für Bildung und Forschung. Bonn: PT-DLR; Döbert/Weishaupt (2015), a.a.O; Tegge, D. (2015). Kommunale Gestaltungsmöglichkeiten und Steuerungsinstrumente. In: H. Döbert, & H. Weishaupt (Hrsg.), Bildungsmonitoring, Bildungsmanagement und Bildungssteuerung in Kommunen. Ein Handbuch (S. 83–99). Münster: Waxmann.; Weishaupt, H., & Wagner, S. (2015). Realisierungen eines kommunalen Bildungsmanagements. In: H. Döbert, & H. Weishaupt (Hrsg.), Bildungsmonitoring, Bildungsmanagement und Bildungssteuerung in Kommunen. Ein Handbuch (S. 309–318). Münster: Waxmann.
 
9 Siepke (2015), a.a.O.
 
10 Döbert/Weishaupt (2015), a.a.O.
 
11 Döbert, H. (2010). Regionale Bildungsberichterstattung in Deutschland – Konzept, Ziele und Anforderungen. Recht der Jugend und der Bildung 58 (2), S. 158–175.; Siepke, T., & Pohl, U. (2012). Lernen vor Ort – Skizze eines bundesweiten Projekts. In: H. Buchen, L. Horster, & H.-G. Rolff (Hrsg.), Schulen in der Region – Region in der Schule (S. 23–44). Stuttgart: Raabe.; Tegge, D. (2015a). Steuerung von Bildung. In: H. Döbert, & H. Weishaupt (Hrsg.), Bildungsmonitoring, Bildungsmanagement und Bildungssteuerung in Kommunen. Ein Handbuch (S. 23–46). Münster: Waxmann.
 
12 John, M., & Büchner, C. (2015). Formen eines kommunalen Bildungsmonitorings. In: H. Döbert, & H. Weishaupt (Hrsg.),
Bildungsmonitoring, Bildungsmanagement und Bildungssteuerung in Kommunen. Ein Handbuch (S. 143–153). Münster: Waxmann, S. 152.
 
13 Hetmeier, H.-W., Schneider, C., Wolf, R., Klostermann, T., Gnahs, D., & Weiß, C. (2014). Anwendungsleitfaden zum Aufbau eines kommunalen Bildungsmonitorings. Wiesbaden/Stuttgart/Bonn: Statistisches Bundesamt/Statistisches Landesamt Baden- Württemberg/Deutsches Institut für Erwachsenenbildung (DIE).
 
14 Vgl. im Folgenden Funnell, S.C., Rogers, P.J. (2011). Purposeful Program Theory. Effective Use of Theories of Change and Logic Models. San Francisco: Jossey-Bass
 
15 Mayne, J. (2004). Reporting for Outcomes. Setting Performance Expectations and Telling Performance Stories. In: The Canadian Journal of Program Evaluation, 19 (1), S. 31–60.