![Den Wirkungen der eigenen Bildungsarbeit auf der Spur](/media/f5/57/bd/1717145942/bermller_beitrag.jpg)
Den Wirkungen der eigenen Bildungsarbeit auf der Spur
Wirkungen entwicklungspolitischer Bildungsarbeit zu evaluieren ist nicht trivial –
erst recht nicht, wenn dies im Rahmen von Selbstevaluationen erfolgen soll. In
diesem Beitrag wird aufgezeigt, wie Wirkungen effektiv analysiert und aus den
Analyseergebnissen Ableitungen für die Weiterentwicklung der eigenen Praxis
gezogen werden können.
Die Frage, was als ‚Wirkung‘, das heißt als unmittelbar auf
eine Maßnahme rückführbare Veränderung, erfasst werden
kann, ist für viele Arbeitsfelder nach wie vor in der Diskussion
– so auch für die entwicklungspolitische Bildungsarbeit.
Hier wird seit ca. zehn Jahren darum gerungen, Wirkungen
angemessen zu beschreiben und Wege zu finden, diese
Wirkungen valide zu evaluieren (vgl. weiterführend Bergmüller
u. a. 2013; Caspari 2012; Jungk 2010). Was Wirkungsevaluation
in diesem Arbeitsfeld so anspruchsvoll gestaltet,
ist die hohe werte- und verhaltensbezogene Normativität der
anvisierten Wirkungen:
Mit entwicklungspolitischer Bildungsarbeit wird darauf
abgezielt, zu einer global orientierten, verantwortlichen
Teilhabe zu motivieren und Menschen zu befähigen, einen
eigenen Beitrag zu nachhaltiger und sozial gerechter Entwicklung
zu leisten.
Diese Perspektive hat seit Veröffentlichung
der Sustainable Development Goals (SDGs) 2015
weiter an Relevanz gewonnen: Mit der Agenda 2030 (UN
2015) wurde ein Entwicklungsprogramm vorgelegt, welches
im Sinne einer ‚großen weltgesellschaftlichen Transformation‘
auf weitreichende Veränderungen fokussiert – angefangen
bei Produktions- und Konsummustern über rechtliche
und organisationsbezogene Neuorientierungen bis hin zur
Ermöglichung neuer global-gesellschaftlicher Partizipationsperspektiven.
Entwicklungspolitische Bildungsarbeit soll diese (welt-)
gesellschaftliche Transformation über eine entsprechende
‚transformative Bildung‘ des Individuums befördern (vgl. u. a.
BMBF 2017; UNESCO 2021; sowie reflektierend dazu u. a.
Grobbauer 2016; Lingenfelder 2020) und es liegen mittlerweile
auch verschiedene Kompetenzmodelle vor, die diesen
Anspruch für die konkrete Bildungsarbeit operationalisieren
(vgl. u. a. den von der Kultusministerkonferenz (KMK) verabschiedeten
Orientierungsrahmen für den Lernbereich
Globale Entwicklung; https://ges.engagement-global.de/
orientierungsrahmen.html). Doch wie kann der ‚Erfolg‘ entwicklungspolitischer
Bildungsarbeit – auch jenseits solcher
Modelle – erfasst werden?
Wirkungen entwicklungspolitischer Bildungsarbeit
Um etwas als ‚Wirkung‘ beschreiben zu können, muss sichergestellt
sein, dass eine sich zeigende Veränderung zweifelsfrei
auf einen bestimmten Impuls zurückgeführt werden kann. In
der Planung von Bildungsarbeit wird in der Regel ein unmittelbarer
kausaler Zusammenhang zwischen Lernimpuls und
Lernerfolg unterstellt. Eine solche ‚Lerntechnologie‘ scheint
auch sehr funktional: Sie ermöglicht eine Reduktion der
Komplexität von Lernprozessen, die die Konzeption von Lernangeboten
letztlich überhaupt erst ermöglicht. Für Evaluationen im Bereich entwicklungspolitischer Bildungsarbeit
kann diese Reduktion jedoch schnell dysfunktional
werden, dann nämlich, wenn z. B. die Ablehnung einer
entwicklungspolitischen Option (wie z. B. eines fairen Konsumverhaltens),
die ggf. ja auch das Ergebnis eines intensiven
Lernprozesses sein kann (und im Übrigen im Sinne der Erziehung
zur Mündigkeit auch sein darf), als negatives statt
als positives Ergebnis gesehen wird. In der Konzeption von
Wirkungsevaluation gilt es somit ernst zu nehmen, dass …
a) Lernen ein konstruktiver, selbstreferentieller Vorgang ist,
der durch kognitive, emotionale oder soziale Kontextfaktoren
beeinflusst wird. Was jemand lernt, hängt also nicht
nur vom jeweiligen Input, sondern auch von den individuellen
Vorerfahrungen, Werten, Deutungsmustern und
Nutzungsinteressen sowie der Lernumgebung ab, in
welche der/die Lernende eingebettet ist.
b) Lernen häufig zeitversetzt und kumulativ erfolgt. Lerneffekte
können sich somit ggf. erst nach dem Evaluationszeitraum
einstellen und jenseits des zu evaluierenden
Bildungsangebots von vorhergehenden oder auch parallel
erfolgenden Impulsen mitbedingt sein.
c) Lernen nicht immer von außen beobachtbar ist bzw. von
den Befragten selbst in Erhebungssituationen auch zum
Teil nur schwer versprachlicht werden kann. Dies gilt in
besonderer Weise für wertebezogenes Lernen, von welchem
auch Implikationen für ein bestimmtes Verhalten
bzw. Handeln erwartet werden.
In Wirkungsmodellen zur entwicklungspolitischen Bildungsarbeit,
die wir im Rahmen eines Ressortforschungsvorhabens
des Bundesministeriums für wirtschaftliche Zusammenarbeit
und Entwicklung (BMZ) sowohl für individuelles als auch
organisationales Lernen in der entwicklungspolitischen Bildungsarbeit
entwickelt haben (vgl. Bergmüller u. a. 2019),
können diese Zusammenhänge nachvollzogen werden:
Abhängig von ihrer Häufigkeit, Intensität und Nachhaltigkeit
unterscheiden wir hier drei Ordnungen von Wirkungen
(vgl. beispielhaft Abb. 1), von denen sich Wirkungen erster
Ordnung wie z. B. der Zuwachs an Wissen zu entwicklungspolitischen
Zusammenhängen, ein gesteigertes Interesse an
globalen Problemlagen und Lösungsansätzen, eine entsprechende
Sensibilisierung und Reflexionsfähigkeit für die eigene
Eingebundenheit in weltgesellschaftliche Zusammenhänge
oder auch Erfahrungen von Selbstwirksamkeit entwicklungspolitischen
Handelns, die in didaktisierten Erprobungsräumen
gemacht werden können, sehr eng mit der Qualität
von Bildungsarbeit in Beziehung setzen lassen.
Wirkungen erster Ordnung eignen sich daher – vor allem
in Selbstevaluationen – gut als Evaluationsgegenstand. Sie
stellen sich häufig bereits unmittelbar nach einer Infoveranstaltung,
einem Workshop oder einer Projektwoche zu entwicklungspolitischen
Themen ein, lassen sich methodisch
relativ ‚einfach‘ erfassen und ermöglichen substanzielle
Schlussfolgerungen, um die Qualität der (eigenen) Bildungsarbeit
weiterentwickeln zu können, denn: Für diese Wirkungen
kann sich Bildungsarbeit redlich verantwortlich zeigen,
während die Übernahme wertebezogener Überzeugungen
oder Verhaltensweisen letztlich nicht nur deutlich stärker von
Kontextfaktoren wie z. B. dem regionalen und sozialen Umfeld
abhängig ist, sondern auch im Verfügungs- und Entscheidungsrahmen der Lernenden selbst bleiben muss und damit
nicht unmittelbar zur Qualitätsbeurteilung einer Bildungsmaßnahme
herangezogen werden kann.
Methoden der Selbstevaluation
In Selbstevaluationen agieren Bildungsakteur*innen sowohl
als durchführende Praktiker*innen als auch als Praxisbeobachter*
innen. Diese ‚Personalunion‘ hat sowohl Nachteile
(Arbeitsbelastung, Rollenkonfusion, Betriebsblindheit, Befangenheit)
als auch – und darauf wollen wir den Fokus legen
– Vorteile: Bildungspraktiker*innen kennen die Rahmenbedingungen
ihrer Arbeit und können damit in der Regel gut
einschätzen, wann welche Evaluationsmethoden sinnvoll
eingesetzt werden können. Zudem haben sie die Möglichkeit,
sich nicht nur genuiner Evaluationszugänge zu bedienen (vgl.
unten), sondern auch ‚mitgängig‘ in ihrer Handlungspraxis
zu evaluieren und z. B. didaktische Tools so zu nutzen, dass
diese nicht nur Lernprozesse anmoderieren, sondern gleichzeitig
auch Datenmaterial für die Evaluation generieren.
Hierzu drei Beispiele:
- Mindmaps vor und nach einem Input können sowohl den Lernenden dazu dienen, Vorwissen zu aktivieren und neues Wissen mit bisherigem Wissen in Beziehung zu setzen, als auch den Evaluierenden ermöglichen, Wissenszuwachs sichtbar zu machen.
- Soziometrische Aufstellungen, in denen sich Teilnehmende vor und nach einem Input zu Aussagen oder Fragen entlang einer Linie im Raum positionieren, machen Sensibilisierungsprozesse deutlich.
- In Simulationsspielen können Lernende ihr erworbenes Wissen erproben, während Bildungsakteur*innen über eine Dokumentation der Spielprozesse und -ergebnisse Aufschluss über die Angemessenheit der hier hergestellten kognitiven, affektiven, volitionalen und emotionalen Zusammenhänge gewinnen können.
Neben diesen Synergieeffekten didaktischer Tools kann
auf die gesamte Bandbreite sozialwissenschaftlicher Datenerhebungsmethoden
zurückgegriffen werden. Diese Methoden
lassen sich letztlich auf drei Basisformate engführen: 1)
Befragungen, 2) Beobachtungen und 3) die Nutzung bereits
vorhandener Daten. Befragungen können sowohl mündlich
in Form von (Gruppen- oder Einzel-)Interviews als auch schriftlich
erfolgen. Für schriftliche Befragungen steht mittlerweile ein umfassendes Online-Instrumentarium zur Verfügung, das
bei der Planung schriftlicher Befragungen unterstützen kann
– von einfachen Feedback-Tools (z. B. oncoo, Mentimeter)
über die Nutzung von Quiz-Tools wie Kahoot bis hin zu
komplexeren Software-Programmen (z. B. Lime-Survey, soSci,
Survey Monkey), welche auch einen Teil der Auswertungsarbeit
abnehmen können. Beobachtungen bieten sich gerade
für Selbstevaluationen ebenfalls an. Dabei muss u. a.
entschieden werden, ob teilnehmend oder nicht teilnehmend
sowie offen oder geschlossen, d. h. anhand vorher festgelegter
Beobachtungskategorien, beobachtet wird.
Hinsichtlich knapper zeitlicher Ressourcen hat sich in der
(Selbst-)Evaluationspraxis zudem bewährt, zu überprüfen,
inwiefern auch bereits vorhandene Daten (z. B. Protokolle,
Anträge, Teilnehmende-Statistiken, Anfragedokumentationen
oder im Rahmen von Maßnahmen entstandene Audio- und
Videodokumente) als mögliche Datenquellen genutzt werden
können.
Im Nachgang des o. g. Ressortforschungsvorhabens wurden
von VENRO, dem Dachverband der deutschen entwicklungspolitischen
Nichtregierungsorganisationen, bezogen auf
die von uns entwickelten Wirkungsmodelle Evaluationstools
zusammengestellt, die weiterführende methodische Anregungen
bieten können (vgl. weiterführend VENRO: Bildung
wirkt. Aber wie? https://bildungwirkt.de/).
Interpretation von Wirkungsbefunden
(Selbst-)Evaluation ist kein Selbstzweck, sondern möchte
Perspektiven für die Weiterentwicklung der (eigenen) pädagogischen
Arbeit bereitstellen. Die Interpretation von Wirkungsbefunden
sollte daher so angelegt sein, dass Fehleinschätzungen
der Ergebnisse sowie eine voreilige Bewertung
vermieden werden. Hierfür können drei Herangehensweisen
hilfreich sein:
- Unter Zuhilfenahme der oben beschriebenen Wirkungsmodelle können Wirkungsdaten systematisch zu Kontextfaktoren auf der Ebene des Bildungsangebotes oder dessen Nutzung in Beziehung gesetzt werden, die das Zustandekommen (oder Ausbleiben) von Wirkung beeinflussen und somit auch erklären können. Folgende beispielhafte Reflexionsfragen unterstützen eine Interpretation der Wirkungszusammenhänge: A) Welche Wirkungen wurden (nicht) erreicht? B) Welche Merkmale des Angebots (z. B. didaktische Aspekte, Zusammenarbeit mit Kooperationspartnern) konnten wie geplant realisiert/ nicht realisiert werden? C) Welche Faktoren auf der Nutzungsebene (z. B. das Lernpotenzial der Teilnehmenden) können als maßgeblich für die geplanten Wirkungen identifiziert werden? D) Welche dieser Faktoren können de facto bei einem nächsten Bildungsangebot beeinflusst werden, welche nicht?
- Einschlägige Qualitätskriterien im Feld zur Planung und Organisation, zu den Inhalten sowie zum Vermittlungsprozess (vgl. u. a. VENRO 2021) unterstützen dabei, eine Bewertung der geleisteten Arbeit vorzunehmen, und geben Anregungen, wo bei der Weiterentwicklung konzeptionell angesetzt werden könnte.
- Schließlich können auch Erkenntnisse aus der erstarkenden Wirkungsforschung im Feld der entwicklungspolitischen Bildung zur Interpretation herangezogen werden. Es lohnt ein Blick in das Portal Globales Lernen (https://www.globaleslernen. de/de) oder auch in die Beiträge der Zeitschrift für Internationale Bildungsforschung und Entwicklungspädagogik (ZEP), die diese Forschung thematisch differenziert veröffentlichen.
Last but not least noch ein Hinweis: Im Feld der Evaluation
entwicklungspolitischer Bildungsarbeit existieren auch niedrigschwellige
Beratungs- und Unterstützungsangebote für die
Planung, Umsetzung und Auswertung von Selbstevaluation
(Anfrage hierzu z. B. beim Netzwerk „Evaluation entwicklungsbezogener
Inlandsarbeit“).
Literatur
Bergmüller, Claudia/Franz, Julia/Krogull, Susanne/Scheunpfl ug,
Annette (2013): Zur Überprüfung entwicklungsbezogenen
Lernens. Anmerkungen zum VENRO-Diskussionspapier ‚Wirkungsorientierung
in der entwicklungspolitischen Inlandsarbeit‘. In:
Zeitschrift für Evaluation, 12. Jahrgang, Heft 1, S. 151–161.
Bergmüller, Claudia/Causemann, Bernward/Höck, Susanne/Krier,
Jean-Marie/Quiring, Eva (2019): Wirkungsorientierung in der
entwicklungspolitischen Inlandsarbeit. Münster.
BMBF (2017). Nationaler Aktionsplan BNE. Online unter https://
www.bmbf.de/bmbf/shareddocs/downloads/fi les/nationaler_aktionsplan_
bildung_fuer_nachhaltige_entwicklung.pdf?__
blob=publicationFile&v=1 (zuletzt abgerufen am 13.2.2024)
Caspari, Alexandra (2012): Chancen der Wirkungsorientierung für
die entwicklungspolitische Bildungsarbeit. In: Zeitschrift für
internationale Bildungsforschung und Entwicklungspädagogik
(ZEP), 35, 2, S. 11–17.
Grobbauer, Heidi (2016): Global Citizenship Education als
transformative Bildung. In: Zeitschrift für internationale Bildungsforschung
und Entwicklungspädagogik (ZEP), 39. Jahrgang, Heft
1, S. 18–22.
Jungk, Sabine (2010): Mühen und Chancen der Evaluation. Zur
Schwierigkeit der Messung von Wirkungen in der Bildungsarbeit
des Globalen Lernens. In: Massing, Armin/Rosen, Andreas/Struck,
Gabi (2010): Wirkt so. Handreichung zur Wirkungsorientierung
und Antragstellung in der entwicklungspolitischen Inlandsarbeit.
Berlin, S. 18–23.
Lingenfelder, Julia (2020): Transformatives Lernen: Buzzword oder
theoretisches Konzept? In: Eicker, Jannis/Eis, Andreas/Holfelder,
Anne-Katrin/Jacobs, Sebastian/Yume, Sophie/Konzeptwerk Neue
Ökonomie (Hg.): Bildung Macht Zukunft. Lernen für die sozialökologische
Transformation? Frankfurt/Main, S. 25–36.
United Nations (UN) (2015): Transformation unserer Welt: die
Agenda 2030 für nachhaltige Entwicklung. Online unter https://
www.un.org/depts/german/gv-70/band1/ar70001.pdf (zuletzt
abgerufen am 10.2.2024)
UNESCO (2021): Bildung für nachhaltige Entwicklung. Eine
Roadmap. Online unter https://www.unesco.de/sites/default/
fi les/2022-02/DUK_BNE_ESD_Roadmap_DE_barrierefrei_web-fi -
nal-barrierefrei.pdf (zuletzt abgerufen am 12.2.2024)
VENRO (Hg.) (2021): Handreichung Qualitätskriterien für entwicklungspolitische
Bildungsarbeit. Berlin. Online unter https://venro.
org/fi leadmin/user_upload/Dateien/Daten/Publikationen/
Handbuch/VENRO_Qualit%C3%A4tskriterien_Bildungsarbeit_
2021.pdf (zuletzt abgerufen am 12.2.2024)
![Die Autor*innen](/media/50/b7/6b/1717145956/bergmller_autor.jpg)
Die Autor*innen
Prof. Dr. Claudia Bergmüller ist Professorin für Schultheorie
und historische Bildungsforschung an der Pädagogischen
Hochschule Weingarten. Arbeitsschwerpunkte u. a.:
Wirkungsevaluation im Kontext von entwicklungspolitischer
Bildungsarbeit/BNE/Globales Lernen, Schulentwicklung und
Lehrkräfteprofessionalisierung.
![](/media/7b/3e/6c/1717145965/hck_autor.jpg)
Susanne Höck, M.A., Diploma Development Policy (UK),
gründete 2002 EOP Evaluation mit den Schwerpunkten
externe Evaluation entwicklungspolitischer Bildung/
Globales Lernen/BNE, Beratung, Begleitung, Training zu
Selbstevaluation und Wirkungsevaluation.