MAPP – ein partizipatives Verfahren der Wirkungsanalyse von Programmen und Projekten

MAPP ist ein partizipatives Verfahren der Wirkungsanalyse, mit dessen Hilfe die Nutzer- und Mittlersicht entwicklungspolitischer Maßnahmen systematisch erhoben werden. Auf Grundlage von Gruppendiskussionen werden in einer festen Abfolge sechs bis acht aufeinander aufbauende Instrumente eingesetzt, die zusammengenommen eine aussagekräftige Einschätzung der Veränderungen vor Ort, der Zuordnung der Maßnahmen sowie der intendierten und nicht intendierten Wirkungen erlauben. Die Methodik wurde 1999 am Deutschen Institut für Entwicklungspolitik (DIE) von Susanne Neubert entwickelt; zunächst hieß sie SWAP, seit 2000 ist die Bezeichnung MAPP.


Zeitrahmen:
2000 - 2009 / Abgeschlossen

Projektbeschreibung

MAPP ist ein partizipatives Verfahren der Wirkungsanalyse, mit dessen Hilfe die Nutzer- und Mittlersicht entwicklungspolitischer Maßnahmen systematisch erhoben werden. Auf Grundlage von Gruppendiskussionen werden in einer festen Abfolge sechs bis acht aufeinander aufbauende Instrumente eingesetzt, die zusammengenommen eine aussagekräftige Einschätzung der Veränderungen vor Ort, der Zuordnung der Maßnahmen sowie der intendierten und nicht intendierten Wirkungen erlauben. Die Methodik wurde 1999 am Deutschen Institut für Entwicklungspolitik (DIE) von Susanne Neubert entwickelt; zunächst hieß sie SWAP, seit 2000 ist die Bezeichnung MAPP.

MAPP wurde bereits von zahlreichen freien Gutachtern angewandt. Es kann hiermit eine große Bandbreite von Programmtypen evaluiert werden: Erprobte Sektoren sind Ressourcenmanagement, Landwirtschaft und ländliche Entwicklung, Wasser, Fischerei, Dezentralisierung, Gesundheit, Bildung. MAPP kann auch bei Sektor- oder Portfolioanalysen herangezogen werden, zweckmäßig ist dann eine Kombination mit weiteren Instrumenten (siehe Sektoranalyse bei DEZA). Geeignet sind jede Art der finanziellen und technischen Hilfe für lokale bis flächendeckende Programme, die auf die Bevölkerungsebene als Endnutzer abzielen. Mit MAPP wurden bereits Erfahrungen in allen Kontinenten gesammelt. Voraussetzung für die erfolgreiche Durchführung ist eine gewisse Diskussionskultur im entsprechenden Partnerland.


MAPP ist ein systematischer Vorher-Nachher-Vergleich, bei dem die Vergangenheit retrospektiv, d.h. rückschauend für mehrere Zeitpunkte analysiert wird. Ausgehend von einem Referenzzeitpunkt werden nach einer festgelegten Struktur Entwicklungen und Wirkungen gemeinsam diskutiert und mit Punktesystem bewertet. MAPP ist daher gleichermaßen ein kontext- und prozessbezogener Ansatz. MAPP erfasst im ersten Schritt die Veränderungen des Lebenskontextes der Menschen und ordnet erst im zweiten Schritt die Ursachen (externe Rahmenbedingungen oder Entwicklungsmaßnahmen) für diese Veränderungen zu. Es werden dabei auch Programme anderer Geber in der Zielregion in die Betrachtung einbezogen. MAPP erfasst den Impact und Outcome von Maßnahmen, inkl. geplante und ungeplante, direkte und indirekte, positive oder negative Wirkungen.

Die Zuordnungslücke wird bei MAPP mit einer Einflussmatrix überbrückt, bei der Einflussstärken der Maßnahmen zugeordnet, gewichtet und begründet werden. Alle Maßnahmen werden im Hinblick auf ihre Wirkung auf alle Kriterien evaluiert, die zusammengenommen das Zielkonzept beschreiben. Die im Diskurs gewonnenen Ergebnisse werden zunächst kommunikativ und dann mit Hilfe der Triangulation validiert (Mehraugenprinzip, cross-checking mit Daten aus anderen Quellen und Dokumenten).

Bei MAPP werden definierte Instrumente in einer logischen Abfolge eingesetzt. Je nach Erkenntniszweck kann sich die Untersuchung auch nur auf einen Teil der Instrumente stützen. Die Minimalvariante von MAPP besteht aus der Anwendung der (1) Lebenslinie, (2) Trendanalyse, (6) Einflussmatrix und dem (8) Entwicklungs- und Wirkungsprofil. Die Auswertung der Ergebnisse erfolgt im Idealfall gemeinsam in der Diskussionsrunde.

1. Lebenslinie: Sie zeigt die Gesamtentwicklung in der Projektregion (inkl. externe Krisen und Schocks) über einen großen Zeitraum (z.B. 10 Jahre)

2. Trendanalyse: Sie erfasst die Veränderungen im Hinblick auf ein Set von rd. 10 Kriterien, die gemeinsam das Zielkonzept beschreiben (z.B. Armutsminderung, Demokratisierung).

3. Cross-Checking: Dieses ist sowohl für die Überprüfung der Informationen über die Programmumgebung als auch über die Maßnahmen nützlich.

4. Maßnahmenliste: Hier wird die Relevanz der Maßnahmen im Kontext weiterer Maßnahmen (z.B. anderer Geber) und die Einordnung der Eigenbeiträge in den Arbeits- und Finanzkontext der Zielgruppen vorgenommen. Schlussfolgerungen zur Signifikanz, Relevanz und zur Chance auf Nachhaltigkeit sind möglich.

5. Einflussmatrix: Hiermit erfolgt die Wirkungszuschreibung. Positive und negative Einflüsse der Maßnahmen auf die Kriterien werden erhoben und mit Punkten bewertet. Schlüsselmaßnahmen und Bottlenecks werden identifiziert.

6. Entwicklungs- und Wirkungsprofil: Die wichtigsten Informationen aus allen Instrumenten werden darin zusammengefasst. Es kann auch festgestellt werden, ob die Gesamtentwicklung robust (gleichmäßig) oder vulnerabel (ungleichmäßig) verläuft und welche Hauptfaktoren die Entwicklung in der Region am stärksten gefördert haben.

7. MDG-Tabelle: Die MDG werden mit Unterzielen aufgeführt und von der Einflussmatrix wird jeweils direkt abgeleitet, ob und inwieweit Beiträge zu den MDGs durch die Wirkungen geleistet wurden.

8. Partizipative Entwicklungsplanung: Mit diesem Instrument soll erreicht werden, dass der Evaluierungsprozess kein Selbstzweck bleibt, sondern Ausgangspunkt für weitere Entwicklungsprozesse darstellt.

Die Ergebnisse sind leicht verständlich und geben transparent die Sichtweise der Stakeholder wieder. Die daraus zu ziehenden Schlussfolgerungen und evtl. neue Maßnahmen können als Vorschläge direkt in das evaluierte und/ oder in das neu aufzulegende Programme eingebracht werden. Ggf. identifizierte negative Wirkungen können Ausgangsbasis für die Entwicklung von Kompensationsleistungen sein oder Anstoß zu Umsteuerungen darstellen.

Ein MAPP sollte organisatorisch durch die Vor-Ort-Mitarbeiter vorbereitet werden. Die reine Erhebungs- und Auswertungszeit dauert dann rd. 2-3 Tage, in Abhängigkeit von der Anzahl der eingesetzten Instrumente sowie der Anzahl der Kriterien und Maßnahmen, die bewertet werden sollen. Werden mehrere MAPP-Durchgänge durchgeführt (größere Stichprobe aufgrund flächendeckender Programme) und/ oder Untergruppen gebildet (z.B. Frauen und Männergruppen), verlängert sich die Zeit entsprechend. MAPP-Analysen können durch geschulte einheimische Fachkräfte durchgeführt werden, wenn diese Moderationserfahrung und/ oder Erfahrungen in partizipativen Methoden aufweisen.

Mit MAPP können alle Maßnahmentypen untersucht werden, deren Wirkungen von Zielgruppen wahrgenommen werden können. Geeignet ist die Evaluierung multidimensionaler Zielkonzepte wie Armutsminderung, Demokratisierung, Dezentralisierung etc., deren Beschreibung anhand mehrerer Kriterien vorgenommen wird. Die Überbrückung der Zuordnungslücke wird bei MAPP explizit vorgenommen. Hierbei bestehen auch Möglichkeiten der Gegenüberstellung verschiedener Sichten und Perspektiven (Kontroversen). Die Ergebnisse verschiedener MAPP-Erhebungen können bei flächendeckenden Maßnahmen, die eine große Stichproben verlangen, aggregiert werden.. Die systematische Einbeziehung der Nutzer erleichtert eine direkte Nutzung der Ergebnisse und eine Identifizierung des Bedarfs für weitergehende Maßnahmen.

Das Instrument fokussiert auf die Wirkungsebene (Outcome und Impact). Die Qualität und Validität der Ergebnisse von MAPP hängt von der Moderationsfähigkeit des Evaluators und der Zusammensetzung der Diskussionsgruppe ab, die möglichst heterogen sein sollte.

Publikationen

Aktuelle Publikationen

Sustainable finance: International standards are important

Berensmann, Kathrin
Externe Publikationen, 27.10.2020

Mixed and multi-methods to evaluate implementation processes and early effects of the Pradhan Mantri Jan Arogya Yojana Scheme in seven Indian states

De Allegri, Manuela / Swati Srivastava / Christoph Strupat et al.
Externe Publikationen, 27.10.2020