9.2 State of the art
Het meten van voortgang, effect en impact bij transitievraagstukken is essentieel om aan te tonen of de vooraf gestelde doelen zijn gehaald, en of dit terug te leiden is tot de interventies die zijn uitgevoerd. Het gaat daarbij niet alleen om de directe effecten (output), maar ook welke verwachte en onverwachte veranderingen plaatsvinden (outcome), waarom deze zijn veranderd, en wat de impact van deze veranderingen zijn op de systemen (impact). Tijdens het monitoren van de voortgang kan systematisch en/of continu informatie worden verzameld en geanalyseerd. Doordat monitoren tijdens het project plaatsvindt, is het mogelijk om tijdig bij te sturen als het niet volgens plan verloopt. Effectmetingen vormen een aanvulling op monitoring activiteiten en geven diepgaande en objectieve inzichten in de relevantie, efficiëntie, effectiviteit, impact en duurzaamheid van de interventie op bepaalde tijdstippen.
Het inzetten van de juiste KEM’s is onder andere afhankelijk van het beoogde doel en de context waarin de transitie plaatsvindt. Interventies met een helder gespecificeerd einddoel vereisen een andere M&E methode dan interventies die aansturen op structurele verandering waarbij het gewenste einddoel (nog) onbekend is. Dit geldt ook voor de omgeving waarin de verandering plaatsvindt. Veranderingen in complexe en dynamische systemen kunnen niet worden gemonitord met methoden die alleen gebaseerd zijn op en afhankelijk zijn van geprotocolleerde data, structuur, en zekerheid. Hiervoor zijn ook nieuwe methoden nodig. Voor dit hoofdstuk worden de M&E methoden beschreven aan de hand van een conceptueel kader dat de dynamiek van monitoring en bijsturing beschrijft. In dit kader onderscheiden we methoden gericht op doelgerichte M&E en methoden gericht op lerende M&E. Doelgericht M&E methoden starten vaak met vooraf vastgestelde doelen, waarbij de voortgang wordt gemonitord via meetbare indicatoren die bij aanvang geselecteerd worden. De kracht van deze methoden ligt voornamelijk bij het verantwoorden van de projectdoelen, en het aantonen van relaties tussen activiteiten binnen de interventie en de resultaten. Lerende monitoring methoden kunnen beter omgaan met onzekerheid over de aanpak vooraf de onverwachte effecten tijdens het proces, waarbij de strategie kan worden afgestemd op de veranderingen tijdens de interventie.
Doelgerichte M&E methoden
Methoden gebaseerd op doelgericht M&E worden voornamelijk toegepast ter verantwoording van projecten en interventies. Door voor de start van het project het doel vast te stellen, worden indicatoren gekozen die kunnen aantonen of de doelen gehaald worden. Het is hierbij dus belangrijk om vooraf een helder en eenduidig beeld te hebben van de verwachte effecten van de interventie. Deze methoden hebben binnen de wetenschap een hoog aanzien. Echter, deze methoden zijn vaak niet geschikt voor het tussentijds toetsen van aannames en bijsturing tijdens het proces. De gerandomiseerd gecontroleerde trial (RCT) is een voorbeeld van een projectevaluatie methode die inzichten geeft in de directe relatie tussen activiteit en resultaat, omdat de effecten van de interventie worden vergeleken met de effecten bij een vergelijkbare populatie (de controlegroep) zonder interventie (Donaldson et al., 2015). Echter, experimenten met een gerandomiseerd en gecontroleerd design zijn vaak tijdrovend, log en statisch. Kleinschalige experimenten met randomisatie – zoals toegepast in Rapid Cycle Experiments – kunnen snel inzicht verwerven in welke onderdelen in een interventie werken, om op basis daarvan de interventie verder te ontwikkelen en optimaliseren (Johnson et al., 2015).
Aan de hand van een Maatschappelijke Kosten-Baten Analyse (MKBA) kan vooraf een nauwkeurige inschatting worden gemaakt van de verwachte effecten van de interventie. Deze methode brengt de positieve en negatieve effecten in kaart, en wordt daarom gebruikt ter verantwoording van beleidsmaatregelen. Hierbij richt de methode zich op de welvaartseffecten van de maatregelen, en kan er naast de economische effecten ook een schatting worden gemaakt van de zogenoemde zachte effecten, zoals de impact op de cultuur, geluk en welzijn. MKBAs stellen hoge eisen aan de kwaliteit van informatie en onderzoeksmethoden die als input worden gebruikt, waardoor deze methode beperkt bruikbaar is bij ongestructureerde en onvolledige datasets en projecten met een onzekere uitkomsten. Zeker binnen transitievraagstukken met een complex karakter zijn dit aspecten die vaker naar boven komen (Koopmans et al., 2016). Na afloop van de interventie kunnen varianten van de MKBA als evaluatiemetingen worden ingezet, zoals de kosteneffectiviteitsanalyse. Met behulp van enquêtes en de registratie van indicatoren wordt een goed beeld geschetst van verbeteringen en veranderingen na de interventie. Een voorbeeld hiervan is de Zorgmonitor, die aan de hand van een brede set aan vooraf gedefinieerde indicatoren inzicht geeft in de prestaties van de gezondheidszorg (van den Berg et al., 2011).
Lerende M&E methoden
Transitievraagstukken betreffen vaak complexe veranderingen in systemen waarbij zowel de benodigde aanpak als de verwachte effecten van deze aanpak vooraf moeilijk in te schatten zijn. Transitievraagstukken vragen daarom veelal een M&E methode die dynamisch en adaptief is. Binnen verschillende disciplines zijn methoden ontwikkeld die aansluiten bij het onzekere karakter van transitievraagstukken en met de veranderingen van de transitie meebewegen. Zo is de populaire ‘agile’ werkmethodiek in het afgelopen decennia overgewaaid van softwareontwikkeling naar de industrie, en duikt deze tegenwoordig steeds vaker op in digitale en niet-digitale projecten in de wetenschap. Ook met recente ontwikkelingen vanuit data-science op het gebied van AI en big data komen nieuwe methoden beschikbaar voor M&E. Met behulp van data-driven predictive analyses kan real-time inzicht worden gegenereerd op de effecten van de interventies. Meer over de kansen en uitdagingen van deze methoden wordt beschreven in de paragraaf met uitdagingen en onderzoeksvragen.
Binnen de gedragswetenschappen zien we methoden opkomen die proberen dynamische monitoring te combineren met wetenschappelijke verantwoording die we kennen van gerandomiseerde trials. Zo kunnen N-of-1 studies (of Single Case Design) de directe effecten van interventies op gedrag monitoren, op basis van herhaalde kwantitatieve metingen binnen een individu over de tijd (McDonald et al., 2017). Een belangrijk voordeel is dat de interventie tijdens de metingen kan worden doorontwikkeld en aangepast. Een ander voordeel is dat de baseline voor iedere deelnemer verschillend mag zijn. Hierdoor krijg je zicht op individuele verschillen, het effect van de context, en kun je statistische nadelen van spreiding in de doelgroep minimaliseren. Echter, N-of-1 studies zijn voornamelijk geschikt voor digitale gedragsinterventies, en zijn erg afhankelijk van de interventietrouw van de deelnemers. Toch is dit een veelbelovende methode voor transitievraagstukken met een gedragsveranderingscomponent. Andere kansrijke methoden die werkzame mechanismes identificeren in ontwerpproposities en interventies zijn MOST (Multiphase Optimization Strategy; Collins et al., 2007) en CIMO-logic (Denyer et al., 2008).
Reflexieve monitoring in actie (RMA) is een participatieve M&E methode ontwikkeld om de voortgang van systeeminnovaties te monitoren (Van Mierlo et al., 2010). Het faciliteert de ontwikkeling van leerprocessen tijdens transities en stimuleert hiermee het bepalen van de richting van de transitie. De bepaling van het doel, de aanpak en de indicatoren beweegt mee met de voortgang van het proces. Hoewel de specifieke monitor tools verschillen per onderwerp of ambitie, is het belangrijk dat deze activiteiten een integraal onderdeel zijn van de transitie. Voorbeelden van methoden inzetbaar in RMA zijn o.a. Theory of Change, Learning History en Most Significant Change Method. De monitoring activiteiten worden gezien als projectactiviteiten, waarbij elke monitoring cyclus bestaat uit de stappen ‘waarnemen’, ‘analyseren’, ‘reflecteren’ en ‘aanpassen van activiteiten’. Omdat reflexief monitoren een adaptieve methode is, kan er tijdens het project van richting worden veranderd, en kunnen onverwachte effecten in kaart worden gebracht. Echter, het participatieve karakter van reflexief monitoren is erg belangrijk. Om institutionele verandering te bewerkstelligen is het essentieel dat alle stakeholders hierin meegaan.
Gerelateerd aan reflexief monitoren is de Meten Weten Handelen systematiek, ontwikkeld voor het Deltaprogramma (Loeber & Laws, 2016). Aan de hand van gestructureerde reflectie momenten wordt het ‘leren tijdens de interventie’ gestimuleerd. Hierbij is het mogelijk om in te spelen op nieuwe ontwikkelingen, activiteiten te vertragen of versnellen, en de strategie aan te passen aan de hand van veranderingen in systemen. Bijsturing vindt plaats op basis van vier hoofdvragen: ligt het project op schema (budget en tijd), ligt het project op koers (worden doelen bereikt), is er sprake van een integrale aanpak, en is er sprake van brede participatie van stakeholders?