9.3 Uitdagingen en onderzoeksvragen
Bijsturing en verantwoording Doelgerichte M&E methoden geven een wetenschappelijk onderbouwd inzicht in de relatie tussen de activiteiten in het project en de zichtbare resultaten. Echter, bijsturing tijdens het proces is minimaal mogelijk. Lerende M&E methoden geven ruimte aan bijsturing en onzekerheid, maar hoe weten we of deze bijsturing een verbetering is? Hoe ‘statistisch’ betrouwbaar zijn de eerste inzichten die als input dienen voor iteratie en bijsturing van de aanpak kunnen bewerkstelligen? Het is belangrijk om een middenweg te vinden tussen M&E methoden met voldoende wetenschappelijke rigour en bruikbare en toepasbare methoden voor het monitoren van veranderingen in complexe systemen. Moeten hiervoor nieuwe methoden worden ontwikkeld, of is aanpassing van bestaande methoden voldoende? En hoe belangrijk is het om alle beslissingen ‘statistisch’ te onderbouwen?
Onderzoeksvragen die hierbij gesteld kunnen worden:
Hoe kunnen we aannames in het ontwerpproces op inzichtgevende maar niet-belastende wijze tussentijds toetsen, zodanig dat dit ons een evidence-based grondslag geeft voor het doorontwikkelen van de interventie?
Hoe kunnen we de ontworpen interventie toetsen, zodanig dat dit ons bruikbare informatie oplevert over veranderingen op systeemniveau en contextniveau, en over de generaliseerbaarheid van de interventie (effectiviteit van onderliggende werkingsmechanismen), zonder dat dit het ontwerpproces en de doorontwikkeling van de interventie hindert of gedurende lange tijd bevriest?
Kwantificeren van impact en de rol van de geselecteerde indicatoren Een verandering binnen systemen betreft vaak meer dan alleen directe en verwachte effecten. Hoe brengen we deze indirecte en externe effecten in kaart? Vaak komen indirecte effecten pas laat in beeld, en zijn ze moeilijk te kwantificeren of monetariseren. Wat is bijvoorbeeld de waarde van geluk of de kennis die gegenereerd wordt tijdens transitievraagstukken? We weten dat deze aspecten een belangrijk effect hebben op de economische groei en onze welvaart, maar op welke manier breng je deze in kaart? Daarnaast kan de keuze voor indicatoren of M&E tools ook de vorm en richting van de interventies bepalen. We zien dat de ontwikkelingsstrategie wordt bepaald door meetbare indicatoren of KPI’s, zoals ‘aandachtsspanne’ bij bedrijven zoals Netflix en Google. Maar is dit de juiste strategie, en hoe belangrijk zijn data/indicatoren die (nog) niet gemeten kunnen worden? Nieuwe ontwikkelingen op dit gebied zullen ook de aard van interventies gaan bepalen.
Onderzoeksvragen die hierbij gesteld kunnen worden:
Hoe kunnen we output-, outcome- en impactindicatoren formuleren die relevant zijn voor het transitiedoel en tussenliggende doelen die zoveel mogelijk is toegesneden op de missie?
Wat is het effect van de meetbare en beschikbare indicatoren op de vorm en richting van onze interventies?
Hoe kunnen we de effectiviteit en efficiëntie van ons ontwerpproces toetsen?
Toepassen van nieuwe datasets en nieuwe data-driven methoden De ontwikkelingen op gebied van AI en big data analytics bieden veel kansen voor transitievraagstukken. Met behulp van deze methoden kan al lerend en real-time inzicht worden verkregen op de (potentiële) effecten van de bijdrage van interventies aan de transitie, alsook in mogelijk relevante externe ontwikkelingen. Een eerste stap is gezet met de ontwikkeling van een data-driven foresight analysemethode (Goetheer et al., 2020), waarbij met AI en big data en het gebruik van verschillende typen databronnen de besluitvorming van transities kan worden ondersteund. Deze methoden kunnen ook worden ingezet om vooraf meer inzicht te krijgen op de verwachte effecten (data-driven predictive modeling). Echter, er moet dan wel gebruik worden gemaakt van nieuwe databronnen (zoals citizen science data, open source, of data uit niet-geprotocolleerde studies), die per definitie divers, ongestructureerd en incompleet zijn. In de volgende stappen moeten we uitzoeken welke data beschikbaar is of gecreëerd kan worden, hoe we deze moeten gebruiken, welke methoden bij deze datasets passen, en hoe we om moeten gaan met deze beperkingen in de kwaliteit en betrouwbaarheid van data.
Onderzoeksvragen die hierbij gesteld kunnen worden:
Welke methoden moeten we toepassen en/of ontwikkelen om uit nieuwe type (diverse, nieuwe, on- en gestructureerde, onvolledige) data de juiste schattingen (prognose) en classificaties (diagnose, screenen, monitoren) te kunnen maken?
Hoe identificeren we de relevante databronnen en datatypen voor het monitoren en evalueren van transities, inclusief het valideren van data/informatie?
Hoe ontwerp je een hybride data-gedreven M&E methode, gekoppeld aan innovation intelligence?
Hoe zorg je dat door AI en big data gegenereerde informatie uitlegbaar, begrijpelijk en geaccepteerd wordt?
Hoe gaan we om met privacygevoelige data, en de afname van de bereidheid van de bevolking voor deelname aan registraties en studies?
