VNG Magazine nummer 15, 5 oktober 2018

Toen mijn dochters klein waren, speelden ze met een ‘vormenstoof’. Dat is zo’n bak met openingen in verschillende vormen waar kinderen vormpjes doorheen duwen. Driehoekje door driehoekje, vierkant door vierkant. Ik keek gefascineerd naar hun pogingen om met geweld vierkanten door driehoekige vakken te duwen. Dat kon volgens deskundigen gelukkig weinig kwaad.

Ik moest aan de vormenstoof denken toen ik beleidsevaluaties bestudeerde waarin werd geconcludeerd dat gemeentelijk beleid geen aantoonbaar maatschappelijk effect sorteerde. De boodschap was steeds dezelfde. Het is onduidelijk of het programma heeft bijgedragen aan de integratie. Of: het is onzeker of de inzet heeft geleid tot toegenomen duurzame energieopwekking. Het lijken zorgwekkende boodschappen over falend beleid, maar het zijn eerder signalen over de praktijk van beleidsevaluatie zelf. Hier worden driehoeken door vierkanten geduwd.

Veel vraagstukken waar gemeenten aan werken, passen niet bij de methoden voor beleidsevaluatie. Als we de zogenaamde ‘gouden evaluatiestandaard’ voor het vaststellen van effect hanteren, dan komt veel beleid er slecht uit, zelfs als het in de beleidspraktijk goed gaat. De gouden standaard is afgeleid van de clinical trial methode uit de medische wetenschappen. Beleidsevaluatie zoekt een directe relatie tussen één instrument en één effect: instrument a leidt tot b. Alleen dan telt het mee als gevolg van beleid.

Beleid draagt bij, maar nooit in een te isoleren verband

Deze methode wordt toegepast op een maatschappelijke realiteit die totaal anders is. Onderwerpen spelen in verweven dynamiek. Beleid draagt bij, maar nooit in een te isoleren verband. Er is wel effect, maar het telt niet mee. Daarnaast is de gemeente bij veel maatschappelijke vraagstukken één partij in een netwerk van partners. Samen komen ze tot effecten. Jammer, want alleen individuele inspanningen tellen mee. En bij veel kwesties gaat het om transitievraagstukken. Goed transitiebeleid doet iets waarvan nog niet zeker is waar het heen gaat. Dat kan, maar de evaluatie toetst of een vooraf gesteld doel bereikt is: die effecten tellen dus niet mee. Wel effect, geen positief resultaat. Het driehoekje past niet door het vierkant.

Lange tijd waren beleidsevaluatoren onverbiddelijk. Of het nu controllers, auditors, of rekenkamers waren, steeds kwam de klassieke evaluatiemethode op tafel. Aangemoedigd door gemeenteraden, die de ‘stoplichten’ prettig vonden om hun controlerende taak uit te voeren. Aan die praktijk komt hopelijk snel een einde. Gelukkig stoppen sommige gemeenten al met het duwen van driehoekjes door vierkanten. Ze experimenteren met rijke methoden voor evalueren en verantwoorden: driehoekjes door driehoekjes en vierkanten door vierkanten. En zo hoort het wat mij betreft ook. Een rijke beleidspraktijk vraagt rijke verantwoordingsmethoden. Met mijn dochters kwam het gelukkig snel goed. Hopelijk gaat het met de beleidsevaluaties van gemeenten net zo.

Martijn van der Steen, co-decaan NSOB en bijzonder hoogleraar EUR, steen@nsob.nl, @martijnvdsteen.