Maandcolumn: Verleid door cijfers

Cijfers hebben iets verleidelijks. Een percentage heeft iets onverbiddelijks, oogt precies, helpt om ontwikkelingen zichtbaar te maken en discussies scherper te voeren. Maar juist omdat cijfers zoveel zeggingskracht hebben, is het goed te beseffen wat ze precies meten. En wat niet...

Eén op de drie consumenten zus, 46 procent zo; voor je het weet trekken we er een conclusie uit die minstens zo stellig klinkt als het cijfer zelf. Terwijl achter ieder percentage keuzes schuilgaan. Wat is precies gevraagd? Aan wie? Hoe is een begrip gedefinieerd? En wat kun je daaruit afleiden?

Dat bedacht ik toen ik de afgelopen weken verschillende onderzoeken in onze sector voorbij zag komen. Zo blijkt uit consumentenonderzoek van de AFM dat een deel van de consumenten zegt geen informatie te hebben gekregen over de vergoeding voor hun adviseur en de dienstverlening die daar tegenover staat. Een ander deel weet dat niet meer. Dat is relevante informatie. Maar wat consumenten zich achteraf herinneren, is niet per definitie hetzelfde als wat er destijds feitelijk is gecommuniceerd.

Een ander voorbeeld is vertrouwen. DNB meldde in september dat het vertrouwen van Nederlandse huishoudens in financiële instellingen is toegenomen. Tegelijk bleef het algemene vertrouwen in verzekeraars stabiel, terwijl het vertrouwen dat verzekeraars hun financiële verplichtingen kunnen nakomen juist steeg. Precies dit laat heel mooi zien hoeveel het uitmaakt welke aspecten van een begrip je meet.

Onderzoek maakt een complexe werkelijkheid inzichtelijk door begrippen af te bakenen en meetbaar te maken. Maar zodra uitkomsten verder reizen – in nieuwsberichten, discussies, samenvattingen of beleid – verdwijnt die afbakening gemakkelijk naar de achtergrond. Het percentage blijft dan wel hangen, maar de precieze vraag erachter een stuk minder.

Hoogleraar wetenschapscommunicatie Ionica Smeets wijst hier regelmatig op. Zo besprak ze begin dit jaar in haar Volkskrant-column een Brits onderzoek waaruit zou blijken dat een meerderheid van de Britten zichzelf overschat als het gaat om omgaan met cijfers. Maar toen ze wilde nagaan hoe de onderzoekers tot die conclusie waren gekomen, bleek dat lastig te achterhalen. Haar punt: een opvallende uitkomst zegt pas écht iets als ook duidelijk is hoe die tot stand is gekomen.

Onderzoeksuitkomsten kunnen waardevolle signalen opleveren. Maar een signaal is nog geen verklaring. De echte vraag is daarom niet alleen wat een cijfer laat zien, maar ook wat erachter schuilgaat. Want als je niet precies weet welk probleem een cijfer blootlegt, kun je moeilijk bepalen welke oplossing daarbij past. Dat besef is met name belangrijk als onderzoeksuitkomsten aanleiding vormen voor beleid of nieuwe regels.

Juist omdat cijfers pas echt waarde krijgen in de juiste context, stellen we ieder jaar Advies in Cijfers samen. Daarin brengen we ontwikkelingen in de sector zorgvuldig in beeld, met aandacht voor definities, afbakening en vergelijkbaarheid. Want één andere definitie van een markt, product of doelgroep kan al een ander beeld opleveren. Dat maakt cijfers niet minder waardevol. Juist niet; ze kunnen patronen blootleggen, verschuivingen zichtbaar maken en aanleiding geven om verder te zoeken.

Cijfers verdienen dus geen wantrouwen, maar precisie. Laat ze ons vooral verleiden tot betere vragen en scherpere discussies. Maar niet misleiden tot conclusies die die cijfers zelf niet staven.