“Dit hebben de beste voetballers ter wereld gemeen: ze hebben 2 voeten, ze dragen voetbalschoenen tijdens de match, ze trainen wekelijks en rijden met een mooie wagen.” – Als je vindt dat dit compleet idioot klinkt, dan heb je gelijk. Het klinkt niet alleen zo, het is ook zo. Toch komt het vaak voor dat het niet idioot klinkt, maar het dat wel is.
Het fenomeen heet survivorship bias. Er bestaat geen Nederlandse vertaling, maar ‘overlevingsvertekening’ lijkt mij alvast een goede kandidaat. Concreet houdt het in dat ons begrip van een bepaald fenomeen vertekend is omdat men bepaalde conclusies trekt uit een steekproef die een bepaalde selectie overleefde.
Van Wereldoorlog I tot LinkedIn
Het beroemdste voorbeeld vinden we terug in geschiedenisboeken over de Eerste Wereldoorlog. Statisticus Abraham Wald ging op zoek naar hoe vliegtuigen beter uitgerust konden worden om de kans om neergehaald te worden te verlagen. Zijn collega’s focusten zich op de onderdelen van de teruggekeerde vliegtuigen die de meeste oorlogsschade leden. In tegenstelling tot hen focuste Wald zich op onderdelen van teruggekeerde vliegtuigen die zelden schade ondervonden. Zijn (correcte) redenering was dat die zwaar beschadigde onderdelen bewezen dat de teruggekeerde vliegtuigen hier schade konden lijden, zonder neer te storten. De onderdelen waar men zelden schade registreerden waren meestal de zwakke schakels die ervoor zorgden dat andere vliegtuigen neerstortten, waardoor ze niet terugkeerden en dus ook niet geanalyseerd werden.
Tot mijn ergernis zijn het deze “inzichten” die we terugvinden in businesslectuur (e.g. Mastery, Outliers) en vaak viraal gaan op sociale media zoals LinkedIn.
- The Nine Attributes Of The Most Effective LinkedIn Profiles
- What traits do the best bosses have?
- 7 Habits Of Successful People That Will Make You Feel Unstoppable In 2019
Door ons te focussen op de eigenschappen die “succesvolle” mensen/bedrijven delen, verliezen we uit het oog dat er nog miljoenen anderen zijn (of waren) die exact dezelfde eigenschappen bezitten, en niet zo fortuinlijk zijn. Eén van mijn favoriete schrijvers (die wel vaker terugkomt op deze blog), Nassim Nicolas Taleb, vat het in ‘The Black Swan‘ samen met de volgende quote: “The cemetery of failed restaurants is very silent.”
Als verantwoording van beleid
Het wordt pas echt problematisch als ook publieke keuzes onderhevig zijn aan deze denkfout. Soms kunnen we het ook bedrog noemen, wanneer politici cijfers verbuigen wegens politiek gewin of wanneer verantwoording gezocht wordt voor het gebruik van overheidsmiddelen.
Gisteren was het weer van dat. VRT Nieuws, het Nieuwsblad en Het Laatste Nieuws berichtten het volgende:
- “Aalsters activeringsproject slaagt“
- “Aalsters activeringsproject slaagt: 6 op 10 OCMW-cliënten werkt of studeert“
- “Aalsterse jobclub helpt leefloners succesvol aan het werk“
Het gaat alvast fout in de berichtgeving: HLN veralgemeent de groep die deelnam aan het proefproject naar de volledige populatie van OCMW-cliënten. Dat lijkt mij voorbarig. Hoe is die selectie gebeurd? Hebben mensen zichzelf opgegeven? Zijn dat niet de meest gemotiveerden? Heeft de VDAB die geselecteerd? Is dat willekeurig gebeurd?
“Onze aanpak werpt duidelijk vruchten af” is eerder een verantwoording van het gevoerde beleid dan een gefundeerde conclusie.
Maar ook de conclusie van N-VA-schepen Sarah Smeyers is opportunistisch: “Onze aanpak werpt duidelijk vruchten af” is eerder een verantwoording van het gevoerde beleid dan een gefundeerde conclusie. Zie het zo: hoeveel van het OCMW-clientèle dat niet deelnam aan de jobclub vond een job? En hoe verschilt dat van de groep die wel deelnam aan de jobclub?
Het is een schoolvoorbeeld van how to lie with statistics. Misschien slechts een faits divers. Echter, omdat publieke instellingen hun bestaan moeten rationaliseren is het weeral eentje met impliciet een paternalistische nasmaak: “zie je wel, zonder de visionaire aanpak van vadertje staat lijken die arme leefloners nergens te geraken.”
Misschien is de informatie die nodig is om het beleid wél correct te evalueren ergens aanwezig. Maar die heeft alvast de berichtgeving niet gehaald. Of dat de fout van de Schepen, de VDAB of het persagentschap is, dat laat ik in het midden.
Edit 20-02-2020: In dit recentelijke gepubliceerde interview (kort!) vind je enkele uitstekende voorbeelden.