Survivorship bias: waarom je dashboard je de verkeerde kant op stuurt

Stel je de tekening voor van een bommenwerper, bezaaid met rode stippen. Elke stip is een kogelgat. De vleugels zitten er vol mee, de romp ook, de staart deels. De motoren en de cockpit zijn vrijwel schoon. De vraag: waar zou jij extra bepantsering aanbrengen?

Bijna iedereen wijst de vleugels aan. Daar wordt immers het meest geraakt. Dat antwoord is begrijpelijk, en het is fout. De denkfout erachter heet survivorship bias, en die verklaart waarom veel marketingbeslissingen worden genomen op cijfers die kloppen en een conclusie die nergens op slaat.

Het verhaal achter de vliegtuigen

Tijdens de Tweede Wereldoorlog wilde het Amerikaanse leger de verliezen onder bommenwerpers terugdringen. Meer bepantsering leek het antwoord, maar pantser is zwaar: te veel en het toestel kan niet meer opstijgen of ver genoeg vliegen. De vraag was dus niet óf, maar wáár.

Onderzoekers brachten in kaart waar teruggekeerde vliegtuigen waren geraakt. De schade concentreerde zich in de vleugels en de romp. De logische aanbeveling: versterk die plekken.

Wat Abraham Wald zag dat de rest niet zag

Wiskundige Abraham Wald, verbonden aan de Statistical Research Group van Columbia University, keerde de redenering om. Hij stelde één vraag die alles veranderde: welke vliegtuigen zitten er níét in deze dataset?

Het antwoord: de toestellen die niet terugkwamen. En dat waren precies de toestellen die geraakt waren op de plekken die op de tekening leeg bleven. Een treffer in de motor of de cockpit betekende dat je niet thuiskwam om gemeten te worden. De lege plekken waren geen bewijs dat daar weinig geraakt werd, maar dat een treffer daar fataal was.

De bepantsering moest dus juist naar de motoren en de cockpit. Niet naar waar de gaten zaten, maar naar waar ze ontbraken.

Wat is survivorship bias?

Survivorship bias is de denkfout waarbij je conclusies trekt uit alleen de gevallen die het gehaald hebben, terwijl de gevallen die het niet haalden onzichtbaar uit je data zijn verdwenen. Je kijkt naar een steekproef die zichzelf heeft geselecteerd, en behandelt hem alsof hij het hele plaatje toont.

Het venijn zit hem erin dat de data niet fout is. De kogelgaten waren echt geteld. Je conversiecijfers kloppen ook. Alleen ontbreekt er een deel van de werkelijkheid dat nooit in je meting terechtkomt, en dat merk je niet, omdat afwezigheid geen alarm afgeeft.

Waar survivorship bias je marketing binnensluipt

Je onderzoekt alleen wie wél converteerde

Je bekijkt welke pagina's bezoekers doorliepen voordat ze een offerte aanvroegen, en optimaliseert die route. Logisch. Maar de honderd bezoekers die halverwege afhaakten, hebben je niet verteld waarom. Juist daar liggen de motoren van je funnel: de plek waar het misgaat en die je nooit in je succesrapportage terugziet.

Je leert van de campagnes die het goed deden

De campagne met de beste ROAS wordt het voorbeeld voor alles wat volgt. Maar één campagne die goed liep, kan net zo goed geluk zijn geweest: het juiste moment, een concurrent die stillag, een seizoenseffect. Zonder de mislukte varianten ernaast weet je niet of je een patroon ziet of ruis.

Je vraagt feedback aan je bestaande klanten

Een klanttevredenheidsonderzoek onder je huidige klanten meet per definitie de mensen die gebleven zijn. Wie is weggegaan, vult niets meer in. Je krijgt dus een keurig rapportcijfer van je overlevers, terwijl de reden waarom anderen vertrokken buiten beeld blijft.

Je kopieert de concurrent die het goed doet

Dat ene bedrijf in je branche dat hard groeit met korte video's, dus jij ook. Wat je niet ziet: de twintig bedrijven die hetzelfde probeerden en er niets uit haalden. Die publiceren geen casestudy over hun mislukking.

Vier vragen die survivorship bias zichtbaar maken

Je hoeft geen statisticus te zijn om deze denkfout te ondervangen. Vier vragen bij elke rapportage zijn al genoeg om de meeste gevallen op te sporen.

• Wie zit er níét in deze data, en waarom niet?
• Wat had er moeten gebeuren om hier wél in te staan?
• Meet ik het hele proces, of alleen het deel na een drempel die mensen al hebben genomen?
• Ken ik ook de gevallen waarin dit niet werkte, of alleen de gevallen waarin het wel werkte?

Die eerste vraag is de belangrijkste. Wald kwam met precies die vraag tot een conclusie die de rest van de kamer over het hoofd zag.

Survivorship bias voorkomen: zes concrete acties

• Bel je verloren offertes na. Vijf gesprekken met mensen die níét voor je kozen, leveren meer bruikbare informatie op dan vijftig tevreden klanten.
• Kijk in GA4 niet alleen naar conversies, maar naar het uitvalpercentage per stap. De grootste sprong omlaag is je motorbereik.
• Documenteer ook je verliezende tests. Een A/B-test die niets opleverde, vertelt je iets. Zolang je alleen de winnaars bewaart, bouw je een archief van toevalstreffers.
• Vraag je klantenservice of verkoop welke bezwaren zij het vaakst horen. Die informatie staat zelden in een dashboard.
• Kijk bij zoekverkeer ook naar de zoektermen waarop je wél vertoond wordt maar nauwelijks geklikt. Dat is vraag die je misloopt.
• Neem bij een campagne-evaluatie standaard de slechtst presterende variant mee in het gesprek, niet alleen de beste.

Het schoolvoorbeeld van survivorship bias is zelf een overlever

Een aardig detail: de bekende afbeelding met rode stippen komt niet uit het onderzoek van Wald. Het is een moderne illustratie die decennia later is gemaakt en zich vervolgens over het hele internet heeft verspreid, precies omdat hij zo goed werkt. De andere pogingen om dit verhaal te visualiseren kent niemand.

Zelfs het schoolvoorbeeld van survivorship bias is dus zelf een survivor. Dat maakt het geen slechte illustratie, maar het is een nuttige herinnering: wat je ziet, zie je meestal omdat het het gehaald heeft.

Data is niet hetzelfde als het hele plaatje

Datagedreven werken is geen kwestie van meer meten, maar van beter weten wat je meting weglaat. Elk dashboard toont een selectie, en die selectie is bijna nooit willekeurig. Wie dat in het achterhoofd houdt, stelt betere vragen bij dezelfde cijfers.

Dus de volgende keer dat je naar je rapportage kijkt: kijk je naar het hele plaatje, of alleen naar de overlevers?