Wéér te gretig statistiek aan de kant gezet

Naar aanleiding van mijn blogbericht over een grafiek die verscheen in de weekendkrant van De Standaard, schreef de ombudsman van De Standaard, Tom Naegels, een repliek: Wéér te gretig in een peiling getrapt?. Ik schrijf hier een repliek op de repliek.

De bewuste grafiek.

De bewuste grafiek.

Even ter opfrissing, de boodschap van mijn kritiek:

  • een peiling met resultaten die niet buiten de betrouwbaarheidsintervallen vallen, gebruik je beter niet om trends aan te tonen, aangezien de verschillen niet significant zijn. Bij een peiling onder dezelfde bevolking op hetzelfde moment kunnen de resultaten namelijk net zo goed omgekeerd zijn.
  • de grafiek werd overgetekend van een grafiek van het bureau dat de peiling uitvoerde. Daarbij werd van een van de grafieken het rechtereinde vervangen door andere gegevens (technisch: een moving average, dat stabieler is over langere periodes, werd vervangen door het dagelijks gemiddelde, dat veel volatieler is)

De kernboodschap van de repliek van Tom Naegels:

“Ik denk dus dat Maarten Lambrechts in dit geval last had van de tunnelvisie van een dataspecialist. Door louter te focussen op die ene grafiek, los van de context van het hele stuk, deed hij het uitschijnen alsof De Standaard als een gebuisde eerstejaarsstudent statistiek zijn nieuws had opgehangen aan een verwaarloosbaar verschil van 1%. Terwijl deze grafiek slechts een element was in een bredere analyse, en er bovendien relevantere zaken uit werden gebruikt dan die ene procent.”

Waarom ik er over schreef

Ik focuste me inderdaad op de grafiek, dat is nu eenmaal wat ik doe: ik evalueer visualisaties. Maar ik lees uiteraard ook telkens het artikel waar de grafiek bij is gevoegd. Twee zaken maakten dat ik, ondanks een voornemen om me meer op mijn eigen werk en minder op dat van wat nu “de concurrentie” is te richten, toch besloot over de grafiek te schrijven:

  1. Nergens wordt in de tekst melding gemaakt van betrouwbaarheidsintervallen (of de “foutenmarge” zoals dat meestal in de pers genoemd wordt). Er is staat letterlijk “… raakte gisteren bekend dat de Conservatieven opnieuw – voor het eerst sinds maart 2012 – aan de leiding liggen in de peilingen. In een poll van YouGov halen de Tories 35 %, tegenover 34 % voor Labour.
  2. De titel van de grafiek, door Naegels “wellicht wat stellig” genoemd: “Tories wippen over Labour in de peilingen”.

Zoals hoger vermeld zijn beide uitspraken omwille van de betrouwbaarheidsintervallen problematisch.

Not all graphs are equal?

Daar gewoon over stappen door te stellen dat het grafiekje maar “klein, links onderaan de pagina” staat, enkel ter illustratie van een deeltje van het hele artikel, vind ik nogal vreemd.

Dat is eigenlijk zeggen dat enkel voor grote grafieken die de hoofdboodschap van een artikel moeten staven, moet gewaakt worden dat ze de werkelijkheid weerspiegelen en het “ware” verhaal vertellen. Bij kleine grafiekjes steekt dat allemaal dus niet zo nauw.

Maar ok, misschien heb ik wel “de tunnelvisie van de dataspecialist” (wat ik eerder een voordeel dan een nadeel en een compliment vind) en moet ik, samen met iedereen met een notie van statistiek, dit maar door de vingers zien.

Op heel glad ijs

Maar wat ik eigenlijk veel erger vind, is dat Naegels niet ingaat op het tweede deel van mijn kritiek. Een deel van een grafiek werd uitgegomd en simpelweg hertekend op basis van andere gegevens. Ik vermoed dat de maker van de grafiek niet begrepen had dat het oorspronkelijk om 2 verschillende grafieken ging en vond hij het veel mooier om de ene grafiek als een uitvergroting uit de andere grafiek te laten springen, wat op het origineel niet het geval was.

Een grafiek werd dus gewoon hertekend, data werd vervangen door andere data, omdat het toevallig beter uitkwam. Naegels ziet er op Twitter weinig graten in: het hele verhaal over de cijfers zou leiden tot statistische technicaliteiten, die toch niets aan het verhaal zouden wijzigen. Het is ook geen “gesjoemel” volgens hem, aangezien er bij de grafiek helemaal niet wordt vermeld of het om moving averages dan wel dagelijkse cijfers gaat.

Maar zo begeven we ons op wel heel glad ijs. Waar trek je dan de grens? Op die manier kan je namelijk eender welke cijfers en grafieken bij een verhaal plaatsen. Te ingewikkelde cijfers (voor lezer of journalist)? Geen probleem: we hoeven het toch niet uit te leggen. Grafiek ziet er niet uit zoals gewenst? Ook geen probleem: we hertekenen even, het wijzigt toch niets aan het verhaal. En: we zetten het maar even links onderaan de pagina, dan maakt het toch niet veel uit.

Oplossing

De beste manier om dergelijke fouten te vermijden is geen grafieken over te tekenen (wat veel te vaak gebeurt), maar te vertrekken van de brondata zelf. Met de data voor zich had de maker van de grafiek een veel beter beeld gehad van wat de cijfers nu juist betekenen en had hij (hopelijk) niet de neiging gehad om de 2 grafieken door elkaar te halen. Het probleem met het interpreteren van peilingresultaten is een heel andere discussie. Lees daarover het uitstekende De peilingencarrousel draait door.

Door niet over te tekenen maar de grafiek zelf te genereren vanuit de data, vermijd je ook de fout waar ik zelf nog had overgekeken: de labels van UKIP en LIBDEMS werden omgewisseld op de grafiek. Het is wat tekenend dat voor deze fout (wat niet meer is dan een eenvoudige vergissing) een rechtzetting wordt gepubliceerd in de krant en op de website, terwijl aan de echt journalistieke fouten (het ontbreken van relevante, statistische duiding en het hertekenen van een deel van een grafiek met andere data) een draai wordt gegeven alsof het voor de lezer toch allemaal te ingewikkeld is en het voor hem of haar toch niet uitmaakt.

Zo, tot zover mijn kritiek op andere media, nu tijd voor eigen werk. Ik leerde uit de hele discussie in elk geval de gevaren van het overtekenen van grafieken, een waarschuwing hierover zal ik vanaf nu dan ook meegeven aan ieder die zich door mij iets wil laten bijbrengen over datavisualisatie.

1 Comment

  1. Armen Hakhverdian

    Merkwaardige reactie van de ombudsman. Die grafiek geeft een verkeerde voorstelling van zaken, helemaal in combinatie met die titel. Punt. De politieke krachtsverhoudingen in het VK zien er op basis van een grote verzameling polls als volgt uit: http://blog.policy.manchester.ac.uk/featured/2014/10/polling-observatory-41-opinion-stable-for-now-but-election-battle-lines-are-being-drawn/. Wat mij betreft gaat het niet zo zeer om het feit dat die grafiek een detail is in het grotere verhaal, maar waarom de journalist denkt die grafiek nodig te hebben in zijn betoog. Dat is wat mij altijd zo verwondert. Ofwel hij snapt geen bal van statistiek (wat ik hoop en denk dat niet waar is), ofwel hij snapt het wel, maar het boeit hem gewoon niet zo. Hoe dan ook, het is verkeerd. En als de krant een rectificatie plaatst omdat labels zijn omgeruild, zou je ook een rectificatie moeten plaatsen voor de verkeerde titel van de grafiek. Ook al is het een detail.

Add Comment

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *