Wéér te gretig statistiek aan de kant gezet

Naar aanleiding van mijn blogbericht over een grafiek die verscheen in de weekendkrant van De Standaard, schreef de ombudsman van De Standaard, Tom Naegels, een repliek: Wéér te gretig in een peiling getrapt?. Ik schrijf hier een repliek op de repliek.

De bewuste grafiek.

De bewuste grafiek.

Even ter opfrissing, de boodschap van mijn kritiek:

  • een peiling met resultaten die niet buiten de betrouwbaarheidsintervallen vallen, gebruik je beter niet om trends aan te tonen, aangezien de verschillen niet significant zijn. Bij een peiling onder dezelfde bevolking op hetzelfde moment kunnen de resultaten namelijk net zo goed omgekeerd zijn.
  • de grafiek werd overgetekend van een grafiek van het bureau dat de peiling uitvoerde. Daarbij werd van een van de grafieken het rechtereinde vervangen door andere gegevens (technisch: een moving average, dat stabieler is over langere periodes, werd vervangen door het dagelijks gemiddelde, dat veel volatieler is)

De kernboodschap van de repliek van Tom Naegels:

“Ik denk dus dat Maarten Lambrechts in dit geval last had van de tunnelvisie van een dataspecialist. Door louter te focussen op die ene grafiek, los van de context van het hele stuk, deed hij het uitschijnen alsof De Standaard als een gebuisde eerstejaarsstudent statistiek zijn nieuws had opgehangen aan een verwaarloosbaar verschil van 1%. Terwijl deze grafiek slechts een element was in een bredere analyse, en er bovendien relevantere zaken uit werden gebruikt dan die ene procent.”

Waarom ik er over schreef

Ik focuste me inderdaad op de grafiek, dat is nu eenmaal wat ik doe: ik evalueer visualisaties. Maar ik lees uiteraard ook telkens het artikel waar de grafiek bij is gevoegd. Twee zaken maakten dat ik, ondanks een voornemen om me meer op mijn eigen werk en minder op dat van wat nu “de concurrentie” is te richten, toch besloot over de grafiek te schrijven:

  1. Nergens wordt in de tekst melding gemaakt van betrouwbaarheidsintervallen (of de “foutenmarge” zoals dat meestal in de pers genoemd wordt). Er is staat letterlijk “… raakte gisteren bekend dat de Conservatieven opnieuw – voor het eerst sinds maart 2012 – aan de leiding liggen in de peilingen. In een poll van YouGov halen de Tories 35 %, tegenover 34 % voor Labour.
  2. De titel van de grafiek, door Naegels “wellicht wat stellig” genoemd: “Tories wippen over Labour in de peilingen”.

Zoals hoger vermeld zijn beide uitspraken omwille van de betrouwbaarheidsintervallen problematisch.

Not all graphs are equal?

Daar gewoon over stappen door te stellen dat het grafiekje maar “klein, links onderaan de pagina” staat, enkel ter illustratie van een deeltje van het hele artikel, vind ik nogal vreemd.

Dat is eigenlijk zeggen dat enkel voor grote grafieken die de hoofdboodschap van een artikel moeten staven, moet gewaakt worden dat ze de werkelijkheid weerspiegelen en het “ware” verhaal vertellen. Bij kleine grafiekjes steekt dat allemaal dus niet zo nauw.

Maar ok, misschien heb ik wel “de tunnelvisie van de dataspecialist” (wat ik eerder een voordeel dan een nadeel en een compliment vind) en moet ik, samen met iedereen met een notie van statistiek, dit maar door de vingers zien.

Op heel glad ijs

Maar wat ik eigenlijk veel erger vind, is dat Naegels niet ingaat op het tweede deel van mijn kritiek. Een deel van een grafiek werd uitgegomd en simpelweg hertekend op basis van andere gegevens. Ik vermoed dat de maker van de grafiek niet begrepen had dat het oorspronkelijk om 2 verschillende grafieken ging en vond hij het veel mooier om de ene grafiek als een uitvergroting uit de andere grafiek te laten springen, wat op het origineel niet het geval was.

Een grafiek werd dus gewoon hertekend, data werd vervangen door andere data, omdat het toevallig beter uitkwam. Naegels ziet er op Twitter weinig graten in: het hele verhaal over de cijfers zou leiden tot statistische technicaliteiten, die toch niets aan het verhaal zouden wijzigen. Het is ook geen “gesjoemel” volgens hem, aangezien er bij de grafiek helemaal niet wordt vermeld of het om moving averages dan wel dagelijkse cijfers gaat.

Maar zo begeven we ons op wel heel glad ijs. Waar trek je dan de grens? Op die manier kan je namelijk eender welke cijfers en grafieken bij een verhaal plaatsen. Te ingewikkelde cijfers (voor lezer of journalist)? Geen probleem: we hoeven het toch niet uit te leggen. Grafiek ziet er niet uit zoals gewenst? Ook geen probleem: we hertekenen even, het wijzigt toch niets aan het verhaal. En: we zetten het maar even links onderaan de pagina, dan maakt het toch niet veel uit.

Oplossing

De beste manier om dergelijke fouten te vermijden is geen grafieken over te tekenen (wat veel te vaak gebeurt), maar te vertrekken van de brondata zelf. Met de data voor zich had de maker van de grafiek een veel beter beeld gehad van wat de cijfers nu juist betekenen en had hij (hopelijk) niet de neiging gehad om de 2 grafieken door elkaar te halen. Het probleem met het interpreteren van peilingresultaten is een heel andere discussie. Lees daarover het uitstekende De peilingencarrousel draait door.

Door niet over te tekenen maar de grafiek zelf te genereren vanuit de data, vermijd je ook de fout waar ik zelf nog had overgekeken: de labels van UKIP en LIBDEMS werden omgewisseld op de grafiek. Het is wat tekenend dat voor deze fout (wat niet meer is dan een eenvoudige vergissing) een rechtzetting wordt gepubliceerd in de krant en op de website, terwijl aan de echt journalistieke fouten (het ontbreken van relevante, statistische duiding en het hertekenen van een deel van een grafiek met andere data) een draai wordt gegeven alsof het voor de lezer toch allemaal te ingewikkeld is en het voor hem of haar toch niet uitmaakt.

Zo, tot zover mijn kritiek op andere media, nu tijd voor eigen werk. Ik leerde uit de hele discussie in elk geval de gevaren van het overtekenen van grafieken, een waarschuwing hierover zal ik vanaf nu dan ook meegeven aan ieder die zich door mij iets wil laten bijbrengen over datavisualisatie.

Wanneer je beter geen grafiek publiceert

Vandaag in De Standaard, het artikel Cameron roert anti-Europese trom (bis) (paywall), vergezeld van volgende grafiek:

IMG_0650

Daar word ik dus echt moe van. Iedereen met een notie van statistiek hoort bij een verschil van 1 procent in de peilingen meteen al alle alarmbellen afgaan. Een dergelijk verschil kan in een volgende peiling helemaal omgedraaid zijn zonder dat de mening van de populatie veranderd is. Maar zelfs The Guardian valt er voor.

Sampling error

Daarom dacht ik: even die betrouwbaarheidsintervallen checken (het artikel van The Guardian meldt dat er 2.133 Britse volwassenen werden bevraagd). Maar dat bleek zelfs niet nodig. Op de site van het peilingenbureau Yougov vond ik de volgende passage over dit peilingresultaat (de nadruk is van mij):

On its own, a single poll should be regarded with some care. A one-point lead is well within sampling error; and YouGov has frequently reported very small Labour leads in recent weeks. Our latest figures are not so very different from those. Or, the poll may be a blip, reflecting a real but short-lived boost for the Tories following their party’s annual conference and David Cameron’s well-received speech. The days ahead will tell us whether there has been a lasting shift in perceptions of the parties seven months ahead of next year’s election.

Vrij vertaald: deze peiling bewijst niets, hopelijk zijn de verschillen bij de polls van de volgende dagen groter, zodat we wel iets te vertellen zullen hebben. Niet echt materiaal om een artikel of een grafiek in de krant aan te wijden, dus.

Terzijde: volgens mijn berekeningen is het betrouwbaarheidsinterval (95 %) gelijk aan ongeveer +/- 2 %.

Fout overgetekend

De grafiek bij het artikel van Yougov leek me meteen wel heel vertrouwd:

YGVI

Er is echter een verschil tussen beide grafieken: die van Yougov geeft aan dat de grafiek over de lange termijn een Rolling average (voortschrijdend gemiddelde) betreft. De kleine grafiek geeft een Daily % weer. Dat is ook de rede waarom de blauwe en en rode lijn op de grote grafiek op het einde elkaar niet kruisen en deze op de kleine grafiek wel.

Dit onderscheid wordt in De Standaard niet gemaakt. De grote grafiek wordt simpelweg overgetekend, met uitzondering van het rechtereinde: daar wordt deze gewoon aangepast om in overeenstemming te zijn met de dagelijkse gegevens. Nergens wordt melding gemaakt van een voortschrijdend gemiddelde of van dagelijkse percentages.

In mijn ogen dus een overbodige grafiek, die dan nog eens fout wordt overgetekend omdat de oorspronkelijke grafiek niet goed werd begrepen. Behoorlijk fout, als je het mij vraagt.

Laat de politieke stromen stromen

Hoe stromen kiezers tussen de verkiezingen van de ene naar de andere partij? Een studie, resultaat van een samenwerking van meerdere universiteiten, wijst het uit. Kiezers zijn niet echt honkvast en wisselden tussen de verkiezingen van 2010 en 2014 flink van voorkeur.

Om de resultaten van het onderzoek te visualiseren, koos De Standaard voor donutjes:

kiezersstromen_standaard

 

De Morgen kiest voor gestapelde staven:

politiekestromen_DM

Beide grafieken geven mooi weer hoe de kiezers bewogen per partij. Maar wat ontbreekt is het algemene overzicht. En je hebt ook geen idee van de onderlinge verhoudingen tussen de partijen, aangezien alle partijen als 100 % worden voorgesteld. Dit vertekent het beeld: kleine partijen krijgen veel meer visuele ruimte dan ze eigenlijk verdienen.

Sankey

Het kostte me wat moeite, maar uiteindelijk vond ik toch het brondocument van de cijfers. Door de cijfers van de verkiezingsresultaten te combineren met de cijfers van de in- en uitstroom van elke partij, kon ik een stroomdiagram (of Sankey-diagram) maken:

PolitiekeVerschuivingen

Met deze visualisatie krijg je wel een algemeen beeld van het hele plaatje (misschien wat te druk, ik geef het toe) en worden de verhoudingen tussen de partijen wel gerespecteerd.

Binnenkort

Met wat meer tijd zou ik nog wat datalabels en wat interactiviteit toevoegen (voor het uitlichten van partijen, bijvoorbeeld, en voor het raadpleegbaar maken van de cijfers), maar voor nu blijft het bij deze schets.

Vanaf volgende week, echter, zal ik dergelijke grafieken maken voor De Tijd en L’Echo. Het bekritiseren van visualisaties uit andere media zal vanaf dan op deze blog op een lager pitje gezet worden (tenzij er bepaalde grenzen overschreden worden, natuurlijk). Ik zal me in de toekomst vooral concentreren op mijn eigen werk.

De Morgen vergeet inspiratiebronvermelding

Vandaag pakt De Morgen op de voorpagina uit met een visualisatie van 179 kinderen uit Gaza die omkwamen onder Israëlisch vuur.

DM_voorpagina_20140728_Gaza

Voorpgagina_DM_20140728_Gaza_detail

Er ging een belletje rinkelen. Een paar dagen geleden had ik iets gelijkaardig gezien: Revealed: the Palestian children killed by Israeli forces, op telegraph.co.uk.

gaza_telegraph

De kleine lettertjes onderaan de voorpagina van De Morgen:

Grafiek De Morgen
Bron Al Mezan Center for Human Rights

Zou het niet eerlijker en correcter zijn om naast de databron ook de inspiratiebron te vermelden?

De Morgen slordig met cijfers

Grafieken en cijfers bij artikels in de krant: het hoeft hier geen betoog dat ik daar een absolute voorstander van ben. Helaas wordt daar vaak slordig mee omgesprongen. Een voorbeeld is De Morgen van vandaag.

Chinese zelfmoorden

Op pagina 7 worden 2 tot de verbeelding sprekende cijfers over zelfmoorden onder Chinese vrouwen getoond.

DM_zelfdodingchina

Straffe cijfers. Maar zijn die cijfers voor de tweede helft van de jaren negentig voor de hele periode? Of gaat het om jaarlijkse cijfers? Zeer waarschijnlijk gaat het om jaarlijkse cijfers, maar dat valt uit de illustratie noch uit de tekst op te maken.

Moest het toch gaan over de hele periode, dan is de daling veel minder spectaculair: van gemiddeld 7,6 zelfdodingen per 100.000 vrouwen per jaar naar 3.

 Migranten in België

Op pagina’s 11 tot 13 wordt het voorpagina-artikel Migrant blijft te arm en te laag geschoold uitgediept met heel wat grafieken. In deze grafieken slopen echter een paar foutjes en onzorgvuldigheden.

Een van de grafieken zou moeten aantonen dat de migrantenbevolking jonger is dan de autochtone bevolking.

DM_migrantenleeftijd

Als er een les 1 in datavisualisatie zou bestaan, zou het voor mij deze zijn: eenheden, eenheden en eenheden. Zonder vermelding van de eenheden is een grafiek betekenisloos. Het correct inschatten van het verschil tussen de autochtone en de migrantenbevolking tussen 25 en 45 jaar (de rode ‘berg’ boven de zwarte lijn) is onmogelijk zonder de juiste eenheden.

Waarschijnlijk gaat het om percentages binnen de relatieve bevolkingsgroepen. Maar zeker weten we dat dus niet. Voor het weergeven van dit verschijnsel zou ik opteren voor een bevolkingspiramide, die tegelijk ook aantoont hoe de absolute cijfers zich verhouden (helaas vond ik de cijfers niet dadelijk terug en kon ik deze piramide niet maken).

Foutje

De laatste grafiek uit het artikel illustreert de onderwijsgraad van migranten en autochtonen. Hier loopt het ook fout.

DM_migrantenopleidingsprofiel

Volgens de grafiek is het percentage migranten zonder diploma lager dan het percentage autochtonen zonder diploma, wat in werkelijkheid omgekeerd is. De lijnen op de linkse grafiek hebben dus de foute kleur gekregen.

Maar er is nog iets aan de hand. De som van de percentages voor autochtonen bedraagt telkens 100 %, zoals mag verwacht worden (tenminste als je er van uitgaat dat het gaat om het hoogst behaalde diploma, wat niet expliciet wordt vermeld). Maar de percentages voor migranten komen opgeteld telkens uit op meer dan 103 procent. Met deze cijfers is dus ook iets niet in de haak.

Zorgvuldigheid en geloofwaardigheid

Spelfouten (en zelfs tikfouten) in nieuwsmedia tasten de geloofwaardigheid van een medium aan. Niet echt rationeel, want iedereen maakt wel eens dergelijke foutjes, maar het is wel de realiteit.

Fouten en onzorgvuldigheden in grafieken en cijfers hebben hetzelfde effect: hoe kan je vertrouwen hebben in een artikel als de grafieken erbij heel wat fouten vertonen? Een journalist die de feiten in zijn artikel dubbelcheckt en in zijn tekst alle dubbelzinnigheden en onzorgvuldigheden vermijdt, ziet zijn inspanningen als een kind met het badwater weggegooid worden door fouten in de cijfers en grafieken.

Wat meer aandacht en zorgvuldigheid bij het maken van grafieken zou De Morgen niet misstaan. Het is immers niet de eerste keer dat het misgaat bij de grafieken in deze krant.

Grafiek redesign in Excel: de rode kaarten van Sporza

Redesigns zijn een van mijn favoriete disciplines in datavisualisatie. Een grafiek opnieuw (en beter) ontwerpen is enorm lerrijk. In mijn presentatie over datavisualisatie die ik mocht geven voor de Dag van de Boekhouder enkele maanden geleden stopte ik ook een redesign. Omdat het materiaal toch maar mos lag te kweken op mijn harde schijf, geef ik deze hier nu in uitgeschreven vorm. De redesign werd volledig gemaakt in Excel.

Origineel

Dit is het origineel, eind oktober 2013 geplukt van sporza.be.

rodekaartensporza_org

Er loopt heel wat mis met deze grafiek, zoals verderop duidelijk zal worden. Om dit te illustreren zou je eens kunnen timen hoeveel tijd je nodig hebt voor het beantwoorden van volgende eenvoudige vraag: wie incasseerde tot op dat moment in de competitie de meeste rode kaarten, Anderlecht of Cercle Brugge? Uw tijd gaat nu in.

Default Excel

Zoals bij iedere redesign was het eerst zaak om eerst de data in handen te krijgen. Aflezen en in Excel gooien was de boodschap. Een staafgrafiek met de Excel standaardinstellingen ziet er zo uit:

rodekaartensporza1

De standaardinstellingen van Excel zijn berucht voor het overtreden van de basisregels van goede datavisualisatie, maar toch slaagt Excel er in om 1 van de grootste problemen van de originele grafiek op te lossen: de legende is verdwenen en de namen van de ploegen staan direct onder de staven.

De legende die Excel er nog bij plaatste, met slechts 1 item, is nu overbodig en laten we weg:

rodekaartensporza2

Alle ruimte gebruiken

Wat Excel niet goed deed is de grafiek alle ruimte geven: de grootste waarde in de data is 5 terwijl de grafiek tot 6 gaat. Dit herstellen we:

rodekaartensporza3

Sorteren

Om de grafiek beter leesbaar te maken, veranderen we de sortering van de staven. In het origineel staan de clubs gesorteerd volgens de ranking in de competitiestand op dat moment, maar mij lijkt een rangschikking naar het aantal ontvangen rode kaarten meer zinvol:

rodekaartensporza4

Stijve-nekgrafiek

Stijve-nekgrafieken zijn een ware plaag. Ook het origineel van Sporza is een stijve-nekgrafiek: een grafiek waarbij je als lezer je hoofd (of de krant/tablet/scherm) moet draaien om de labels goed te kunnen lezen. Met een simpele truc is dat zo opgelost: zet de staven horizontaal, zodat ook de tekst horizontaal kan.

Naast het voorkomen van een stijve nek, heeft dit (mits een goede sortering) nog een bijkomend voordeel: de data worden nu weergegeven als een echte rangschikking, met de clubs met de meeste rode kaarten bovenaan en die met de minste onderaan.

rodekaartensporza5

Kleur

In het origineel krijgen de staven de dominante kleur van de uitrusting van de clubs. Niet zo’n goed idee, aangezien dit aanleiding geeft tot drie tinten groen, drie tinten blauw en vier tinten rood. Zelfs niet-kleurenblinden lopen hierin verloren.

Standaard gebruikt Excel een blauw met een kleurverloop voor de staven, met wat schaduw als extra. Dit verving ik door een plat grijs, zodat later met kleur meer accent kan gegeven worden. Ook maakte ik de staven wat dikker.

rodekaartensporza6

Directe labeling

Hoewel het in dit geval, met behoorlijk wat clubs met hetzelfde aantal rode kaarten, niet echt nodig is, is het wel een goede praktijk om staven direct te labelen met hun datawaarde.

rodekaartensporza7

Dan worden de verticale hulplijnen overbodig:

rodekaartensporza8

En de X-as in zijn geheel eigenlijk ook:

rodekaartensporza9

Y-as

De Y-as heeft ook geen functie en kan ook zonder probleem verwijderd worden:

rodekaartensporza10

Anderlecht

Stel nu dat de grafiek bedoeld is voor het supportersblad van Anderlecht. Dan is het uiteraard een goed idee om de supporters/lezers visueel direct naar de staaf van hun geliefde club te leiden (en ja, dat doen we hier met de clubkleuren:-)

rodekaartensporza11

The proof is in the viewing

Ziezo, een heel pak beter. Of kan u misschien nog eens timen hoe lang het duurt om na te gaan of het nu Cercle of Anderlecht was dat de meeste rode kaarten slikte?

Om de grafiek echt publiceerbaar te maken, komen er best nog een titel en lead bij. Voor publicatie op een nieuwssite zou ik ten slotte het kleurtje van Anderlecht achterwege laten en simpelweg de clubs met het hoogste en laagte aantal rode kaarten benadrukken:

rodekaartensporza13

 

Datavisualisatie in de Vlaamse kwaliteitsmedia: kopie is king

Vaak probeer ik na te gaan hoe ideeën voor visualisaties tot stand komen. Voor grafieken in de media check ik zo wel eens de bron van een grafiek. Zo moet ik helaas vaststellen dat Knack, De Morgen en De Standaard niet vies zijn van wat kopieerwerk en niet altijd aan correcte bronvermelding doen.

Knack

Als eerste: het plagiaat in Knack van vorige week, dat ik hier niet ga hernemen.

De volgende, uit de Knack van 15 januari:

hoofddoek_knackPlus: bronvermelding van de cijfers.

Min: idee voor grabel/tafiek (tabel met grafische elementen er in verwerkt), zonder bronvermelding, gehaald bij PEW:

FT_styleofdress1314

(Door @thumbsupviz geselecteerd als “Maybe the best chart we’ve posted”, waar ik me wel enigszins in kan vinden.)

De Standaard

Uit De Standaard van 11 december 2013:

lonen_destandaard

Plus: relevant onderwerp

Min: teveel data (Wat is het verhaal hier? Wie is er geïnteresseerd in de stijging van de lonen in Oman?), gebruik van cirkel verplicht lezer om zijn hoofd/krant/tablet te draaien en vooral: het is een kopie van een grafiek uit het originele rapport.

(Door @WTFViz als slechte grafiek geselecteerd onder de titel Breaking the mold, inzending door ondergetekende)

Origineel:

Salary-forecast-2014-haygroup

Straf dat De Standaard onder zijn grafiek als credit “DS Infografiek – Bron:www.atrium.haygroup.com”  zet, terwijl ze enkel kopiëren, vertalen en België er uit lichten. Ok, ze corrigeren wel de gebroken assen voor Argentinië en Venezuela. Twee outliers waar ze dan weer niks over zeggen in de begeleidende tekst.

De Morgen

Gisteren in De Morgen: twee grafieken die ik ook al eerder had gezien:

lego_demorgen_1

lego_demorgen_2

Plus: originele grafiek, maar het gaat om een letterlijke kopie.

Min: De Morgen laat hier de kans liggen om het uitstekende origineel nog te verbeteren door de gebroken y-as voor de staaf van Star Wars te herstellen. Hier was ruimte voor in de krant. En natuurlijk de credits: “© Gafiek (sic) Wired”. In mijn ogen zouden hier ook de bron van de data zelf vermeld moeten worden.

Origineel:

lego_wired_1

lego_wired_2jpg

Conclusie

Mijn boodschap bij deze zoektocht naar de oorspronkelijke grafieken in de Vlaamse kwaliteitsmedia:

  • goede bronvermelding voor de inspiratie of voor de vorm van een grafiek ontbreekt vaak. Bijna altijd is het idee en de basisvorm voor een grafiek doorslaggevend voor de kwaliteit ervan. Geef de oorspronkelijke auteur hier dan ook credits voor.
  • pretendeer niet zelf de grafiek te hebben bedacht als dat niet het geval is.
  • kopieer geen slechte visualisatie-ideeën en -fouten.
  • probeer zelf eens verder te gaan dan het kopiëren van buitenlandse voorbeelden.

Ok, tot zover mijn kritiek op andermans werk. Mijn volgende blogbericht zal over mijn eigen werk gaan. Beloofd.

Knack pikt datavisualisatie bij Buzzfeed

Gemengde gevoelens bij een visualisatie in de Knack van deze week.

Eerst was ik enthousiast. Want er stond een scatterplot in Knack! Scatterplots, of puntenwolken, zijn een effectieve visualisatievorm om 2 variabelen en hun onderling verband weer te geven. Ze worden volgens mij nog onderbenut in de media. Goed dus dat Knack er eentje publiceerde.

knack_copy

Als lezer bleef ik wel wat op mijn honger zitten. Wat moest ik nu concluderen uit deze scatterplot? Dat er geen enkele relatie is tussen schoolresultaten en gelukkige leerlingen? Daar lijkt het wel op, aangezien de vier kwadranten ongeveer even gevuld zijn.

Ook lijken er geografische patronen in te zitten (de landen met de beste schoolresultaten liggen allemaal in Azië, minder gelukkige leerlingen vinden we vooral in Oost- en Zuid-Europa), maar hier wordt in de grafiek noch in de begeleidende tekst op ingegaan.

En aangezien er geen eenheden worden weergeven, kan je als lezer ook niet uitmaken hoe groot de verschillen echt zijn (verder meer hierover).

Plagiaat

Maar er zijn meer problemen met deze visualisatie. Zoals ik wel vaker doe, probeerde ik na te gaan waar het idee voor de visualisatie vandaan kwam. De tekst bij de grafiek zegt:

Een goed onderwijssysteem betekent nog niet dat er gelukkige kindjes op de banken zitten. Bij de OESO, een internationale overheidsorganisatie die sociaal-economisch beleidsonderzoek verricht, vroegen ze zich af welke landen beide voor elkaar krijgen. De organisatie combineerde de resultaten van kennistests over wiskunde, lezen en wetenschap bij 15-jarigen met een onderzoek rond de vraag ‘ben je gelukkig op school?’.

Het zou dus de OESO zelf zijn geweest die de scatterplot initieel bedacht en maakte. Maar daar vond ik nergens een spoor van terug, ook niet in het OESO-rapport met de resultaten van het onderzoek.

Wat ik wel vond: een grafiek op Buzzfeed, die wel heel erg lijkt op die van Knack:

buzzfeed_org

Net een paar dagen geleden mengde ik me in een Twitterdebat over datavisualisaties en plagiaat, naar aanleiding van een copycat met berouw over zijn kopieerwerk. Zelf vroeg ik me ook af of ik met mijn Hoe de wereld ontwikkelde over een rode lijn was gegaan door mij te inspireren op Life Expectancy Changes.

Het antwoord van professor Alberto Cairo, authoriteit op het vlak van datavisualisatie, was gelukkig duidelijk:

tweet_cairo

Goed: mijn geweten gesust en weer iets bijgeleerd. Maar hoe zit dat bij Knack?

  1. Structuur: is dezelfde als bij het origineel. Zelfs de kleuren, de achtergrond en de assen (plus de arm/hand van de leerkracht!) zijn nagenoeg identiek.
  2. Data: de grafiek is gewoon overgetekend, de data zijn identiek.
  3. Begeleidende tekst: is uiteraard niet dezelfde, aangezien het origineel in het Engels was. Zowel titel als tekst pikken België er uit, wat natuurlijk niet bij het origineel gebeurde.

Op 2 van deze 3 criteria luidt het oordeel dus: kopieerwerk. Mits een goede bronvermelding (enkel de OESO wordt als bron geciteerd) en met toestemming van de auteur kon het misschien nog door de beugel, maar voor mij is dit gewoon plagiaat.

Maar het wordt nog erger.

Ranking in plaats van scores

Bij het origineel vinden we de volgende beschrijving (mijn markering):

Happiness was ranked based on the percentage of students who agreed or disagreed with the statement “I feel happy at school.” Test scores were ranked based on the combined individual rankings of the students’ math, reading, and science scores.

Er werd dus geen gebruik gemaakt van de echte scores en percentages van ieder land, wel van de plaats op de ranglijst van ieder land. Dat is ook goed te zien op de grafiek: geen enkel land situeert zich op dezelfde hoogte of dezelfde horizontale positie als een ander land. Kijk bijvoorbeeld naar Oostenrijk-Australië en Estland-Finland (beiden in het kwadrant linksboven): zij volgen elkaar netjes op op beide rankings, waardoor hun symbooltjes netjes naast elkaar staan.

Geen enkel ander land staat op dezelfde lijn als een ander. De 4 landen in de rechtopstaande rechthoek hebben in realiteit hetzelfde aandeel gelukkige leerlingen.

Geen enkel ander land staat op dezelfde lijn als een ander. De 4 landen in de rechtopstaande rechthoek hebben in realiteit hetzelfde aandeel gelukkige leerlingen.

Volgens de originele data zegt 80 procent van de ondervraagde 15-jarigen in zowel Hongarije, Oostenrijk, Luxemberg als Australia akkoord te gaan met de stelling dat ze gelukkig zijn op school. Deze landen zouden dus op dezelfde verticale lijn moeten gepositioneerd staan. Door de ranking te gebruiken in plaats van de echte score, gebeurt dit niet (hoewel op een ranking een gelijke score eigenlijk een ex aequo zou moeten zijn).

Bijkomend probleem: het minimumpercentage gelukkige leerlingen bedraagt nog steeds 60 procent in Zuid-Korea. Zoals de grafiek nu is getekend, lijkt het alsof de leerlingen in dat land doodongelukkig op de schoolbanken zitten. Iets wat op zijn minst te nuanceren valt.

Slechte beurt

Door een gekopieerde grafiek te publiceren zonder bronvermelding, wat neerkomt op plagiaat, en met overname van de fouten uit het origineel, maakt Knack voor mij hier toch een heel slechte beurt. Knack maakt van datavisualisatie een vast item op zijn pagina’s, maar zou toch echt wat origineler en correcter uit de hoek moeten komen.

De Morgen goochelt met ballen

Grafieken en visualisaties op voorpagina’s: het gebeurt veel te weinig. De enige die het in het Vlaamse medialandschap regelmatig doet, is De Morgen. Helaas maakt deze krant de ene na de andere visualisatiefout. Vandaag was het weer van dat.

Het hoofdartikel op de voorpagina gaat over besparingen op het sportbudget door de Vlaamse gemeenten. 130 van de 308 gemeenten beantwoordden een enquête van het Vlaams Instituut voor Sportbeheer en Recreatiebeleid over investeringen in sport. Daaruit moet blijken dat het aandeel gemeenten dat bespaart op sport ten opzichte van 2013 toeneemt van 37,7 procent naar 69,2 procent.

  demorgencirkels

Nog los van het feit dat nergens gewag wordt gemaakt van betrouwbaarheidsintervallen (volgens mijn snelle berekeningen ongeveer +/- 6 procent), wil ik het hier hebben over de visualisatievorm.

De Morgen kiest voor het vergelijken van cirkels. Op zich al ongelukkig: onze hersenen zijn niet goed uitgerust om oppervlaktes goed in te schatten en al helemaal niet als het gaat over cirkels. Staafjes, of nog beter: een hellingsgrafiek, waren hier meer aangewezen.

Verhoudingen opgeblazen

Maar De Morgen koos dus voor cirkels. Een klassieke fout hierbij is om niet de oppervlakte van de cirkels te gebruiken om te vergelijken, maar wel de straal van de cirkels. Hierdoor worden verschillen opgeblazen en verhoudingen vertekend.

Dit gebeurt ook bij de grafiek van De Morgen: hoewel het percentage voor 2014 (69,2) minder dan het dubbele bedraagt van dat van 2013 (37,7), past de blauwe cirkel duidelijk meer dan 2 keer in de rode.

Laten we dat eens verder visueel onderzoeken. Eerst verwijderen we de overlapping.

demorgencirkels_nooverlap

Dan bekijken we de straal van beide cirkels.

demorgencirkels_stralen

Als we enkel de stralen bekijken, dan zien we dat de waarde voor dit jaar net wat minder dan twee keer de waarde bedraagt van deze van vorig jaar, wat overeenkomt met de cijfers. Een staafgrafiek zou zo dus de cijfers waarheidsgetrouw weergeven.

demorgencirkels_staven

Maar er worden cirkels gebruikt en als we de cirkels over elkaar leggen, dan zien we dat de blauwe meer dan 3 keer in de rode passen.

demorgencirkels_allcirkels

Hoe komt dat? Voor wie het zich niet meer uit de middelbare school herinnert: de oppervlakte van een cirkel is gelijk aan π*r². Als we in dit geval 10 % gelijk stellen aan 1 cm, dan wordt de oppervlakte van de blauwe cirkel: 3,14*3,77² = 44,6 vierkante centimeter. Deze voor de rode cirkel: 3,14*6,92² = 150,4 vierkante centimeter. De verhouding tussen de oppervlaktes van beide cirkels is 150,4/44,6 = 3,38.

De grafiek doet het dus lijken alsof het aantal op sport besparende gemeenten dit jaar meer dan 3,3 keer groter is dan het aantal van vorig jaar. Een pure visuele leugen, wat mij betreft, want in werkelijkheid is de verhouding gelijk aan 1,84.

Datavisualisatie voor boekhouders I: de sprekende jaarrekening

De voorbije twee vrijdagen had ik het genoegen om voor een publiek van boekhouders een uurtje te mogen spreken over datavisualisatie. Boekhouders zijn uiteraard de cijferaars bij uitstek en ik vond dan ook een geïnteresseerd luisterend oor. Maar ik was ook verrast door het grote onbenutte potentieel voor (goede) datavisualisatie in de boekhoudkunde. In twee delen geef ik suggesties voor hoe in de boekhoudkunde visualisatie een rol zou kunnen spelen.

Onbenut potentieel

In de voorbereiding van mijn keynote nam ik de jaarrekening onder de loep. Voor de niet-boekhouders onder u: de jaarrekening geeft de staat weer waarin een bedrijf zich op het einde van het (boek)jaar bevindt. De jaarrekening omvat de boekhoudkundige balans (activa en passiva) en de bedrijfsresultaten.

Zoals je ziet, is een blanco jaarrekening eigenlijk een invulformulier.

blankejaarrekening

Dit ligt volgens mij ook aan de basis van het nog grote onbenutte potentieel voor datavisualisatie in de boekhouding: de jaarrekening is bedoeld om cijfers in te stoppen, niet om cijfers er uit te laten springen en te laten spreken. In wat volgt probeer ik daar verandering in te brengen.

Als voorbeeld nam ik de jaarrekening van de Onderneming van het jaar, Bouwbedrijf Willemen uit Mechelen. De activa uit deze jaarrekening zien er zo uit.

jaarrekening_willemen_gc_2012_activa_crop

Laten we de activa uit deze jaarrekening eens stap voor stap visueel verrijken.

1. Overbodige randen

Wat me dadelijk opviel is de grote afstand tussen de rubrieken links en de bedragen in de tabel, waar het uiteindelijk toch om gaat. Om de bedragen goed te kunnen aflezen heb je bijna een meetlat nodig.

Bovendien bemoeilijken de verticale tabelranden het horizontaal scannen tussen de rubrieken en de bedragen. Dus het eerste wat ik deed was simpelweg het verwijderen van de tabelranden, wat een luchtiger en beter leesbaar resultaat oplevert.

jaarrekening_willemen_gc_2012_activa_1zonderranden_crop

2. Kolommen schudden

Daarna schudde ik de kolommen door elkaar. Waar ik wilde toe komen:

  • De bedragen van het huidige boekjaar dichterbij de rubrieksnamen brengen.
  • De tijd van links naar rechts laten lopen. In het origineel staan de gegevens van het vorige boekjaar rechts naast deze van het huidige boekjaar, waardoor de tijd tegenintuïtief van rechts naar links loopt.

jaarrekening_willemen_gc_2012_activa_2kolommen_crop

3. Trends toevoegen

De gegevens van het vorige boekjaar zijn handig om te kunnen vergelijken. Maar met sparklines, handige minivisualisaties, kunnen we hier veel verder in gaan. In dit geval gaat het wel eerder om sparkbars dan om sparklines, maar het principe is duidelijk: op een heel kleine oppervlakte kunnen voor de hoofdrubrieken de trends van de laatste vijf jaar worden getoond.

jaarrekening_willemen_gc_2012_activa_3sparklines_crop

4. Verhoudingen tonen

Er blijft nog ruimte over op de jaarrekening om nog wat verder te gaan. Na de sparkbars (die eigenlijk een horizontale analyse vormen) kunnen we ook de verhoudingen tussen de belangrijkste rubrieken tonen (een verticale analyse).

Met simpele staafjes kunnen de verhoudingen visueel worden weergegeven, waardoor voor het identificeren van de belangrijkste rubrieken het bekijken en vergelijken van de cijfers zelfs overbodig wordt.

jaarrekening_willemen_gc_2012_activa_4hoofdrubrieken_crop

5. Een stapje verder

Deze laatste stap kunnen we nog verder doortrekken. We kunnen ook de verhoudingen tussen de subrubrieken weergeven en tegelijk de hiërarchie tussen rubrieken en subrubrieken visualiseren.

jaarrekening_willemen_gc_2012_activa_5subrubrieken_crop

6. Een likje verf

Om het onderscheid tussen vaste en vlottende activa (het hoogste niveau van onderverdelen van de activa) verder te verduidelijken kunnen we de staafjes nog een kleurtje geven.

Dit is het eindresultaat:

jaarrekening_willemen_gc_2012_activa_6kleur_crop

Springende cijfers

Als opmerking op mijn visuele verbeteringsoefening voor de jaarrekening hoorde ik uit het publiek dat de jaarrekening een officiëel document is. Uiteraard begrijp ik dat wat eigenlijk een invulformulier is geen datavisualisatie nodig heeft.

Maar alle cijfers komen uiteindelijk wel in een databank terecht. En hiervoor kan het volgens mij niet zo heel moeilijk zijn om er een visueel verrijkt jaarverslag uit te laten rollen. Een paar simpele staafjes met de juiste afmetingen en eventueel een likje kleur: meer is er niet nodig om de cijfers uit het jaarverslag eruit te laten springen en te laten spreken.