Het middel belangrijker dan het doel?! Pas op voor de Wet van Campbell

In de vorige podcast ging het over het meten van de impact van een training. En omdat we je wel willen helpen dit goed te doen, waarschuwen we je nu ook tegen meten. Want er is Campbell’s Law!

In 1976 schreef Campbell: "Prestatietests kunnen heel goed waardevolle indicatoren zijn van algemene schoolprestaties onder omstandigheden van normaal onderwijs gericht op algemene competentie. Maar wanneer testscores het doel van het leerproces worden, verliezen ze allebei hun waarde.

"Hoe meer een kwantitatieve sociale indicator wordt gebruikt voor sociale besluitvorming, hoe meer het onderhevig zal zijn aan corruptiedruk en hoe waarschijnlijker het is dat het de sociale processen die het moet controleren verstoort en corrumpeert.”

Campbell gebruikte misdaadcijfers als voorbeeld in zijn paper. Hij wees erop dat een daling van de misdaadcijfers in een stad misschien geen echte vermindering van het aantal gepleegde misdaden aantoont, maar eenvoudigweg weerspiegelt hoe de politie de procedures heeft gewijzigd om het aantal te verlagen. Ze kunnen bijvoorbeeld hebben besloten om te wijzigen welke politie-ontmoetingen formeel moeten worden vastgelegd. Ze hebben misschien ook sommige misdrijven gedegradeerd tot minder ernstige classificaties.

Een van de meest verkeerd geciteerde uitspraken in het bedrijfsleven is "als je het niet kunt meten, kun je het ook niet managen". Deze uitspraak (en alle variaties erop) is vaak bedoeld om te zeggen dat we, om iets te verbeteren, een nauwkeurige maatstaf nodig hebben die het vastlegt en die moet worden bijgehouden om te begrijpen of onze inspanningen om het te verbeteren effectief zijn.

Het is interessant dat dit "citaat" eigenlijk het tegenovergestelde is van het origineel, namelijk:

"Het is verkeerd om te veronderstellen dat als je het niet kunt meten, je het niet kunt beheren - een kostbare mythe." — W. Edwards Deming (The New Economy).

Dit verschil tussen de originele en de veelgebruikte versie laat zien waarom het gevaarlijk is om te vertrouwen op één maatstaf om te beoordelen hoe goed een bedrijf of training presteert: die ene maatstaf kan worden gemanipuleerd op manieren die geen verband houden met wat het zou moeten meten. Dit is het fenomeen beschreven door de wet van Campbell.

De wet van Campbell stelt in het kort dat hoe belangrijker een cijfermatige uitkomst is bij sociale aspecten, hoe groter de kans is dat deze zelfde statistiek wordt gemanipuleerd.

Met andere woorden, wanneer een normgetal wordt gebruikt om succes of falen te bepalen, zullen mensen waarschijnlijk proberen hun gedrag te optimaliseren om dat normgetal te verbeteren - soms met belachelijke of gevaarlijke gevolgen.

Mensen beheren de cijfermatige uitkomst, in plaats van de statistiek te gebruiken om het onderliggende probleem te verbeteren of op te lossen.

Een klassiek voorbeeld is "teaching to the test" - een veel voorkomende praktijk die bekend is bij iedereen die een gestandaardiseerde test met een betekenisvol resultaat heeft gedaan. Sommige critici van gestandaardiseerde tests zoals de SAT in Amerika wijzen er bijvoorbeeld op dat ze geen kennis of potentieel meten, maar in plaats daarvan meten hoe goed individuen kunnen studeren voor de test.

Wachttijd versus wachttijd in de gezondheidszorg

Lees even dit voorbeeld dat werd gedeeld door een verpleegkundige die werkt in een poliklinische zorginstelling. Gezondheidszorgadministratie is vaak geobsedeerd met meten, zelfs tot in belachelijke of schadelijke mate.


Een prestatiemaatstaf die door deze specifieke zorginstelling werd gebruikt, was hoe lang patiënten in de wacht moesten hangen tot de telefoon werd opgenomen. Medewerkers werden voortdurend onder druk gezet om deze statistiek te verbeteren en zo de wachttijd van de patiënten te verkorten (wat overigens zeker een redelijk doel is).

Een veelvoorkomende oorzaak van lange wachttijden was dat het lang duurde voordat de receptionisten de arts of verpleegkundige van de patiënt hadden opgespoord en het gesprek konden doorverbinden. Een manager kwam erachter dat als de receptionisten het telefoongesprek dempten en door de gang liepen om een verpleegster of dokter te zoeken, in plaats van patiënten in de wacht te zetten terwijl ze het gesprek doorverbonden, de wachttijd technisch gezien nul was (hoewel de totale wachttijd voor patiënten was vaak langer dan wanneer ze in de wacht werden gezet).

De indicator was drastisch verbeterd, dus de manager kreeg een enorme bonus en veel respect binnen de organisatie. Andere managers bleven hem vragen hoe hij de KPI zo drastisch kon veranderen. Natuurlijk verbeterde zijn oplossing de patiëntervaring helemaal niet!

Wet van Campbell en onderwijs

De wet van Campbell is geschreven in een tijdperk waarin tests met een hoge inzet, zoals de hoge cijferlijst om op de juiste universiteit te komen, een steeds grotere rol speelden in het onderwijsbeleid.


Maar de wet van Campbell is van toepassing op elke maatregel met een hoge inzet, inclusief de Net Promoter Score, klanttevredenheidsscores, kwartaalinkomsten en de andere eerdergenoemde voorbeelden.


Wanneer beloning en promotie zonder verantwoording aan de NPS zijn gekoppeld, zullen mensen zich onvermijdelijk concentreren op manieren om de naald te verplaatsen. Dat is een goede zaak als de beweging een daadwerkelijke verbetering in positieve mond-tot-mondreclame weerspiegelt (een maatstaf voor loyaliteit). Het is een slechte zaak als de beweging beschadigd raakt en loskomt van het onderliggende klantensentiment.

Medewerkers van een grote bank hebben bijvoorbeeld e-mailadressen verwijderd van ontevreden klanten om te voorkomen dat ze lage Net Promoter Scores krijgen uit klantonderzoeken.

‍

‍
Wat doe je aan de wet van Campbell?‍

Zolang er kwantitatieve maatregelen zijn met grote gevolgen, is de Wet van Campbell van toepassing. Maar wat doe je eraan? We hebben een paar mogelijke reacties besproken in onze podcast.

‍

‍

Boks,

Jeanne

PS geef je de podcast 5 sterren, want anders… ;-)

‍

Luister hier de podcast via Spotify
Luister hier de podcast via Apple

Kijk hieronder naar de podcast via Youtube