Impact van een training meten: de meest eenvoudige methode

Als je een trouwe luisteraar van onze podcast bent, dan weet je inmiddels goed dat wij vurige pleitbezorgers zijn voor het meten van de impact van trainingen. Mocht je ons nog niet zo goed kennen: wij zijn vurige pleitbezorgers zijn voor het meten van de impact van trainingen! 😊

Luister vooral podcast aflevering nummer 1 terug als je hier meer over wilt weten. In die podcast eren Jeanne en ik Donald Kirkpatrick, dé man die halverwege de 20e eeuw zijn ‘vier levels van evalueren van trainen’ ontwikkelde. Het was wel onze eerste aflevering dus graag wat compassie.

Maar … wat is nou het geval, volgens ons?

Er wordt nog steeds veel te weinig gemeten!

Ja, er worden evaluaties met de deelnemers gedaan ja. Via papieren formulieren (hallo jaren ’90), digitale formulieren (hallo jaren ’00), evaluatie apps (hallo jaren ’10) of online tools (welkom in de jaren ’20). Ook wij gebruiken aan het einde van een training een online tool om even de spreekwoordelijke thermometer in de groep met deelnemers te steken. Door deze evaluatie weten we of de belangrijkste onderwerpen zijn overgekomen en of de deelnemers een fijne dag hadden.

Maar dat is het dan ook wel.

Door deze ‘metingen’ is het nog steeds onduidelijk of de deelnemers ander gedrag gaan vertonen op de werkvloer. Dat deelnemers het een leuke dag vonden en de belangrijkste dingen onthouden, zegt helemaal niets over de impact op de werkvloer.

Om dat te weten, is het nodig om op level 3 van Kirkpatrick te meten. Dit is het niveau van het Gedrag (van de deelnemer).

In gesprekken die ik heb met collega L&D-ers hoor ik vaak dezelfde redenen waarom zij niet op Level 3 van Kirkpatrick meten. Die redenen zijn:

- Ik weet niet hoe
- Het kost te veel tijd
- Ik heb geen betrouwbaar systeem

Hallelujah! Gelukkig is er een meetsysteem dat én makkelijk én betrouwbaar is én weinig tijd kost om te gebruiken. In de podcast van deze week vertel ik erover. Omdat ik me kan voorstellen dat het fijn is om een uitwerking en een voorbeeld te hebben, geef ik die hieronder.

Het systeem is de betrouwbare inschatting. Je vraagt je deelnemers op twee momenten twee vragen.

Het ene moment is voor de training. Het andere moment is enkele weken na de training.

De twee vragen zijn:
1. Hoe vaak per week doe je … (vul hier gedrag in waar je op gaat trainen) gemiddeld gezien?
2. Op een schaal van 1 tot 100%, hoe zeker ben je ervan dat je antwoord op vraag 1 correct is?

Voor elke vraag 1 die je stelt (per keer vraag je specifiek gedrag uit), stel je ook een vraag 2.

Let op: eerst alle vragen 1 stellen, dan pas de vragen 2 stellen. Anders is het beeld niet meer betrouwbaar.

Hieronder een voorbeeld
Stel de deelnemers twee vragen:
‍

Hoeveel keer pas je vaardigheid ‘X’ toe?

Maak een inschatting: hoe zeker ben je ervan dat je antwoord op vraag 1 correct is?

De situatie is dat een groepje van 4 deelnemers een training kreeg over een bepaalde vaardigheid. Voorafgaand aan de training en ongeveer een maand ná de training stelt de trainer de twee vragen.

In kolom 1 staat het aantal keer dat de deelnemers hebben opgegeven op de vraag ‘Hoeveel procent van het trainingsprogramma pas je toe in je werk?’.

Kolom 2 toont de inschatting die de deelnemers hebben gemaakt op de vraag ‘Hoe zeker ben je ervan dat je antwoord op vraag 1 correct is?’

Vervolgens is er een vastgestelde rekensom die ik onder de tabel uitleg.

De rekensom is: kolom 1 x het % uit kolom 2 = aantal x dat deelnemer gedrag laat zien.
‍

Doordat je de deelnemers een inschatting laat maken én doordat je vervolgens de inschatting gebruikt om de uitkomst zo nadelig mogelijk uit te rekenen, geldt dit in de sociale wetenschappen als een valide uitkomst.

Dus deelnemer 1 laat het gedrag 6 x 60% = 3,6 x zien
Deelnemer 2 laat het gedrag 3 x 90% = 2,7 x zien

Enzovoorts

Je hebt nu de nulmeting, voorafgaand aan de training.

Deze zelfde rekensom pas je toe op de data ná de training.

Deelnemer 1 laat het getrainde gedrag 8 x 100% = 8 x zien
Deelnemer 2 laat het gedrag 15 x 50% = 7,5 x zien

Enzovoorts

Je hebt nu de eindmeting, na de training.

De uitkomsten zien er dan als volgt uit:

Om het makkelijk te maken, reken je nu nog het gemiddelde over alle deelnemers uit:

Door de training is er dus een toename van 85% gemiddeld per week in het getrainde gedrag.

Kijk, daar kun je bij collega’s, directies, inkopers en klanten mee aan komen zetten! Gebruik dit soort resultaten om de toegevoegde waarde van trainingen aan te tonen. Dit is dé manier om als business partner te worden gezien.

Misschien denk je nu: ik ben al begonnen met een traject, hoe kan ik nu nog een nulmeting doen?
‍

Een echte nulmeting kan niet meer. Wat je wel kunt doen is de vraag achteraf aanpassen naar:
“Sinds de training, hoeveel vaker ben je … dit gaan doen gemiddeld per week?”

Waarbij op de … een concrete vaardigheid beschreven staat. Je laat de deelnemers dan zelf een inschatting maken van de toename.
‍

Dus, wat waren ook al weer die bezwaren?
- Ik weet niet hoe: je weet nu hoe!
- Het kost te veel tijd: m.b.v. Excel heb je dit in een half uurtje uitgerekend
- Ik heb geen betrouwbaar systeem: dit is een valide manier van berekenen

Je ziet het, level 3 van Kirkpatrick valt prima te meten. Klanten zijn er heel blij mee; ze zien de concrete resultaten van hun investering terug. Typisch No More Boring Learning.

‍‍

Succes met meten!
Jan-Peter
‍

Still hungry? In de podcast verwijs ik ook naar een uitgebreid onderzoek over het evalueren van trainingen. Klik hier voor informatie en de link naar het daadwerkelijke onderzoek.
‍

Luister hier de podcast via Spotify
Luister hier de podcast via Apple

Kijk hieronder naar de podcast via Youtube

‍