Want in HR gebeurt zelden maar één ding tegelijk. Misschien kwam er een nieuwe manager. Misschien was de werkdruk lager. Misschien veranderde de teamsamenstelling. Misschien volgden vooral gemotiveerde medewerkers de opleiding. Of misschien steeg engagement gewoon in de hele organisatie, ook bij medewerkers die geen opleiding volgden.

Dat is de klassieke pre/post-valkuil: we zien een verschil tussen “voor” en “na”, en noemen dat al snel impact. Maar verandering is nog geen bewijs van impact.

Een eenvoudige pre/post-analyse vergelijkt de situatie vóór een interventie met de situatie erna.

Bijvoorbeeld: Voor de opleiding was het engagement gemiddeld 6,8. Na de opleiding was het engagement gemiddeld 7,3. Dus de opleiding zorgde voor een stijging van 0,5 punten.

Klinkt logisch, maar die conclusie is te snel.

Een pre/post-vergelijking toont alleen dat er een verandering was. Ze toont niet waarom die verandering er was. En net dat maakt impactanalyse in HR zo moeilijk.

Daarom moet je altijd opletten met zinnen als: “Na de opleiding steeg engagement, dus de opleiding werkte.” Een betere formulering is:

Een sterkere analyse kijkt niet alleen naar de groep die de opleiding volgde, maar vergelijkt die met een groep die de opleiding niet kreeg.

Op het eerste gezicht lijkt de opleiding een effect van +0,5 te hebben. Maar de groep zonder opleiding ging ook vooruit, namelijk met +0,2. Misschien was er dus een algemene positieve trend in de organisatie om andere redenen, die niets met de opleiding te maken hadden, zoals een snellere responsetijd op HR-vragen, een nieuwe feedback-cyclus met managers of organisatiebrede loonsverhoging.

In dat geval is de extra verbetering van de opleiding alleszins eerder: +0,5 – +0,2 = +0,3

Dat verschil noemen we in eenvoudige termen de extra stijging die samenhangt met de interventie. Het is nog geen perfect bewijs, maar het is wel al veel sterker dan alleen “voor versus na”. De vraag wordt dus: “Is de groep mét opleiding sterker verbeterd dan een vergelijkbare groep zonder opleiding?”

Dat woord “vergelijkbaar” is belangrijk. Als de opleidingsgroep vooral bestaat uit senior profielen in stabiele teams, en de controlegroep vooral uit juniors in teams met veel verloop, dan vergelijk je mogelijks nog altijd appels met peren en kan je best verder onderzoeken of je binnen verschillende functieniveaus en binnen de groep met en zonder verloop ongeveer dezelfde impact terugvindt.

Voor wie graag een stap verder gaat, bestaan er statistische methodes die helpen om nog beter na te denken over impact. Eén daarvan is G-computation.

G-computation wordt gebruikt om zogenaamde wat-als-scenario’s door te rekenen. In plaats van alleen te vergelijken wie toevallig wel of geen opleiding kreeg, bouw je een model dat de uitkomst voorspelt en simuleer je twee scenario’s:

• Scenario A: iedereen krijgt de opleiding
• Scenario B: niemand krijgt de opleiding

Voor elke medewerker voorspelt het model dan de verwachte uitkomst onder beide scenario’s. Daarna vergelijk je de gemiddelde voorspelde uitkomst.

Dat vertaalt een statistisch model naar een veel begrijpelijkere HR-vraag: “Wat zou het gemiddelde engagement (of verlooprisico, of prestatieniveau, …) zijn als iedereen deze interventie kreeg versus niemand?”

Stel dat je model voorspelt dat het gemiddelde engagement 7,27 zou zijn als iedereen de opleiding kreeg, en 6,93 als niemand de opleiding kreeg. Dan kom je uit op een geschat verschil van +0,34 punten. Dat lijkt sterk op de logica van de controlegroep, maar dan verfijnder.

G-computation is vooral interessant omdat het rekening kan houden met verschillen in je data. Terwijl je bij controlegroepen liefst zelf een vergelijkbare groep kiest en manueel verschillen tussen die groepen controleert om zeker te zijn over je resultaten.

In HR zijn interventies namelijk zelden willekeurig verdeeld. Mensen krijgen niet “toevallig” een opleiding. Misschien krijgen vooral medewerkers met een bepaald functieniveau toegang. Of vooral teams waar de manager sterk inzet op ontwikkeling. Of vooral medewerkers die al goed presteren.

G-computation probeert daarvoor te corrigeren door rekening te houden met de verdelingen in je data. Het model kan bijvoorbeeld meenemen dat medewerkers verschillen op vlak van afdeling, anciënniteit, baseline engagement, functieniveau of eerdere prestaties. Zo probeer je de vergelijking eerlijker te maken.

In plaats van te zeggen: “De mensen die opleiding kregen, scoren hoger dan de mensen die geen opleiding kregen.” stel je een betere vraag: “Wat zou er gebeuren als medewerkers met dezelfde kenmerken wél of géén opleiding zouden krijgen?”

Dat maakt je analyse niet alleen statistisch sterker, maar ook begrijpelijker voor HR en business stakeholders.

G-computation klinkt krachtig, maar het is geen magische causaliteitsmachine.

Je mag de resultaten alleen sterker causaal interpreteren als je data, timing en controlevariabelen goed zitten. De methode gaat er bijvoorbeeld van uit dat je alle factoren die zowel de interventie als de uitkomst beïnvloeden, hebt gemeten en meegenomen. En daar wringt het in HR soms. Want veel belangrijke factoren zitten niet netjes in je dataset. Denk aan:

• de motivatie van een medewerker
• de sfeer in een specifiek team
• de managementstijl van een leidinggevende
• psychologische veiligheid
• informele steun van collega’s
• persoonlijke gebeurtenissen buiten het werk
• de kwaliteit van de opleiding zelf

Als die factoren bepalen wie de opleiding volgt én ook de uitkomst beïnvloeden, maar je meet ze niet, dan blijft er vertekening mogelijk.

Een voorbeeld:

Stel dat vooral gemotiveerde medewerkers zich inschrijven voor een opleiding. Nadien scoren zij hoger op engagement. Je model kan corrigeren voor afdeling, anciënniteit en functieniveau, maar als motivatie niet gemeten is, kan je nog altijd een deel van het verschil verkeerd toeschrijven aan de opleiding.

Daarom blijft de interpretatie belangrijk. G-computation helpt je om beter te vergelijken, maar het vervangt geen goede kritische reflectie of HR-context.

HR-interventies verdienen betere analyses dan alleen een snelle vergelijking voor en na. Een stijging in organisatie-uitkomsten is interessant, maar de echte vraag stopt niet enkel bij “is er een verandering?”, stel jezelf ook de vraag: “was die verandering groter dan bij een vergelijkbare groep?”, misschien zelfs: “wat zou er gebeurd zijn zonder de interventie?” en vooral ook vanuit jouw rol als HR: “Hebben we rekening gehouden met andere verklaringen en business context?”

En net daar zit de waarde van HR-analytics: niet in ingewikkelde modellen op zich, maar in betere vragen stellen voor je conclusies trekt.

Wil je graag hulp bij het meten van de impact van jouw HR-interventies? Of graag nog meer inspiratie over HR-analytics? Schrijf je dan zeker in voor onze tweemaandelijkse nieuwsbrief met tips en trends over HR-analytics of contacteer ons.