Evaluation de la formation : les autres approches (1)

Nombre de responsables formation sont aujourd'hui priés de prouver le "retour sur investissement" des dépenses qu'ils engagent - ou se préparent à le faire.

La difficulté de mettre  en oeuvre cette mesure décourage certains RF : la formation serait elle vouée à toujours devoir justifier de sa contribution sans pouvoir le faire de manière crédible ? Pour rendre compte de la contribution de la formation à la valeur, il me semble nécessaire de combiner simultanément plusieurs approches.

Retour sur investissement : l'introuvable preuve ?

Dans son livre Return on Investment in Training and Performance Improvement Programs (Editions Butterworth Heinemann.2003), Jack Philips explique les points de passage obligés de la mesure du retour sur investissement formation :

• Etablir un système d'évaluation du transfert des acquis de la formation qui fonctionne bien: quantité et qualité des retours d'évaluation du transfert, en provenance des salariés qui ont suivi la formation et de leurs managers, traitement des informations ainsi recueillies.
• Mesurer l'impact des transferts : les commerciaux ont bien appliqué la technique de vente, mais le chiffre d'affaires a t'il augmenté pour autant ? Il faut ici isoler les autres facteurs qui ont pu concourir à une variation du chiffre d'affaires, comparer les résultats des personnes formées avec ceux d'un groupe "témoin" se trouvant dans des conditions similaires, se demander quelles auraient été les performances attendues si l'on n'avait rien fait, ou encore, suggère Philips, demander simplement aux parties prenantes (les personnes formées et leur N+1) la part de variation de performance qu'elles attribuent à la formation. Beaucoup des études de cas de Philips se fondent d'ailleurs sur cette dernière méthode.
• Et enfin, une fois l'impact de la formation établi, valoriser tous les coûts de la formation (y compris les coûts de conception, d'administration, de logistique...) et tous les bénéfices estimés de la formation pour en tirer la mesure du ROI=

 (Contribution de la formation - Coûts de la formation)/ Coûts de la formation = x%

Il n'est pas nécessaire d'être statisticien de formation pour comprendre les difficultés méthodologiques auxquelles se heurtent le RF décidé à prouver le retour sur investissement d'une formation :

• Il faut que la formation vise des objectifs opérationnels précis, pour lesquels un impact tangible, convertible en euros, puisse être établi sans contestation.
  Ainsi que l'expliquent Yves Chochard et Eric Davoine dans leur article "A quoi sert la formation managériale et comment évaluer son retour sur investissement", cette approche implique de disposer "d'une bonne base documentaire pour convertir en unités monétaires une augmentation de la qualité, de la productivité, du volume des ventes (...). Et la difficulté de convertir monétairement les "bénéfices intangibles" explique que "le rendement financier de certaines formations touchant les compétences "soft" sont plus difficiles à déterminer avec cette méthode".
• Il faut que la formation concerne un nombre suffisamment élevé de personnes pour que l'indicateur soit valide.

D'où une double tentation:

• Oublier toute rigueur méthodologique, et parler de retour sur investissement formation à propos de n'importe quoi: tentation fréquente très justement dénoncée sur l'excellent blog  de Formaeva : http://blog.formaeva.com/2011/09/pour-en-finir-avec-le-pseudo-retour-sur-investissement-de-la-formation.html
• Laisser tomber.

Aucune de ces deux voies ne débouchant sur une solution constructive, il est temps de proposer d'autres approches - qui n'empêchent pas de se lancer dans une mesure du ROI pour une action particulièrement importante lorsque les conditions sont réunies.

Le retour sur investissement par la valeur-utilité

Y. Chochard et E. Davoine, dans l'article pré-cité, proposent d'analyser le ROI par la valeur-utilité - avec une intéressante étude de cas à la clé. Selon leurs propres termes, cette approche est centrée "sur la mesure des impacts des formations managériales sur les comportements observés et les compétences développées".

Le principe est d'attribuer une valeur au "gain de performance moyen sur le poste de travail mesuré par les appréciations des supérieurs hiérarchiques des participants". L'évaluation de l'impact repose donc sur des entretiens pré et post formation, avec les participants et/ou leurs supérieurs hiérarchiques : le "gain de compétences moyen est estimé à partir de la différence entre les niveaux de compétences pré et post-formation".

Et la valeur attribuée à l'impact repose sur le poids que la ou les compétences ainsi développée(s) représente(-nt) dans le poste de travail : plus la compétence développée est utile à la réalisation des tâches et missions des participants, plus l'impact potentiel de la formation est fort.

L'écart type initial de la compétence visée est également pris en compte : plus il est élevé, plus certains participants ont une marge de progrès importante.

Le raisonnement donne la formule de calcul suivante, issue des travaux de Raju, Burke et Normand, dont vous trouverez le développement dans l'article pré-cité:

 Oups ! vous dites vous peut-être... De fait, l'évaluation de la valeur-utilité est affaire de personnes connaissant la statistique. Et les précautions méthodologiques (comme celles de la comparaison avec un groupe témoin, par exemple), sont aussi rigoureuses que pour la méthode de Phillips.
N'empêche, elle oblige à se poser de bonnes questions :

• Quelles sont les compétences précises visées par la formation ?
• Ces compétences contribuent elles de manière importante à la performance des personnes visées ?
• Où en sont les personnes dans l'exercice de cette compétence, avant et après la formation ?

L'étude de cas d'Y. Chochard et E. Davoine donne une lecture fine  et intéressante des facteurs explicatifs de l'impact des formation.

Dans les trois entreprises où le retour sur investissement (calculé avec la méthode de l'analyse de l'utilité) a été le plus fort, on note la présence des facteurs suivants :

• Les participants ont eu des opportunités de transfert
• Ils se sentent motivés à transférer (entre 1/3 et plus de 2/3 des participants)
• Ils ont confiance dans le fait qu'ils peuvent maîtriser les techniques et les comportements abordés au cours de la formation (sentiment d'efficacité personnelle)
• lls anticipent des conséquences positives s'ils appliquent la formation
• Ils ont trouvé la formation de qualité
• lls pensent que le besoin a été bien identifié (entre 1/3 et plus de 2/3 des participants)
• Ils se sentent soutenus par leur entreprise

 En s'appuyant sur les travaux de recherche en matière d'évaluation de la formation, on doit donc pouvoir poser les bonnes questions, et inférer l'impact de la formation à partir des réponses obtenues. Voici une piste que je vous propose de poursuivre dans le prochain billet.

Ecrit par

Mathilde Bourdat

En savoir plus