En bref
- L’auto-évaluation mesure une perception. Elle a de la valeur, et c’est autre chose qu’un comportement mesuré.
- Dites exactement ce qui a été mesuré, sur quelle période et comment, avant de citer la moindre amélioration.
- Les preuves les plus solides combinent ce que les gens déclarent et quelque chose d’observable.
Plus tôt cette année, une série publiée sur ce site soutenait que les programmes d’IA doivent être jugés sur leurs résultats, et qu’un fournisseur qui avance un chiffre doit pouvoir dire ce qui a été mesuré, sur quelle période et par rapport à quelle référence. Nous appliquons la même exigence à notre propre produit, et c’est pour un produit de bien-être qu’elle est la plus difficile à tenir.
UMOYA Zone, l’application de développement personnel que nous codétenons avec ses fondateurs, est issue d’un programme de coaching qui demande aux participants de s’évaluer sur un ensemble de compétences au démarrage, puis de nouveau après douze semaines. L’écart entre les deux a du sens pour les participants. C’est aussi une auto-évaluation, et il vaut la peine de préciser ce que cela implique.
Ce que mesure l’auto-évaluation
Une auto-évaluation indique comment une personne se voit le jour où elle répond. C’est important, car la façon dont on perçoit sa propre direction et ses capacités compte pour beaucoup dans ce qui les fait avancer, et une note plus élevée après douze semaines reflète souvent quelque chose de réel.
À elle seule, elle ne prouve pas que le comportement a changé. On ne répond pas de la même façon à la fin d’un programme que l’on a choisi de suivre. On a appris le vocabulaire, on veut que l’effort en ait valu la peine, et le second questionnaire est rempli par quelqu’un qui sait désormais à quoi ressemble une bonne réponse. Rien de cela ne rend le résultat faux. Cela en fait un type de preuve parmi d’autres.
Dire ce qu’est le chiffre
Le marché du bien-être est rempli de chiffres qui ne résistent pas à une deuxième question : des multiples de retour sur investissement tirés d’études portant sur d’autres programmes, des gains de productivité modélisés et jamais observés, des témoignages qui tiennent lieu de mesure.
Notre règle pour UMOYA Zone est celle que nous appliquons aux chiffres avancés sur nos projets. Tout chiffre que nous publions précise ce qu’il mesure, comment il a été recueilli, sur quelle période et auprès de combien de personnes. Une amélioration auto-évaluée est présentée comme auto-évaluée. Une référence tirée des recherches de quelqu’un d’autre est signalée comme telle. Là où nous n’avons pas mesuré, nous le disons.
De meilleures preuves, une question de conception
La question la plus utile est de savoir comment un produit peut produire des preuves plus solides sans compromettre la vie privée. Quelques approches y contribuent.
Associer ce que les gens déclarent à ce qu’ils font. Les objectifs fixés, les objectifs atteints et la fréquence à laquelle quelqu’un revient dans l’application sont des comportements, et ils peuvent être comptés sur l’appareil.
Mesurer plus de deux fois. Des points d’étape courts et fréquents montrent une tendance. Deux mesures à douze semaines d’intervalle montrent un écart, plus facile à gonfler.
Pour les organisations, convenir d’abord du résultat. Un employeur qui propose le programme doit décider à l’avance de ce qui comptera comme un succès, qu’il s’agisse de l’absentéisme, de la fidélisation ou des résultats d’enquêtes d’engagement, et le mesurer indépendamment de l’application.
Gagner la confiance de l’acheteur
Les acheteurs ont raison de se méfier des promesses du secteur du bien-être, car tant d’entre elles relèvent du marketing. Pour gagner leur confiance, il faut être le fournisseur qui explique exactement ce que signifie un chiffre, même quand l’explication le rend plus modeste.
C’est la position que nous avons prise sur les chiffres de nos projets d’IA. Pour en savoir plus sur le produit, consultez la page UMOYA Zone.
Sources
- nVisionIT et les fondateurs d’UMOYA Zone, pratique du programme et du produit, de 2023 à 2026.