Premier volet d’une série de trois. Nous pensions que produire davantage créerait davantage de valeur. Mesurer les résultats et non l’activité a changé ce que nous pensions, et la principale leçon s’est révélée ne pas concerner l’IA.
Nous avons commencé nos travaux sur l’IA convaincus que produire davantage créerait davantage de valeur. Davantage d’analyses, davantage de contenus, davantage de recommandations, davantage d’activité visible.
Nous avions tort, et la manière dont nous l’avons découvert mérite d’être consignée, car l’erreur n’était pas d’ordre technique.
Tout ce que nous avions construit fonctionnait, et c’est bien ce qui nous a surpris. Les modèles ont tenu leurs promesses et les pipelines ont tenu. Rien de ce que nous mesurions ne laissait penser, à aucun moment, à un problème de capacité technique.
Ce qui était faux, c’est ce que nous en pensions. Nous avions supposé que produire plus, et plus vite, se traduirait quelque part où cela compte. Personne n’avait vérifié cette hypothèse, parce qu’elle faisait ce que font les hypothèses : elle restait sous le travail, avec l’air d’une évidence.
C’est une position confortable. Tout ce qui est visible s’améliore. Les améliorations sont réelles. Et, de l’intérieur, il n’y a aucun moyen de savoir si quoi que ce soit atteint réellement l’entreprise.
Nous avons commencé à mesurer les résultats et non plus l’activité.
La distinction paraît mince, et pourtant tout est là. L’activité, c’est ce que le système a fait. Les résultats, c’est ce que l’organisation a pu faire ensuite et qu’elle ne pouvait pas faire auparavant. Les deux grandeurs n’évoluent pas ensemble, et c’est précisément pour cela que mesurer la première donne une impression de progrès tout en apprenant très peu.
Le changement a tenu à une seule question, posée systématiquement, en refusant tout indicateur d’activité comme réponse.
Qu’est-ce qui a changé dans l’entreprise parce que cela a été produit ?
Ni combien a été produit. Ni en combien de temps. Ni avec quelle qualité. Ce qui a changé.
Posée une fois, cette question est embarrassante. Posée à propos de tout, pendant une période, elle devient franchement inconfortable, car une bonne part d’un travail très compétent se révèle sans aucune réponse. Rien n’a changé. Le travail a été produit, il était de bonne facture, et l’entreprise a continué exactement comme elle l’aurait fait sans lui.
Les chiffres se dégradent avant que quoi que ce soit ne s’améliore. Les indicateurs d’activité vous flattent. Les indicateurs de résultat sont plus modestes et plus difficiles à produire, et personne n’aime les présenter. Il faut que quelqu’un accepte de montrer à une équipe de direction un chiffre plus petit, et d’expliquer pourquoi c’est le plus utile.
Et une partie du travail dont les équipes étaient fières ne résiste pas à la question. C’est un problème de management et non d’analyse, et le traiter autrement, c’est la façon dont une organisation se remet discrètement à compter des documents.
Cela a aussi changé la façon dont nous clôturons nos missions clients. La mise en production marquait autrefois la fin du compte rendu du travail. Chaque mission que nous menons est désormais planifiée avec une revue de valeur après la mise en production, mesurée au regard des objectifs que le client a signés au départ, et ce que nous en apprenons viendra alimenter le référentiel dont part la mission suivante.
Deux constats en sont ressortis, et chacun a renversé quelque chose que nous croyions.
Le premier concernait l’offre et la demande. Nous produisions de l’intelligence plus vite que quiconque dans l’entreprise ne la demandait, et nous étions incapables de relier l’essentiel de ce que nous avions produit à une question que quelqu’un avait réellement posée.
Le second concernait la vitesse, et sa mesure honnête n’était pas celle que nous avions l’habitude de citer.
Le prochain article traite du premier de ces constats. C’est celui qui a changé notre manière de décider sur quoi travailler.
Fait partie de la série Insights. Recevez les nouvelles analyses par e-mail ou suivez le flux RSS.
Deuxième volet sur trois. Nous avons comparé ce que nous avions produit à ce qui nous avait réellement été demandé. Une grande part ne correspondait à aucune question, et cela a changé notre façon de choisir sur quoi travailler.
La plupart des initiatives d’IA s’arrêtent au pilote. En général, le modèle n’y est pour rien : c’est que rien ne relie un résultat produit par l’IA à une décision dont quelqu’un accepte de répondre.
La première correction de notre démarche IA n’avait rien à voir avec l’IA. Le savoir d’une organisation est généralement dispersé, non daté et contradictoire, et un modèle qui s’en nourrit répondra avec assurance, et à tort.
