La première correction de notre démarche IA n’avait rien à voir avec l’IA. Le savoir d’une organisation est généralement dispersé, non daté et contradictoire, et un modèle qui s’en nourrit répondra avec assurance, et à tort.
Nous avons commencé par nous demander quel modèle utiliser. La question qui comptait était de savoir ce que le modèle allait lire.
Dans toute entreprise d’un certain âge, le savoir de l’organisation est éparpillé entre des bibliothèques de documents, des e-mails, des fils de discussion, des présentations préparées pour une seule réunion et la mémoire des personnes qui ont fait le travail. L’essentiel était exact au moment de sa rédaction. Une bonne partie ne l’est plus, sans que rien, en surface, ne le signale.
Donnez à un assistant compétent l’accès à tout cela, et il fera exactement ce que l’on peut attendre. Il lira la mauvaise version, trouvera une affirmation qui était vraie il y a dix-huit mois et la présentera dans une prose assurée et bien tournée. La réponse n’est pas une hallucination. C’est pire : elle a été fidèlement retrouvée, et elle est périmée.
Une seule version à jour. Lorsqu’un document a été révisé, la révision doit remplacer l’original partout où il peut être lu. Un assistant qui voit la version deux et la version quatre n’a aucun moyen de choisir entre elles, pas plus qu’une personne qui tombe sur les deux.
La provenance de chaque réponse. Une affirmation sans source n’est qu’une opinion bien écrite. Si une réponse ne peut pas citer le document dont elle provient, le lecteur ne peut pas la vérifier, et s’il ne peut pas la vérifier, soit il lui fera trop confiance, soit il l’ignorera complètement. Dans les deux cas, c’est un échec.
Une place pour chaque chose. Le mal silencieux, c’est le travail achevé, exact, et rangé nulle part en particulier. Il existe, sa production a coûté de l’argent, et il reste invisible pour tous ceux qui n’assistaient pas à la réunion pour laquelle il a été fait.
Rien de tout cela n’est spectaculaire. Tout cela devait pourtant précéder le travail intéressant.
Gartner affirme depuis un certain temps que la préparation des données figure parmi les raisons pour lesquelles les initiatives d’IA s’enlisent, aux côtés d’une valeur métier mal définie et des coûts. Notre expérience confirme ce constat, avec un ajout : on aborde généralement cette préparation comme un problème d’ingénierie des données, alors que dans une entreprise de services professionnels, l’essentiel de la valeur réside dans des documents et des décisions, bien plus que dans des tables.
Le remède n’est pas le même. Nettoyer un entrepôt de données est un projet au périmètre défini. Amener une organisation à ranger sa réflexion là où elle pourra la retrouver relève d’un changement d’habitudes, et les habitudes ne se laissent pas modifier par des schémas d’architecture.
Ce qui a fonctionné chez nous, c’est de rendre le bon chemin le plus simple. Si ranger un document à sa place est plus compliqué que de l’envoyer par e-mail à trois personnes, il sera envoyé à trois personnes, indéfiniment. Si le système le prend en charge, le classe et le dépose là où la personne suivante le cherchera, l’habitude suit la commodité.
Nous attendions de meilleures réponses. Nous les avons obtenues, et nous avons aussi obtenu quelque chose que nous n’avions pas prévu.
Une fois le savoir structuré et à jour, les lacunes sont devenues visibles. Des lacunes dans la réflexion, et non dans les données : des questions soulevées et jamais tranchées, des positions défendues pour des raisons que personne ne retrouvait. La lecture est inconfortable, et elle a une vraie valeur, car une lacune que l’on voit est une lacune que l’on peut combler.
Cela change aussi la première semaine d’une mission client. Nous intégrons ce même registre gouverné à nos entretiens de cadrage. L’objectif est que, lorsqu’un client énonce un objectif, celui-ci soit confronté à ce que nous avons déjà livré et à ce qui a mal tourné la dernière fois, avec le document source affiché à côté de la réponse. Une proposition dépendait autrefois de qui se trouvait dans la salle ; elle part désormais d’un registre structuré des apports du client et de nos standards, où chaque question ouverte est consignée, et ce registre s’enrichira à chaque mission clôturée.
Si vous choisissez un modèle avant d’avoir regardé ce qu’il va lire, vous optimisez le mauvais bout du problème. Voici l’ordre que nous recommandons, après l’avoir d’abord suivi à l’envers :
Chez nos clients, c’est généralement la première phase d’une fondation de données prête pour l’IA, et la plateforme sous-jacente relève des plateformes de données gouvernées et analytique. Lorsque l’essentiel du savoir se trouve dans des documents, le travail commence par la classification et la gestion des versions, et le modèle vient plus tard.
Dès que vous disposez d’un savoir qui mérite d’être protégé, une question suit immédiatement, et dans cette région, c’est celle que les acheteurs posent le plus tôt dans une procédure d’achat. Où tout cela s’exécute-t-il physiquement ?
Fait partie de la série Insights. Recevez les nouvelles analyses par e-mail ou suivez le flux RSS.
Deuxième volet sur trois. Nous avons comparé ce que nous avions produit à ce qui nous avait réellement été demandé. Une grande part ne correspondait à aucune question, et cela a changé notre façon de choisir sur quoi travailler.
Premier volet d’une série de trois. Nous pensions que produire davantage créerait davantage de valeur. Mesurer les résultats et non l’activité a changé ce que nous pensions, et la principale leçon s’est révélée ne pas concerner l’IA.
La plupart des initiatives d’IA s’arrêtent au pilote. En général, le modèle n’y est pour rien : c’est que rien ne relie un résultat produit par l’IA à une décision dont quelqu’un accepte de répondre.
