Comment évaluer les opérations assistées par l'IA après les 90 premiers jours
5 min de lecture
Quatre-vingt-dix jours suffisent pour apprendre. Cela suffit également pour ancrer de mauvaises habitudes si personne ne vérifie le journal d’exécution. Évaluez les opérations assistées par l’IA en analysant ce qui s’est réellement passé dans le système, et non en reprenant le récit du pilote. Mesurez les temps de réponse, la qualité de la résolution, les schémas de dérogation par équipe, les liens entre incidents et la couverture de la formation. Décidez ensuite s’il faut élargir le champ d’application, resserrer les seuils, changer de mode de fonctionnement ou suspendre certains comportements. Terminez par une liste d’actions datée, avec un responsable désigné pour chaque point. Si l’examen ne change rien à l’état du système, il s’agissait d’une réunion, et non d’un examen.
Organisez la séance comme une opération, et non comme un spectacle. Récapitulez le périmètre : flux de travail, lignes et modes qui étaient en service. Comparez les indicateurs aux valeurs de référence. Interrogez le personnel de terrain : superviseurs, maintenance, qualité, entrepôt. Passez en revue les incidents et les quasi-accidents liés au routage assisté. Consultez le journal des modifications apportées aux règles et aux modèles. Imposez quatre décisions avant la fin de la réunion : poursuivre, élargir, suspendre ou réduire le périmètre par flux de travail ; renforcer ou affaiblir les mesures de surveillance, de conseil ou d’intervention en fixant une date d’entrée en vigueur ; mettre à jour les sections de la politique d’approbation présentant des ambiguïtés ; attribuer la responsabilité des corrections de données ayant bloqué l’assistance. « Nous allons surveiller » n’est pas une décision.
Exigez un dossier de justificatifs avant la réunion : tableaux de bord hebdomadaires, principales dérogations classées par motif, tâches marquées par l’IA ayant enfreint le SLA, suivi des formations par poste, historique des modifications apportées aux seuils et aux modes. L’absence de justificatifs entraîne le report de la réunion, car sans justificatifs, les participants en viendront à se disputer sur la base de leurs souvenirs.
Il convient de distinguer les rétrospectives narratives des rétrospectives opérationnelles. Les rétrospectives narratives portent sur les sentiments et les thèmes. Les rétrospectives opérationnelles portent quant à elles sur les indicateurs de clôture, les données relatives aux SLA, les dérogations classées par catégorie et les actions datées qui modifient la configuration. Les rétrospectives opérationnelles permettent de modifier le système.
Veillez à ce que la liste des actions à mener dans les trente jours reste concise : quelques corrections de données ou de définitions attribuées à un seul responsable, deux ou trois mises à jour de formations ou d’outils de travail, un ajustement en matière de gouvernance, tel que la rotation des arbitres. Au-delà de six actions, il arrive généralement qu’aucune ne soit menée à bien.
IRIS permet de fonder les bilans trimestriels sur des données factuelles lorsque les tâches, les validations, les versions des règles et l'historique de l'assistance sont regroupés dans un seul dossier ; ainsi, l'équipe peut s'appuyer sur des données concrètes plutôt que sur des récits.
Pour assurer la cohérence entre le déploiement, la mise à l'échelle et l'évaluation, consultez également les articles suivants : Comment déployer des opérations assistées par l'IA sans perturber l'usine et Comment étendre l’assistance par l’IA sans perdre le contrôle opérationnel.
Un bilan rigoureux de 90 jours doit également identifier ce que vous êtes prêt à cesser de faire. Les programmes s’accumulent de rituels : réunions superflues, exportations redondantes, suivi parallèle dans des tableurs « au cas où ». Si l’aide apportée porte ses fruits, une partie de ce soutien manuel devrait devenir superflue — non pas parce que les gens sont paresseux, mais parce que la conclusion du processus est visible dans le système. Si rien ne peut être supprimé, l’analyse doit se demander si le projet pilote a réellement modifié la mise en œuvre ou s’il n’a fait qu’ajouter une couche supplémentaire de travail.
Profitez de cette revue pour recentrer les responsables du programme sur la réalité. À l’issue de la réunion, ceux-ci devraient être capables d’expliquer, sans notes, quels flux de travail se trouvent dans quel mode, quels indicateurs ont évolué et quels risques subsistent. S’ils n’y parviennent pas, le programme deviendra la responsabilité exclusive du service informatique — et les équipes opérationnelles le contourneront discrètement. Le délai de 90 jours est le moment idéal pour réancrer la responsabilité là où se font sentir les conséquences : sur le terrain, dans les systèmes qualité, au sein de la direction de la maintenance et dans les discussions sur le compte de résultat.
Les bilans à 90 jours doivent permettre de revoir les règles, les modes de fonctionnement et la répartition des responsabilités. Si, à l'issue de ce processus, rien n'a changé dans le système, c'est que vous vous êtes contenté de célébrer les résultats au lieu de prendre les rênes.
Conclusion opérationnelle
La promesse de cet article — un programme d’examen assorti de preuves obligatoires, de quatre décisions explicites et d’une liste d’actions à mener dans les trente jours, attribuées à des responsables — ne devient opérationnelle que lorsqu’elle modifie le déroulement du travail : une attribution des responsabilités plus claire, une première affectation plus rapide et un suivi des clôtures sans avoir à fouiller dans les archives de la boîte de réception. Pour « Comment évaluer les opérations assistées par l’IA après les 90 premiers jours », considérez cela comme le test d’acceptation : l’équipe suivante doit pouvoir comprendre ce qui s’est passé, ce qui a été approuvé et ce qui reste en suspens — sans avoir à se fier à une reconstitution verbale.
Cette norme ne vise pas la perfection logicielle ; elle concerne l'honnêteté opérationnelle : moins de transferts mystérieux, moins de vérités qui ne se concordent qu'en réunion, et davantage de jours où les données du système correspondent à ce que diraient les employés sur le terrain si on les interrompait en plein travail.
DBR77 IRIS fournit aux revues de programme un enregistrement d'exécution unique regroupant les métriques, les dérogations, les validations et les mises à jour des seuils basées sur le journal des modifications. Lancer la démo interactive ou Commencer l'essai de 14 jours.
