Ce qu'un indicateur doit prouver avant d'entrer dans un rapport client

Tout le monde publie ses réussites. Le problème, quand on choisit un prestataire, est que les réussites publiées ne vous apprennent rien sur sa façon de travailler : elles vous apprennent seulement ce qu'il a choisi de montrer. Ce qui distingue une méthode d'un argumentaire, c'est ce qui se passe quand une mesure donne un résultat gênant.

Voici un cas réel, chez nous, avec le chiffre.

1. Un contrôle qui sonnait dans le vide

Nous surveillons automatiquement un certain nombre de défauts sur les sites que nous produisons. L'un de ces contrôles cherchait les pages qui portent le même titre, parce que deux pages au titre identique se font concurrence et qu'aucune des deux ne se classe correctement.

Il fonctionnait. Il signalait régulièrement des anomalies. Nous les traitions.

Le 1er septembre 2026, nous avons fait ce que nous aurions dû faire dès le premier jour : reprendre ses alertes une par une et aller vérifier, sur les pages réellement en ligne, si le défaut existait. Quatre-vingt-deux alertes examinées. Aucune réelle.

La cause était bête et instructive. Le contrôle comparait les titres tels qu'ils étaient prévus au moment de la préparation des articles, alors que le titre définitif est réécrit au moment de la publication. Il mesurait donc un état intermédiaire que la suite du processus corrigeait. Le contrôle était irréprochable techniquement. Il était simplement branché au mauvais endroit.

2. Le coût réel d'un indicateur faux

On pourrait croire qu'un contrôle qui se trompe coûte seulement le temps de vérifier ses alertes. C'est l'inverse, et c'est pour cela que cette histoire vaut d'être racontée.

Un contrôle qui sonne souvent pour rien apprend à ceux qui le lisent à ignorer ses alertes. Le jour où il en produit une vraie, elle arrive dans un flux auquel plus personne n'accorde de crédit. Un indicateur faux ne coûte pas du temps, il détruit la valeur de tous les autres indicateurs autour de lui.

C'est aussi vrai dans un rapport mensuel que dans un système automatisé. Si votre agence vous signale chaque mois douze points d'attention dont dix ne se vérifient pas, vous cesserez de lire la liste, et vous raterez les deux qui comptaient.

3. La règle que nous nous imposons depuis

Un contrôle n'entre dans nos rapports que s'il a prouvé sa précision, et nous avons chiffré ce que veut dire prouver : au moins quatre alertes justes sur cinq, sur un échantillon d'au moins vingt alertes classées une par une, vérifiées sur l'état final et non sur un état intermédiaire.

Trois précisions rendent cette règle utilisable plutôt que décorative.

D'abord, la vérification porte sur ce que voit l'utilisateur, jamais sur un fichier de travail. C'est exactement l'erreur que nous avions commise : notre contrôle avait raison sur ses données et tort sur la réalité.

Ensuite, vingt est un minimum, pas un confort. En dessous, un taux de réussite ne veut rien dire : sur cinq alertes, quatre justes peuvent être de la chance.

Enfin, en dessous d'une alerte juste sur deux, nous retirons le contrôle. Pas nous ne le corrigeons plus tard : nous le retirons, parce qu'il détruit plus de valeur qu'il n'en apporte tant qu'il tourne.

4. Le piège que nous n'avions pas vu, et qui est le plus intéressant

Quand un contrôle ne trouve jamais rien de réel, deux explications sont possibles : le défaut n'existe pas, ou l'instrument est faux. Nous avions conclu à la première.

Nous avions tort. En mesurant autrement, sur les pages publiées cette fois, le défaut existait bel et bien, et plus largement que nous ne l'avions imaginé. Retirer le contrôle était juste. En conclure que le problème n'existait pas était faux, et cette conclusion hâtive a laissé le défaut vivre une demi-journée de plus dans l'angle mort.

D'où la règle complémentaire, qui est celle que nous appliquons aujourd'hui : avant de conclure quoi que ce soit d'une mesure, refaire la mesure autrement. Une seconde méthode qui donne le même résultat, ou l'instrument est suspect.

5. Pourquoi nous publions ça

Parce que c'est le genre d'information qu'un prestataire n'a aucun intérêt à publier, et exactement le genre d'information dont vous avez besoin pour juger un prestataire.

Si vous travaillez avec une agence, vous pouvez lui poser la question telle quelle : sur les alertes que vous me remontez, combien se vérifient quand on va regarder la page ? La réponse, ou l'absence de réponse, vous en apprendra plus qu'une présentation commerciale.

Et si vous produisez vous-même des indicateurs pour votre direction, la règle des quatre sur cinq vaut pour vous aussi. Un tableau de bord dont la moitié des alertes ne se vérifient pas ne fait pas de vous quelqu'un de vigilant, il fait de vous quelqu'un qu'on n'écoute plus.