Banc d'essai : un modèle de décision qui ne coûte presque rien, et pourquoi nous ne l'avons pas branché

Une nouvelle famille d'outils apparaît : des modèles qui ne rédigent rien et ne raisonnent pas à voix haute, mais qui répondent à une question fermée par une valeur et une probabilité. Oui ou non. Une option parmi une liste. Une note sur une échelle courte.

Leur intérêt est le prix et la vitesse. Celui que nous avons mis à l'épreuve rend une décision en un tiers de seconde, et il faut poser huit cents décisions pour dépasser trois centièmes de dollar. À ce tarif, des contrôles qu'on ne faisait jamais parce qu'ils auraient coûté trop cher deviennent envisageables des milliers de fois par jour.

Nous avons voulu savoir ce que cela vaut sur un travail réel. Voici le protocole complet et le résultat, qui est négatif.

1. Ce que nous lui avons demandé

Nous recevons chaque jour des dizaines d'éléments de veille professionnelle : articles, publications, annonces d'outils. Quelqu'un les trie, et ce tri prend du temps. C'est le candidat parfait pour une décision automatique.

Nous avons donc constitué un jeu d'épreuve : 359 éléments déjà triés à la main, dont nous connaissions le verdict humain. Les éléments dont le résumé avait été réécrit au moment du tri ont été exclus, parce qu'ils auraient donné la réponse au modèle sans qu'il ait à la trouver.

Nous ne lui avons pas demandé un jugement global. Nous avons posé cinq questions étroites, chacune sur un seul critère : l'élément décrit-il une action concrète, annonce-t-il un changement daté, restera-t-il vrai dans un an, est-ce une opinion d'ambiance, à quel domaine se rattache-t-il. Le verdict final était recomposé par du code à partir des cinq réponses, jamais laissé au modèle seul. C'est le montage qui donne les meilleurs résultats publiés pour ce type de modèle, et c'est celui que nous recommandons.

2. Le résultat

Sur les éléments que le modèle proposait d'écarter, il avait raison dans 72 % des cas. Le chiffre paraît honorable jusqu'à ce qu'on le compare au bon repère : dans ce même jeu, 65 % des éléments étaient à écarter de toute façon. Autrement dit, écarter au hasard aurait donné 65 %. L'apport réel du modèle est de sept points, et il s'est trompé sur deux des neuf éléments qui méritaient vraiment d'être retenus.

Le coût de l'épreuve complète, environ huit cents appels, s'est élevé à trois centièmes de dollar. Le prix n'était donc pas le problème. Le problème était ailleurs.

3. Pourquoi il échoue, et c'est la seule chose à retenir de cet article

La décision « cet élément mérite-t-il notre attention » ne se lit pas dans l'élément. Elle se prend en le comparant à ce que nous savons déjà, à ce que nous avons déjà mis en place, et à ce sur quoi nous travaillons en ce moment. Un modèle qui ne voit que le texte ne peut pas prendre cette décision, quelle que soit la finesse des questions qu'on lui pose.

C'est une propriété de la question, pas une faiblesse du modèle. Et elle donne une règle simple, que nous appliquons désormais avant d'automatiser quoi que ce soit : si répondre exige de connaître notre situation, aucun modèle sans mémoire ne répondra, et il faut chercher la solution du côté des données, pas du côté du modèle.

Vérification faite dans l'autre sens : là où la question se lit entièrement dans le texte, le même modèle est excellent. Sur un contrôle de cohérence entre un sujet et son site, il a rejeté 41 sujets étrangers sur 42 sans un seul faux positif. Même outil, même prix, résultat opposé, parce que la question avait changé de nature.

4. Ce que nous avons fait à la place

Une règle sans modèle, écrite en quelques lignes, qui tient compte de l'origine de chaque élément : selon la source, la proportion d'éléments à écarter varie de la moitié à plus de huit sur dix. Réduire la collecte sur les sources les moins utiles a supprimé un tiers des traitements, pour un coût de zéro.

C'est un résultat frustrant à publier, parce qu'il ne fait rêver personne. Il est aussi le plus utile : la plupart des gains qu'on attend de l'intelligence artificielle dans un processus existant sont en réalité des gains d'organisation qui ne demandaient pas d'intelligence artificielle.

5. Notre verdict

L'outil est bon, dans sa catégorie, pour un usage précis : trancher en masse des questions dont la réponse est entièrement contenue dans le texte qu'on lui donne, en questions étroites, avec la décision finale reprise par du code. Pour tout ce qui exige de connaître un contexte, il ne sert à rien, et son prix dérisoire ne change rien à l'affaire.

Nous continuons à l'utiliser sur la première famille de questions. Nous ne l'avons pas branché sur la seconde. Et nous publions ce résultat négatif parce qu'un banc d'essai qui ne produit jamais de verdict négatif n'est pas un banc d'essai, c'est une vitrine.