Les robots des IA et votre fichier robots.txt : qui passe, qui est bloqué

Une équipe marketing nous a demandé l'an dernier pourquoi aucun assistant ne citait jamais sa marque, alors que son site était en bonne santé et bien classé. La réponse tenait en une ligne, écrite dans un fichier texte à la racine du site, deux ans plus tôt, par un prestataire consciencieux qui avait voulu protéger les contenus de la maison.

Personne dans l'équipe ne savait que cette ligne existait. Personne n'avait pris la décision. Elle était juste là, et elle disait aux robots des intelligences artificielles de passer leur chemin.

1. Cinq minutes pour savoir où vous en êtes

Ouvrez votre navigateur et tapez l'adresse de votre site suivie de /robots.txt. Vous obtenez un fichier texte de quelques lignes. C'est le panneau d'affichage que votre site présente aux robots : il n'empêche rien techniquement, mais les robots sérieux le respectent.

Cherchez-y les noms des agents des éditeurs d'IA. Au relevé de septembre 2026, les principaux se déclarent sous les noms GPTBot, ClaudeBot, PerplexityBot, Google-Extended et Applebot-Extended. Si l'un de ces noms apparaît suivi d'une interdiction, vous avez votre réponse, ou du moins une partie.

Si le fichier ne contient rien à leur sujet, ils sont autorisés par défaut, et l'explication de votre absence est ailleurs.

2. La confusion qui coûte le plus cher

Il y a deux choses différentes derrière ces noms, et les confondre mène à des décisions regrettables.

D'un côté, il y a le robot qui collecte du texte pour entraîner un modèle. Bloquer celui-là veut dire : je ne veux pas que mes contenus servent de matériau d'apprentissage. C'est une position défendable, notamment pour un éditeur, un média ou une maison qui vit de ses contenus.

De l'autre, il y a le robot qui va chercher une page au moment où un utilisateur pose sa question, pour fabriquer la réponse et citer sa source. Bloquer celui-là veut dire : je ne veux pas apparaître dans les réponses. Ce n'est presque jamais ce que veut une marque qui cherche des clients.

Ces deux fonctions portent parfois des noms proches, parfois le même. C'est exactement le genre de détail qui se règle en lisant la documentation de chaque éditeur, un quart d'heure, plutôt qu'en appliquant une règle générale trouvée sur un forum.

3. Ce que vous décidez vraiment en bloquant

Un blocage n'est pas une position morale, c'est un arbitrage commercial, et il se pose dans ces termes.

D'un côté, vous protégez vos contenus d'un usage que vous n'avez pas choisi et pour lequel vous n'êtes pas rémunéré. Si vos contenus sont votre produit, l'argument est solide.

De l'autre, vous acceptez de ne pas exister dans un canal où vos prospects posent déjà leurs questions. Et ce canal a une propriété désagréable : quand vous n'y êtes pas, il ne laisse pas un vide, il met quelqu'un d'autre à votre place. Le silence n'est pas neutre.

La position intermédiaire est la plus souvent pertinente pour une marque : autoriser les robots qui citent, réserver la question de ceux qui entraînent, et surtout prendre la décision consciemment plutôt que de la découvrir deux ans plus tard.

4. Le piège du blocage en cascade

Un cas fréquent et rarement détecté : le site principal autorise tout le monde, mais le sous-domaine qui héberge le blog, la documentation ou le centre d'aide, lui, bloque tout. Ce sont souvent des installations séparées, posées par des équipes différentes, avec leur propre fichier.

Or c'est précisément ce contenu-là, explicatif, structuré, qui sert de matière première aux réponses des assistants. Votre page d'accueil ne répondra jamais à la question « comment fonctionne tel dispositif » ; votre documentation, si.

Vérifiez donc chaque sous-domaine séparément. La règle est simple : un fichier par sous-domaine, et aucun ne connaît les autres.

5. Autorisé ne veut pas dire cité

Une fois les robots autorisés, ne vous attendez pas à un changement la semaine suivante. L'autorisation est une condition nécessaire et très insuffisante.

Pour être cité, il faut aussi que le contenu existe sur le sujet demandé, qu'il soit lisible sans exécution de scripts compliqués, qu'il réponde directement plutôt qu'après trois paragraphes d'introduction, et que la marque soit citée ailleurs sur le web, parce que les assistants s'appuient beaucoup sur ce que les autres disent de vous.

Le fichier robots.txt n'est donc pas un levier de visibilité. C'est un interrupteur : il ne fait pas la lumière, mais il peut la couper.

6. Ce que nous faisons chez un nouveau client

Nous commençons toujours par cette vérification, sur le domaine et sur chaque sous-domaine, parce qu'elle prend cinq minutes et qu'elle a déjà expliqué à elle seule des situations que trois mois de travail éditorial n'auraient pas corrigées.

Puis nous posons la question à la direction plutôt qu'au service technique : voulez-vous être cité par les assistants, oui ou non ? C'est une décision d'entreprise, pas un réglage de serveur. Elle mérite d'être prise par quelqu'un qui en mesure les conséquences commerciales, et d'être écrite quelque part avec sa date, pour que personne ne la redécouvre par hasard dans deux ans.