Crawler son site soi-même, ce qu'on découvre en une heure

Vous lancez une campagne pour augmenter votre trafic organique. Votre équipe itère sur les contenus. Mais personne ne sait vraiment ce qui se passe dans votre site : combien de pages sont en erreur, lesquelles ne pointent vers rien, si vos titres se répètent. Vous avez une intuition que quelque chose cloche, mais avant d'investir dans du nouveau contenu ou une refonte, vous voulez mesurer l'état réel. Un crawl vous donnera cette image en une heure, gratuitement.

Un crawler est un robot qui parcourt votre site exactement comme le ferait un moteur de recherche. Il suit chaque lien, enregistre chaque redirection, chaque erreur, chaque élément manquant. À la fin, vous avez une liste de tout ce qu'il a vu. C'est la première étape d'un vrai audit technique, et vous pouvez la faire vous-même avant de payer quelqu'un pour aller plus loin.

1. Ce qu'un crawler fait en réalité

Un crawler part de votre page d'accueil. Il télécharge le contenu HTML et cherche tous les liens (href) qui pointent vers votre domaine. Il suit chaque lien, toujours à partir de la page d'accueil : d'abord tous les liens de premier niveau, puis tous les liens qu'il trouve sur ces pages, et ainsi de suite. À chaque page, il note le code HTTP (200 si OK, 404 si absent, 500 si erreur serveur), le titre, la meta description, le temps de chargement, la présence d'une balise H1, les images, les vidéos, les scripts externes. Tout est enregistré.

Le robot s'arrête soit parce qu'il a exploré la limite que vous avez fixée (par exemple, les 500 premières pages), soit parce qu'il n'y a plus de lien à suivre. Les pages qu'il n'a pas trouvées (parce qu'aucune autre page ne les pointait) ne sont pas crawlées. C'est un détail important : un bon crawl vous montre ce que le site rend accessible, pas ce qui existe en base de données.

2. Ce que vous découvrez toujours à la première passe

Les crawls révèlent les mêmes défauts partout : pages en erreur 404 dont d'autres pages internes pointaient, créant des trous dans le maillage ; redirections en chaîne (page A redirige vers B, qui redirige vers C) là où une seule aurait suffi ; titres vides ou identiques sur plusieurs pages ; pages dupliquées par des paramètres d'URL (un filtre de couleur crée trois variantes de la même page) ; images sans texte alternatif, qui sont invisibles aux moteurs et aux lecteurs d'écran ; pages extrêmement lentes ; contenus identiques sur plusieurs adresses différentes.

Vous verrez aussi un type d'erreur moins grave mais instructif : des pages sans aucun lien entrant interne (pages orphelines). Elles existent, mais le site ne les recommande à personne. Une page orpheline, ce n'est pas une erreur de code, c'est une erreur de structure narrative : vous avez créé une page, mais la route pour y accéder n'est pas balisée.

3. Comment ne pas se perdre dans le rapport

Un rapport de crawl peut afficher plusieurs milliers de lignes. Votre réflexe instinctif sera de trier par « gravité » ou « nombre d'erreurs ». C'est une erreur stratégique. Triez plutôt par audience : quelles sont les pages qui reçoivent du trafic aujourd'hui, et ont-elles un problème ?

Une page 404 sur une page que personne ne visite, c'est de l'ordre du « un jour peut-être ». Une page 200 OK mais sans titre sur une page qui reçoit 500 clics par mois, c'est une fuite immédiate. Vous ne corrigerez jamais toutes les erreurs du site : vous corrigerez d'abord celles qui coûtent du trafic ou des conversions.

Le crawler exporte une liste : domaine, code HTTP, titre, description, longueur du contenu, temps de réponse, profondeur (nombre de clics depuis la page d'accueil), nombre de liens internes qui pointent vers cette page, nombre de liens qu'elle contient. Vous pouvez importer ces données dans un tableur, ajouter une colonne « trafic mensuel » en les joignant avec Google Search Console, et trier.

4. Ce que le crawler ne vous dit pas

Un crawler mesure la structure technique. Il ne vous dit rien sur deux questions qui décident de tout : est-ce que cette page sert à quelque chose, et est-ce qu'elle répond à ce que quelqu'un cherche.

Une page peut être techniquement impeccable (titre bon, meta description remplie, contenu long, temps de réponse rapide) et ne convertir personne parce que le message ne correspond pas à ce qu'on lui demande. C'est une question de contenu et de stratégie, pas de technique. Un crawler ne le voit pas. Vous le verrez en relisant vos pages, en comparant avec ce que Google classe sur ce sujet, en observant quelle intention de recherche vous avez ciblée et si vous l'avez satisfaite.

Le crawler ne mesure pas non plus la qualité du maillage interne. Vous pouvez avoir une redirection en chaîne (A redirige vers B, qui redirige vers C) et le crawler vous alertera sur le nombre de taps. Mais il ne vous expliquera pas si cette chaîne dessert vraiment une stratégie (vous avez fusionné deux contenus et dû conserver les anciennes URLs) ou si elle est un accident (un développeur a oublié une ligne 301 quelque part). C'est à vous de lire, de comprendre et de décider.

5. Ce que vous ferez cette semaine

Choisissez un crawler simple (Screaming Frog SEO Spider en version gratuite permet de tester 500 pages, ce qui suffit pour un site petit ou moyen). Lancez un crawl sur votre domaine principal. Attendez une heure. Exportez le rapport en CSV.

Ouvrez l'export. Cherchez d'abord les erreurs (code HTTP autres que 200, 301, 302) : n'y a-t-il là que des pages destinées à disparaître, ou y a-t-il une page qui devrait exister et qu'on a laissée se perdre ? Cherchez les pages sans titre ou avec un titre vide. Cherchez les doublons (plusieurs adresses avec le même contenu).

Vous tenez là votre premier diagnostic technique réel, sans frais. Vous savez maintenant si votre site est une maison bien rangée ou s'il y a des pièces fermées, des escaliers en spirale, des portes qui ne vont nulle part. Ce n'est pas une solution, c'est une information. Mais c'est l'information qui décide de tout avant de construire quelque chose de neuf.