Sitemap et robots.txt : guider les robots

Deux petits fichiers, que vos visiteurs ne verront jamais, décident en partie de ce que Google lit chez vous. Le premier, le sitemap, est la liste de vos pages. Le second, robots.txt, dit aux robots ce qu'ils ont le droit de parcourir. Ils sont simples, et c'est précisément pour cela qu'on les néglige : une ligne de trop dans l'un, une page oubliée dans l'autre, et un site entier peut rester invisible sans qu'aucune alerte ne s'affiche.

Le sitemap : la liste de vos pages

Le sitemap est un fichier, en général à l'adresse votre-site.fr/sitemap.xml, qui énumère les adresses que vous voulez voir indexées, avec pour chacune la date de sa dernière modification. Google ne l'exige pas, il découvre aussi les pages en suivant les liens, mais le sitemap accélère la découverte des pages nouvelles et signale celles qui ont changé. Pour un site de quelques dizaines de pages, c'est la garantie que rien n'est oublié.

• Il ne contient que des pages à indexer : pas les pages de remerciement, de connexion, de test, ni celles marquées « noindex ».
• Chaque adresse est la forme canonique, en https, celle qui répond 200 : jamais une adresse qui redirige.
• La date de modification est vraie. Une date dans le futur, ou une date changée sans que le contenu ait changé, apprend à Google à ne plus la croire.
• Il est déclaré dans Google Search Console, et mis à jour à chaque page créée ou supprimée.

Sur un site qui publie régulièrement, le sitemap peut être découpé en plusieurs fichiers (pages, articles, pages locales), réunis par un index : c'est ce qui permet de lire, dans Search Console, le taux d'indexation famille par famille, et de voir tout de suite où ça coince.

robots.txt : ce que vous autorisez

Le fichier robots.txt, à la racine du site, contient des règles par robot : ce qu'il peut parcourir, ce qu'il doit ignorer. Il sert à écarter les zones sans intérêt (un espace de gestion, des résultats de recherche interne) pour ne pas gaspiller le temps d'exploration. Il ne sert pas à cacher une page : une page interdite au robot peut quand même apparaître dans les résultats si d'autres sites y font un lien, sans description. Pour retirer une page, c'est la consigne « noindex » dans la page elle-même qu'il faut, pas robots.txt.

La ligne la plus dangereuse du web tient en deux mots : « Disallow: / ». Posée par défaut par certains outils pendant la construction du site, et oubliée à la mise en ligne, elle interdit tout, à tout le monde, en silence.

Depuis 2024, ce fichier a pris une importance nouvelle : les assistants d'intelligence artificielle (ChatGPT, Perplexity, Claude, Gemini) le lisent aussi, sous leurs propres noms de robots. Beaucoup de sites récents les bloquent, parfois sans le savoir, parce qu'un modèle de fichier copié en ligne les y interdisait. Un site qui veut être cité par ces assistants doit explicitement les autoriser ; c'est l'objet d'un élément à part dans le guide.

Ce qu'il faut faire

• Produire le sitemap automatiquement, ou par un script, jamais à la main sur un site qui bouge : un sitemap oublié vaut moins qu'aucun sitemap.
• Y mettre toute page nouvelle le jour même de sa mise en ligne. Une page absente du sitemap est indexable, mais souvent introuvable pendant des semaines.
• Déclarer le sitemap dans Search Console, et le redéclarer après une refonte.
• Relire robots.txt à chaque mise en ligne : rien d'interdit qui devrait être vu, et les robots des assistants d'IA autorisés.
• Ne pas contredire les deux fichiers : une page dans le sitemap ne doit pas être interdite par robots.txt, ni porter un « noindex ».

Comment le vérifier

Ouvrez votre-site.fr/sitemap.xml et votre-site.fr/robots.txt dans le navigateur : les deux doivent s'afficher, et se lire sans être expert. Comptez les adresses du sitemap et comparez au nombre de pages que vous voulez voir indexées. Dans Search Console, le rapport « Sitemaps » indique la date de dernière lecture et le nombre d'adresses découvertes ; le rapport « Pages » signale les adresses « bloquées par robots.txt » et celles « exclues par la balise noindex ». Si une page importante y figure, vous avez trouvé une fuite.

Sur nos réalisations, le sitemap est engendré par script et mis à jour à chaque publication, et le fichier robots.txt autorise nommément les robots des principaux assistants d'IA. C'est un réglage de départ ; ce qui compte ensuite, c'est qu'il tienne dans le temps.

Le faire vous-même, ou nous le confier

Cet élément fait partie des vingt-cinq du guide du référencement. Deux façons de passer à l'action, au choix.

Prix nets, TVA non applicable (article 293 B du CGI). Le premier échange est gratuit et sans engagement, le devis ferme est remis sous 48 heures. Toutes les formules : SEO INTERACT.