Pour communiquer votre sitemap à Google ainsi qu’à d’autres moteurs de recherche, vous devez indiquer son emplacement dans votre fichier robots.txt. Il contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d’indexation des moteurs de recherche. Par convention, les robots consultent robots.txt avant d’indexer un site Web.
Cette étape est une étape majeure afin d’éviter le duplicate content…
Pour info, cet article fait partie du dossier « 10 choses à faire après l’installation de WordPress ».
Comment créer un fichier robots.txt
La création du fichier robots.txt n’a rien de bien compliqué en soi, il suffit juste de comprendre un peu les bases. Aussi, beaucoup de site sur Internet vous propose leur service ou quelques exemples.
Google a de très bons outils pour vous aider à comprendre la création d’un fichier robots.txt, vous pouvez par exemple :
- Créer un fichier robots.txt manuellement
- Générer un fichier robots.txt
- Tester votre fichier robots.txt
Un plugin existe aussi, il s’agit de Robots Meta. Il vous aidera à ne pas indexer les domaines inutiles de votre blog comme : les flux des commentaires, toutes les pages d’administration, les archives de l’auteur et beaucoup plus.
D’autres sources peuvent aussi vous aider, à savoir :
Des problèmes ? Une erreur ? Quelque chose à rajouter ? N’hésitez pas à laisser un commentaire, ils sont là pour ça !
12 mai 2010 at 12 h 16 min
indispensable pour le bon fonctionnement de tous les sites web
25 octobre 2010 at 16 h 44 min
Moi j’ai télécharger Robots Meta, dommage qu’il soit en anglais
.
31 décembre 2010 at 11 h 15 min
Pour un blog wordpress, quelles sont les répertoire qu’il faut listée dans le robot.txt afin de ne pas les faire référencer ?
31 décembre 2010 at 11 h 18 min
@Franck : voici un petit exemple du mien
Disallow: /cgi-bin/
Disallow: /wp-
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /tag/
Disallow: /search
31 décembre 2010 at 12 h 09 min
merci