Comment créer un fichier robots.txt

Robot_txt

Pour communiquer votre sitemap à Google ainsi qu’à d’autres moteurs de recherche, vous devez indiquer son emplacement dans votre fichier robots.txt. Il contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d’indexation des moteurs de recherche. Par convention, les robots consultent robots.txt avant d’indexer un site Web.

Cette étape est une étape majeure afin d’éviter le duplicate content

wordpress

Pour info, cet article fait partie du dossier « 10 choses à faire après l’installation de WordPress ».

Comment créer un fichier robots.txt

La création du fichier robots.txt n’a rien de bien compliqué en soi, il suffit juste de comprendre un peu les bases. Aussi, beaucoup de site sur Internet vous propose leur service ou quelques exemples.

Google a de très bons outils pour vous aider à comprendre la création d’un fichier robots.txt, vous pouvez par exemple :

– Créer un fichier robots.txt manuellement

– Générer un fichier robots.txt

– Tester votre fichier robots.txt

Robots

Un plugin existe aussi, il s’agit de Robots Meta. Il vous aidera à ne pas indexer les domaines inutiles de votre blog comme : les flux des  commentaires, toutes les pages d’administration, les archives de l’auteur et beaucoup plus.

D’autres sources peuvent aussi vous aider, à savoir :

Comment ça marche

Wikipédia

Des problèmes ? Une erreur ? Quelque chose à rajouter ? N’hésitez pas à laisser un commentaire, ils sont là pour ça !

5 Replies to “Comment créer un fichier robots.txt

  1. Pour un blog wordpress, quelles sont les répertoire qu’il faut listée dans le robot.txt afin de ne pas les faire référencer ?

  2. @Franck : voici un petit exemple du mien

    Disallow: /cgi-bin/
    Disallow: /wp-
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/feed/
    Disallow: /tag/
    Disallow: /search

Comments are closed.