Accueil ActuWeb Comment créer un fichier robots.txt

Comment créer un fichier robots.txt

303
5

Pour communiquer votre sitemap à Google ainsi qu’à d’autres moteurs de recherche, vous devez indiquer son emplacement dans votre fichier robots.txt. Il contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d’indexation des moteurs de recherche. Par convention, les robots consultent robots.txt avant d’indexer un site Web.

Cette étape est une étape majeure afin d’éviter le duplicate content

wordpress

Pour info, cet article fait partie du dossier « 10 choses à faire après l’installation de WordPress ».

Comment créer un fichier robots.txt

La création du fichier robots.txt n’a rien de bien compliqué en soi, il suffit juste de comprendre un peu les bases. Aussi, beaucoup de site sur Internet vous propose leur service ou quelques exemples.

Google a de très bons outils pour vous aider à comprendre la création d’un fichier robots.txt, vous pouvez par exemple :

– Créer un fichier robots.txt manuellement

– Générer un fichier robots.txt

– Tester votre fichier robots.txt

Robots

Un plugin existe aussi, il s’agit de Robots Meta. Il vous aidera à ne pas indexer les domaines inutiles de votre blog comme : les flux des  commentaires, toutes les pages d’administration, les archives de l’auteur et beaucoup plus.

D’autres sources peuvent aussi vous aider, à savoir :

Comment ça marche

Wikipédia

Des problèmes ? Une erreur ? Quelque chose à rajouter ? N’hésitez pas à laisser un commentaire, ils sont là pour ça !

5 Commentaires

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici