Pour avoir un site qui propose un crawl optimisé mais aussi une bonne indexation aux
robots des moteurs de recherche tels que le Google Bot, il est indispensable de bien configurer son fichier
robots.txt.
Il est donc essentiel de donner les
bonnes directives aux robots dans le fichier robots.txt en suivant certaines règle.
Une de ces règles à suivre pour le robots.txt concerne l'
affichage du sitemap. Il est fortement recommandé de faire apparaître l'adresse du sitemap du site sous la forme :
sitemap: [absoluteURL]Il est bien noté qu'il faut afficher une URL absolue et non juste relative. Pour plus d'informations :
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=fr
Accueil 