Archives pour la catégorie Robots.txt

Blog Relevant Traffic

Relevant Traffic lance son blog.

Le blog est encore en développement, il est donc bloqué par un robots.txt.
Mais notre ami WordPress a une curieuse façon de traiter l’URL Rewriting : le .txt subit les différentes règles et se retrouve affublé d’un joli / en fin d’URL.

La grande question est donc : Comment Google interprète t’il un robots.txt/ ? est-ce un véritable fichier d’exclusion ou un simple répertoire parmi tant d’autres ?

Pour savoir : rien de mieux que d’indiquer le chemin à GoogleBot … vazy mon gars, fais toi plaisir 🙂

Blog SEO

Publier l’URL du SiteMap dans le fichier robots.txt

Le fichier Sitemap peut être déclaré simplement dans l’interface Webmaster de Google, mais il est également possible de déclarer son URL au sein du fichier robots.txt.

Pour cela, il suffit d’insérer la ligne suivante dans votre fichier :

Sitemap: URL-du-Sitemap

Fonctionnalité utile si et seulement si vous n’avez pas accès à l’interface Webmaster de Google !

Source
Info Google

Le débat principal tourne quand même autour de l’utilité du SiteMap … Si le site est bien monté, le robot se débrouillera tout seul pour explorer correctement le contenu !