Googlebot, le robot du moteur de recherche de Google, a absolument besoin de pouvoir accéder au fichier robots.txt des sites pour pouvoir les référencer dans les meilleures conditions. Pourtant il n'y parvient pas dans 26% des cas.

C'est assez surprenant, mais Google l'a affirmé lors du Google Webmaster Conference Product Summit qui s'est tenu dernièrement.

Dans 20% des cas, le fichier robots.txt est inaccessible à Googlebot, et dans 5% des cas, il génère une erreur 5xx.

Lorsque le robots.txt est inaccessible, le robot de Google va quand même essayer d'indexer le site. Mais il va alors parcourir toutes les URLs qui lui sont 'visibles' et de ce fait référencer des pages de façon plus ou moins pertinentes.

Mais, rappelle Google, si le robot rencontre une erreur 5xx, alors le site ne sera pas du tout analysé.

Source : growmap.com