GoogleBot
Le nom GoogleBot est attribué aux robots d'indexation du moteur de recherche Google. D'une manière générale, ce nom est attribué au robot utilisé par Google lorsqu'il visite un site.
GoogleBot sert à indexer et analyser les pages web. Il existe d'autres noms attribués aux autres robots utilisé par les services Google, tel que Mediabot pour le robot de Google AdSense.
Ce nom à une importance particulière si vous souhaitez bloquer ou vérifier l'accès à ce robot en particulier. En utilisant ce nom et une commande particulière dans le fichier robots.txt il est par exemple possible de bloquer l'accès d'un dossier ou du site entier à Google.
Supprimer l'accès de votre site à Google
La commande suivante doit-être ajoutée au fichier robots.txt:Code:
User-agent: Googlebot Disallow: /
Autoriser l'accès uniquement à Google
La commande suivante doit-être ajoutée au fichier robots.txt:Code:
User-agent: * Disallow: / User-agent: Googlebot Disallow:
Partager :
Faire un lien :
