Comment bloquer un site Web particulier dans les moteurs de recherche Google?

Pour bloquer un site Web particulier sur votre serveur d'hébergement de Google et d'autres robots des moteurs de recherche, vous pouvez créer un fichier «robots.txt» pour le répertoire principal du site Web. Un fichier robots.txt indique aux robots des moteurs de recherche d'analyser ou d'éviter les sites hébergés sur un serveur Web. Spécifiez l'agent utilisateur, tel que GoogleBot, pour bloquer ou utiliser un caractère générique pour bloquer le site de tous les araignées. Vous pouvez également insérer la métabalise «noindex» dans le code HTML pour empêcher les moteurs de recherche d’indexer une seule page de votre site.

Fichier Robots.txt

1.

Ouvrez une page vierge dans un éditeur de texte, tel que le Bloc-notes.

2

Tapez ou copiez et collez le code suivant dans le fichier texte. Ce code empêche les robots d'indexation d'indexer tous les dossiers et sous-dossiers du site.

Agent utilisateur: GoogleBot Disallow: /

Utilisez le format suivant pour bloquer tous les moteurs de recherche à partir d'un dossier nommé «MyFolder» uniquement.

User-agent: * Disallow: / MyFolder /

3

Cliquez sur "Fichier", puis cliquez sur "Enregistrer". Tapez "robots.txt" dans le champ Nom du fichier, puis cliquez sur "Enregistrer" pour enregistrer le fichier.

4

Téléchargez le fichier robots.txt dans le répertoire pour le bloquer de Google et des autres moteurs de recherche de votre serveur Web.

Métabalise

1.

Ouvrez la page HTML à bloquer dans un éditeur de code.

2

Insérez la métabalise suivante juste après la balise:

3

Enregistrez le fichier, puis chargez la page de code sur votre serveur Web. La métabalise demande aux robots d'ignorer la page.

Conseils

• Pour indexer tout le contenu de votre site, évitez l’utilisation d’un fichier robots.txt. Le fichier n'est nécessaire que si vous souhaitez bloquer un ou plusieurs répertoires sur votre serveur d'hébergement.
• Vous pouvez bloquer l'indexation des fichiers d'image afin que vos images ne s'affichent pas dans Google Images. Utilisez le code suivant pour bloquer l'indexation GoogleBot de toutes les images GIF sur votre site:
• Agent utilisateur: Googlebot
• Interdit: /*.gif$

Avertissements

• Le fichier robots.txt peut être remplacé par des spammeurs peu scrupuleux et autres. Cependant, la plupart des entreprises légitimes respectent les règles spécifiées dans les fichiers robots.txt.
• Notez que différentes araignées peuvent interpréter les fichiers robots.txt de différentes manières.