X-Robots-Tag, définition
Le X-Robots-Tag est un métatag utilisé par les robots d’indexation des moteurs de recherche pour l’indication des pages web à indexer ou non.
Le X-Robots-Tag est une balise qui permet aux propriétaires de sites internet de spécifier aux moteurs de recherche quelles pages doivent être indexées et quelles pages ne doivent pas l’être. Cette balise est aussi appelée « Métatag » ou « Tag Robots ».
Dans le contexte du référencement naturel (SEO), le X-Robots-Tag est un outil utile pour la gestion du contenu sur les sites web. Les propriétaires souhaitant empêcher ou autoriser l’indexation de certaines pages peuvent le faire grâce à cette balise.
Comment fonctionne le X-Robots-Tag ?
Le X-Robots-Tag est essentiellement un code placé dans le fichier HTTP header d’une page web qui indique aux robots d’indexation s’ils doivent ou non crawler et indexer une page donnée. Ce type de tag est très similaire à l’utilisation des directives robots txt.
Les propriétaires peuvent passer en paramètre divers arguments auxquels le robot d’indexation devra obéir. Certains des arguments couramment utilisés sont : noindex, nofollow, nosnippet, nodp, noarchive et notranslate. Ces arguments permettent respectivement d’empêcher l’indexation complète d’une page, l’exploration des liens contenus sur cette page, l’affichage du snippet dans Google, le partage des images sur Pinterest, la préservation des versions archivées de la page et l’interdiction de la traduction automatique de la page.
Les propriétaires peuvent également cibler l’utilisation de cette balise selon le type de robot : GoogleBot, Bingbot, Yahoo Slurp, etc. La syntaxe générale pour cela est : X-Robots-Tag: [argument] : [UA]. Dans cette chaîne, [argument] correspond à un des arguments déjà mentionnés, et [UA] à l’user agent du robot visé. Il est possible de cibler plusieurs robots différents à l’aide de cette même balise en les séparant par une virgule.
Exemples d’utilisation du X-Robots-Tag
- On empêche un moteur de recherche de crawler et d’indexer une page en émettant la commande X-Robots-Tag : noindex.
- On empêche un moteur de recherche d’explorer les liens externes d’une page en émettant la commande X-Robots-Tag : nofollow.
- On empêche l’affichage du snippet (la description affichée sous le titre dans les résultats de recherche) d’une page en émettant la commande X-Robots-Tag : nosnippet.
- On empêche la préservation des versions archivées d’une page en émettant la commande X-Robots-Tag : noarchive.
- On empêche la traduction automatique d’une page en émettant la commande X-Robots-Tag : notranslate.
- On cible un robot particulier pour lui appliquer une directive en émettant la commande X-Robots-Tag : noindex : Googlebot, où Googlebot correspond à l’user-agent du robot visé.
- On cible plusieurs robots pour leur appliquer une directive en émettant la commande X-Robots-Tag : noindex : Googlebot,Bingbot,YahooSlurp.
Quand utiliser le X-Robots-Tag ?
Parfois les propriétaires ont besoin d’empêcher l’indexation des pages web par les moteurs de recherche. En effet, il se peut que certains contenus soient sensibles et ne doivent pas apparaitre dans les résultats de recherche, comme par exemple les pages de connexion, les pages administratives, les pages de facturation, etc. Utiliser le X-Robots-Tag est alors une bonne solution puisque cela permet aux propriétaires de contrôler quelles pages seront indexées ou non par les moteurs de recherche.
Il est important de garder à l’esprit que le X-Robots-Tag ne garantit pas que vos pages ne seront pas indexées par les moteurs de recherche (dans certains cas, de petits extraits de contenu peuvent s’infiltrer dans les résultats de recherche). Cependant, l’utilisation de ce métatag est fortement recommandée car elle permet aux propriétaires de contrôler les informations affichées dans les résultats de recherche. Elle permet aussi aux moteurs de recherche de comprendre plus facilement le contenu des pages et d’adapter leur algorithme en conséquence.
Conclusion
Le X-Robots-Tag est une balise très utile qui permet aux propriétaires de sites web de définir explicitement si les moteurs de recherche peuvent ou non crawler et indexer leur contenu. Elle offre aux propriétaires une meilleure maîtrise de ce qui apparaitra ou non dans les résultats de recherche. Bien qu’elle ne puisse pas assurer que votre contenu ne sera pas indexé, elle permet aux moteurs de recherche de mieux comprendre le contenu des pages web et aide à optimiser leur classement.
