Le contrôle des contenus indexés est primordial pour le bon référencement de votre site. Pourquoi et comment désindexer certaines url peut-il améliorer la visibilité de ce dernier ? Avant de nous plonger dans les méthodes, commençons par comprendre un élément essentiel : c’est quoi l’URL d’un site ?
C’est quoi l’URL d’un site ?
L’url (Uniform Resource Locator) représente l’adresse d’une page d’un site web. Elle permet de localiser une page parmi toutes les autres présentes sur internet.
Elle est composée de cinq composants essentiels :
- Le protocole : la façon dont les utilisateurs peuvent accéder aux pages de votre site internet est décrite dans le protocole. Les plus courants sont https, http et ftp.
- Le sous-domaine indique quelle section particulière de votre site doit être affichée.
- Le nom de domaine principal de votre site Web permet aux visiteurs de savoir de quoi il parle. Sur notre site, il s’agit de slashr.fr.
- Le répertoire indique la section particulière du site sur laquelle se trouve l’utilisateur. Il est sous la forme « /répertoire ».
Votre visibilité sur Internet dépend de votre url. Elle permet aux moteurs de recherche d’identifier très précisément le contenu d’une page internet.
Pour y parvenir, il est nécessaire d’intégrer les informations spécifiques à une page, notamment ses mots clés, à l’url.
Si l’on considère que l’url est l’adresse de la maison, l’extension donne directement accès à la pièce de la maison.
Pourquoi est-il important de désindexer ?
Parfois, du contenu confidentiel est indexé à votre insu depuis votre site ou même le site d’un de vos partenaires. Dans ce cas, il est préférable de retirer de l’index ces contenus indésirables.
La suppression de l’index est une technique SEO qui consiste à retirer des pages d’un site web de l’index des moteurs de recherche.
Elle optimise l’expérience utilisateur en empêchant le contenu de faible qualité d’apparaître dans les résultats de recherche.
Cet algorithme pénalise les sites qui ont des pages sans valeur. Les contenus de mauvaise qualité sont souvent la cause.
Parmi les pages indésirables les plus souvent indexées, on retrouve le plus souvent :
- Les pages de résultats internes
- Les pages dupliquées
- Les contenus obsolètes
Pour davantage de renseignements sur la désindexation, n’hésitez pas à consulter notre article.
Méthodes de désindexation
Utilisation de la balise « noindex »
Il existe deux méthodes pour utiliser la règle noindex :
- La balise <meta>.
- La réponse HTTP.
Vous pouvez également utiliser “noindex” avec d’autres règles. Par exemple, vous pouvez connecter un indicateur nofollow à une règle noindex afin de bloquer le crawl :
<meta charset= »utf-8″ content= »noindex, nofollow »/>
Placez la balise suivante dans la section <head> pour empêcher l’indexation d’une page par tous les moteurs de recherche :
<meta charset= »utf-8″ content= »noindex »>
Utilisez la balise ci-dessous pour bloquer uniquement les robots Google :
<!-meta name= »googlebot » content= »noindex »–>
Il est important de comprendre que certains moteurs de recherche peuvent interpréter différemment la règle noindex. Par conséquent, votre page sera toujours présente dans leurs résultats.
Désindexer avec l’en-tête HTTP
L’en-tête HTTP X-Robots-Tag avec une valeur “noindex” ou “none” peut être utilisé à la place d’une balise <meta> pour empêcher l’indexation des ressources non HTML comme les fichiers PDF, vidéo et image.
Pour y parvenir, veuillez intégrer ce code dans le fichier .htaccess à la racine du site :
HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)
Les pages web ne sont pas désindexées immédiatement après leur suppression.
Utilisez les codes 404 ou 410 pour confirmer la suppression à Google de son index. Utilisez la balise canonical pour éviter les sanctions pour du contenu dupliqué.
Chaque page dupliquée contient une balise dans la section <head> qui indique à Google de ne considérer que la page principale, dont l’url est indiquée dans la balise.
Désindexer via le Robots.txt
Afin d’optimiser au mieux son budget de crawl, un fichier robots.txt dirige les robots de recherche des moteurs de recherche vers les url accessibles de votre site. Vous pouvez les diriger grâce à la fonction allow et disallow.
Cependant, il ne sert pas à empêcher une page Web d’apparaître dans les résultats de recherche Google. En effet, il va avant tout empêcher les robots d’indexation de crawler certaines pages, mais si ces dernières ont été indexées au préalable et que vous recourez à cette méthode, elles ne seront pas désindexées du moment que les robots ne verront pas le “noindex” dans le code source des pages.
Si vous avez commis cette erreur, veuillez suivre les étapes suivantes :
- Ajustez votre robots.txt afin qu’il allow la page en question
- Attendez que la page soit désindexée
- Remettez en place le disallow
II a en revanche certaines limites. Cela ne fonctionne pas avec tous les moteurs de recherche. Tous les robots d’exploration ne respectent pas les instructions. Si une page est référencée ailleurs, elle peut également y être indexée.
Désindexer rapidement une page sur Google
Utilisation de Google SafeSearch
Les propriétaires de sites Web peuvent gérer temporairement l’apparition de leurs url dans les résultats de recherche Google avec l’outil de suppression Google SafeSearch, accessible via la Search Console.
L’outil de Google permet notamment de bloquer temporairement des url particulières et de vérifier l’historique des demandes de suppression.
Il est utile afin de supprimer rapidement une url de l’index de Google ou mettre à jour les résultats lorsque le contenu a été modifié. Il ne garantit malheureusement pas la suppression définitive de l’url ou du contenu.
Il est par ailleurs possible de supprimer du contenu de votre site et de vous assurer que votre serveur web affiche un code d’état HTTP 404 (Introuvable) ou 410 (Déplacé) pour désindexer une url de manière permanente.
Comment pousser Google à re-crawler une page?
Il existe deux méthodes adéquates pour accélérer la désindexation de vos url sur Google :
- Utilisez l’outil d’inspection des url de Google Search Console pour examiner les url spécifiques. Notez que les demandes répétées n’accélèrent pas le processus et que vous êtes limité à un certain quota pour l’envoi d’url individuelles.
- Utilisez un sitemap pour un grand nombre d’url. Il aide Google à trouver les url qui doivent être désindexées.
Cependant, ces demandes ne vous garantissent pas une désindexation instantanée. En effet, ça peut prendre plusieurs jours ou semaines. Néanmoins, par rapport à l’attente passive du crawler de Google, ces techniques peuvent accélérer le processus de désindexation.
Comment éviter et corriger les erreurs courantes de désindexation
Précautions à prendre lors de la désindexation d’une url
Avant de procéder à la désindexation d’une url sur votre site, il est essentiel de peser les conséquences. En effet, assurez-vous que la page n’a pas de valeur pour le référencement SEO ou de liens de qualité.
Lors de l’utilisation de la balise « noindex », vérifiez que votre fichier robots.txt ne bloque pas l’accès aux pages concernées.
De plus, soyez conscient que la désindexation n’est pas immédiate, cela peut prendre un certain temps avant que les robots visitent votre site.
Si vous utilisez l’en-tête HTTP X-Robots-Tag pour désindexer des fichiers sans code source, faites-le avec prudence, car une mauvaise manipulation peut causer de gros problèmes d’indexation sur votre site.
Exemples d’erreurs courantes et comment les corriger
- Désindexation involontaire : Parfois, une page peut être désindexée par erreur. Pour corriger cela, assurez-vous d’avoir bien respecté les informations précédentes.
- Utiliser robots.txt pour désindexer n’est pas possible, car il empêche seulement le crawl.
Comment Vérifier la Désindexation d’une url?
Pour vérifier si une url a bien été désindexée, vous pouvez utiliser Google Search Console. Une fois dedans, utilisez l’outil d’inspection des url pour examiner l’url spécifique. Cela vous montrera si l’url est sur l’index Google.
Il vous est également possible d’effectuer une recherche sur Google en utilisant la requête « site:monsite.fr/ma-page ». Si la page n’apparaît pas dans les résultats, c’est qu’elle a bien été désindexée.
