Parmi les récentes nouveautés de fin d’année chez Google figure l’ajout du rapport robots.txt à sa Search Console (GSC).
Annoncée le 15 novembre sur le compte X, cette innovation va aider les webmasters et référenceurs SEO à optimiser l’indexation des sites internet et leur positionnement sur les SERP.
En revanche, exit l’outil de test du fichier robots.txt.
Un nouvel outil pour mieux indexer et référencer les sites web
Les paramètres de la Google Search Console s’enrichissent d’un nouvel élément : un rapport dédié aux fichiers robots.txt. Son rôle : fournir des informations détaillées sur les fichiers détectés par le moteur pour les 20 principaux hôtes du site, notamment la date de leur dernière exploration, ainsi que les erreurs ou avertissements éventuels rencontrés. En outre, en cas de besoin urgent, l’utilisateur a la possibilité de lancer une analyse ad hoc d’un fichier robots.txt.
Ces fonctionnalités sont d’une aide précieuse pour les spécialistes du référencement web et les gestionnaires de sites internet.
Il améliore l’identification et la compréhension des problèmes d’indexation, et en facilite la résolution. Pour un suivi plus poussé ou des questions techniques plus complexes, le recours aux services d’une agence SEO reste pertinent.
Les professionnels du monde entier peuvent d’ores et déjà exploiter ces fonctionnalités.
- Il leur suffit pour cela de se rendre dans les paramètres de la GSC et de cliquer sur « Ouvrir le rapport » pour contrôler l’état de leurs fichiers.
- Lorsque le robots.txt n’est pas valide, les « erreurs critiques » s’affichent.
Les experts recommandent par ailleurs de vérifier tous les robots. En effet, même un robots.txt valide et récupéré est susceptible de cacher des avertissements que le moteur a ignorés.
Disparition de l’outil de test du fichier robots.txt
À la suite de l’introduction du nouveau rapport sur sa Search Console, le géant américain a décidé de retirer l’outil de test du fichier robots.txt à compter du 12 décembre prochain, estimant qu’il n’a plus de raison d’être. Pour mémoire, cette option servait à indiquer si le fichier empêchait les robots du moteur de recherches d’explorer des URL spécifiques, erreur technique SEO souvent constatée .
Ce changement ne fait pas l’unanimité auprès des internautes, qui sont nombreux à s’être plaints sur la plateforme X du retrait imminent de leur accès à l’ancien outil.