Depuis mi-2021, beaucoup de référenceurs et de webmasters font face à un mur en ce qui concerne l’indexation de leur site sur Google. Agences, éditeurs de sites, particuliers… Tous ont eu de grandes chances de se retrouver confronter au même problème : certaines pages fraîchement mises en ligne refusent de s’indexer sur le moteur de recherche.
Même si aucune solution officielle n’a été trouvée pour forcer l’indexation des pages web récalcitrantes, Google a tout de même proposé une alternative avec une API permettant à une application externe d’interagir avec la Search Console.
Lancement de l’API d’inspection d’URL de la Google Search Console
Annonce officielle
En effet, Google l’a annoncé officiellement le 31 janvier : une API de la fonctionnalité de l’inspection d’URL de la Google Search Console est désormais disponible.
L’API permet désormais d’ouvrir un accès aux données relatives à l’outil d’inspection d’URL déjà présent sur l’interface de la Google Search Console. Une bonne nouvelle pour les développeurs d’outils SEO puisque cette API permet ainsi de récupérer et d’externaliser toutes les données de la Search Console directement sur des outils externes.
À quoi sert cette API ?
Lors de l’annonce, Google n’a pas tardé à présenter les différentes utilités de cette nouvelle API sur Google Search Central.
Celle-ci permettrait ainsi aux développeurs et aux référenceurs de vérifier l’état d’indexation des URL, de débugger et d’optimiser leurs pages web.
En développant cet outil, Google s’est rapproché de divers consultants SEO et éditeurs pour cerner les besoins auxquels l’outil pourrait répondre. Ainsi, Google a décelé deux potentiels cas d’utilisation principales :
- « Les outils et agences de référencement peuvent fournir une surveillance continue des pages importantes et des options de débogage pour une seule page. Par exemple, vérifier s’il existe des différences entre les canonicals déclarées par l’utilisateur et celles sélectionnées par Google, ou déboguer les problèmes de données structurées d’un groupe de pages.
- Les développeurs de CMS et de plugins peuvent ajouter des aperçus au niveau des pages ou des modèles et des vérifications continues pour les pages existantes. Par exemple, le suivi des changements au fil du temps pour les pages clés pour diagnostiquer les problèmes et aider à prioriser les corrections. »
Au-delà des cas d’utilisations présentés ci-dessus, l’API permettra surtout aux développeurs de proposer une remontée et un traitement des données de l’inspection d’URL plus efficace que le traitement URL par URL proposé sur la Search Console.
Rappelons cependant que cet outil ne permet pas de forcer l’indexation d’une page au sein des résultats de recherche, seulement de vérifier son état d’indexation.
Une utilisation limitée
Néanmoins, au-delà du potentiel prometteur que pourrait avoir l’API, il est à noter que l’utilisation de celle-ci est limitée puisqu’elle dispose du quota d’utilisation suivant :
- Un maximum de 2 000 requêtes par jour,
- Et un maximum de 600 requêtes par minute.
Intégration de l’API sur Screaming Frog
Screaming Frog, le célèbre outil de crawl, a été très réactif puisque, seulement quelques jours après l’annonce de Google, l’API a directement été intégré sur l’outil pour la mise à jour 16.6 du 3 février. Une réactivité bienvenue, surtout compte tenu des soucis d’indexation auxquels les SEO font face depuis quelques mois.
Comment connecter l’api sur Screaming Frog ?
Pour connecter l’API sur l’outil, il faut effectuer la marche à suivre suivante.
Cliquez sur Configuration > Accès à l’API > Google search console.
Dans la nouvelle fenêtre, connectez votre compte Google Search Console en cliquant sur le bouton correspondant et choisissez la propriété que vous souhaitez analyser.
Une fois votre compte Google Search Console raccordé à Screaming Frog, n’oubliez pas d’aller dans URL Inspection et cochez la case « Enable URL Inspection » puisque celle-ci est décochée par défaut.
Vous pouvez désormais lancer un crawl du site de votre choix et les données d’Inspection d’URL de la Search Console devraient apparaître dans votre analyse.
La valeur ajoutée de Screaming Frog pour l’inspection d’URL
Une fois le crawl de votre site terminé, les données de l’inspection d’URL s’afficheront dans le tableau de résultat du crawl avec le résultat de l’état d’indexation des URL, ligne par ligne.
En somme, cette seule fonctionnalité pourrait représenter un gain de temps précieux et considérable pour tous les SEO puisque les résultats sont disponibles en un crawl. Malheureusement, la fonctionnalité se basant sur l’API fournie par Google, celle-ci reste limitée par le quota des 2 000 requêtes par jour imposé.
Rappelons, cependant, que l’outil d’inspection d’URL natif de la Search Console pouvait être très chronophage puisque celui-ci ne permettait de vérifier l’état d’indexation qu’URL par URL et non sous forme de liste ou de tableau. La nouvelle fonctionnalité de Screaming Frog représente donc une réelle valeur ajoutée.
Comment faire face à la limite d’usage de l’API Google ?
Dans le cas où le site que vous souhaitez analyser contiendrait plus de 2 000 URL, Screaming Frog va, par défaut, retourner la donnée d’inspection d’URL sur les 2 000 premières URL visitées.
Dans ce cas d’usage, pour contourner cette limitation et avoir un rapport d’analyse pertinent, il est possible d’analyser une section spécifique de votre site grâce aux fonctionnalités d’inclusion / exclusion du panneau Configuration. Cela peut s’avérer utile puisque, pour un site de grande ampleur, rien ne vous empêche d’analyser alors votre site par silo.
Quels sont les différents types d’état d’indexation ?
En fonction de l’état de vos URL, Screaming Frog peut, au cas par cas, retourner les résultats suivants :
- Submitted and indexed : la page ne présente pas de problème et est indexée par Google.
- Indexed, not submitted in sitemap : la page est indexée mais ne figure pas dans le sitemap.
- URL is not on Google : la page n’est pas indexée et ne sera pas visible dans les résultats de recherche.
- Indexable URL not indexed : Screaming Frog considère l’URL comme indexable mais ne l’est pas par Google. Cela peut concerner les pages connues mais non explorées par Google comme les pages inconnues.
- Discovered – currently not indexed : la page est connue de Google mais n’est pas indexée.
- User-Declared Canonical not selected : Google n’a pas pris en compte la balise canonical et a indexé une autre page.
- URL is on Google, But Has Issues : la page est indexée mais la Search Console retourne des problèmes relatifs à l’ergonomie mobile, à l’AMP ou aux résultats enrichis.
En plus de relever l’état d’indexation des URL ci-dessus, la nouvelle mise à jour permet également de retourner notamment les données de la Search Console relatifs aux problèmes d’ergonomie mobile, d’AMP ou de résultats enrichis. Il permet également, si besoin, de déceler les canonicals déclarées par le webmaster et les canonicals choisies arbitrairement par Google.
Conclusion
Il n’aura pas fallu longtemps à Screaming Frog pour réagir à l’annonce du lancement de l’API d’inspection d’URL de la Google Search Console. Quelques jours seulement après l’annonce de Google, la fonctionnalité est déjà présente sur l’outil de crawl.
Malgré la limitation d’utilisation imposée par Google, l’ajout de la fonctionnalité sur Screaming Frog représente tout de même une véritable valeur ajoutée par rapport à la fonctionnalité native sur la Search Console. Nul doute que le lancement de cette nouvelle API apporte son lot de possibilités prometteuses supplémentaires lorsqu’elle sera intégrée dans davantage d’applications externes.
Pour vous aider à mieux indexer et positionner vos pages, n’hésitez pas à contacter nos agences SEO à Lille et Paris !
