L’analyse de logs est une opération qui peut s’avérer capitale pour comprendre comment les robots d’exploration de Google naviguent sur votre site. En effet, ce type d’analyse peut révéler des problèmes que vous n’aurez jamais pu découvrir avec un simple crawl ou encore en naviguant vous-même sur votre site.
Dans cet article, je vais vous présenter simplement quel est le but de l’analyse de logs et pourquoi elle peut radicalement changer la manière dont Google explore votre site. Pour commencer, voyons ce qu’est un fichier de logs.
Qu’est un fichier de logs ?
Un fichier de logs est généré par une variété d’appareils informatiques (applications, serveurs etc) lorsqu’une action s’est déroulée. En ce qui concerne votre site internet, votre serveur où est hébergé ce dernier enregistre toutes les visites qu’il reçoit et les inscrits dans les logs. Ainsi, le fichier de logs est pour vous le registre des visites de votre site. On y retrouvera les visites des humains comme des robots.
Les logs sont enregistrés selon des formats prédéfinis par des normes, comme ici celle du NCSA Common log format :
127.0.0.1 user-identifier frank [10/Oct/2000:13:55:36 -0700] « GET /apache_pb.gif HTTP/1.0 » 200 2326
- 127.0.0.1 correspond à l’adresse IP qui a fait une requête au serveur
- user-identifier est le user-agent utilisé, comme par exemple googlebot pour les robots de Google
- frank correspond à l’iduser, l’identifiant utilisé si votre site est protégé par une authentification
- [10/Oct/2000:13:55:36 -0700] est comme vous l’avez sûrement remarqué la date et l’heure exacte de la requête.
- GET /apache_pb.gif HTTP/1.0 est la ressource demandée : ici le gif nommé “apache_pb”
- 200 correspond au status code retourné, ici la ressource répond correctement
- 2326 correspond à la taille de la ressource
Le budget crawl, qu’est-ce que c’est ?
Le budget crawl correspond aux ressources que les robots d’exploration de Google (Googlebot) attribuent à votre site. Le budget crawl peut-être matérialisé en nombre de pages visitées ou en temps accordé à la visite de votre site.
Sachant qu’une page peut répondre en 0,3s ou en 5s selon les sites. La deuxième hypothèse semble la plus plausible. En effet, explorer le web coûte des ressources serveur à Google et donc de l’argent. C’est donc dans l’intérêt de tout le monde de veiller à ce que les robots de Google visitent les bonnes pages stratégiques de votre site.
Comment savoir facilement si j’ai besoin d’analyser les logs de mon site?
Les pages visitées par Googlebot et les pages réellement visitées par les internautes humains sont souvent bien différentes.
L’objectif pour tout SEO est de concentrer la majorité des visites de Googlebot sur les pages ayant un objectif de positionnement. Cependant, vous pouvez vous demander comment savoir si Googlebot visite vos pages stratégiques, que vous avez passé des heures à optimiser : la réponse est simple, l’analyse de logs.
Les outils d’analyse de logs étant généralement assez coûteux, il peut être intéressant de dégrossir le travail et de pouvoir observer d’un simple coup d’oeil si une analyse est critique ou non.
Pour cela, rendez-vous sur votre Search Console. Caché au fin fond de cette dernière se trouve le rapport sur l’exploration, un rapport de l’ancienne Search Console qui est encore disponible dans l’onglet “Anciens outils et rapports” de la sidebar à gauche de votre écran.
Le graphique qui nous intéresse est le suivant : “Pages explorées par jour”
La moyenne des pages explorées par jour devrait correspondre plus ou moins à votre nombre de page visitable par les robots d’exploration de Google (vous pouvez avoir un aperçu des pages indexées par Google en exécutant la recherche site:www.monsite.com sur Google, même si l’idéal est d’avoir un crawl de son site).
Ainsi, si Googlebot visite en moyenne 2500 pages de votre site par jour alors que vous n’en avez que 300, il y a un problème et l’analyse de logs est toute indiquée.
J’ai une différence importante entre le nombre de pages sur mon site et la moyenne des pages explorées par jour, qu’est-ce que cela veut dire ?
Si la différence est grande, cela veut dire que Googlebot explore des pages de votre site dont vous n’avez pas connaissance. Cela peut s’expliquer de plusieurs manières, voici les plus communes ;
- Une pagination mal gérée
- Des filtres à facette mal configurés
La manière la plus efficace de résoudre ces problèmes est de procéder à une analyse de vos logs.
FAQ
Comment bloquer l’accès de certaines URL à Googlebot?
Pour bloquer l’accès à Googlebot sur certaines pages, il est recommandé d’utiliser le fichier robots.txt.
Quels outils d’analyse de logs utiliser ?
Les outils d’analyse de logs les plus connus sont Oncrawl, Botifiy ou encore SEOlyzer pour les petits budgets.
Analyser ses logs, à quoi ça sert ?
Analyser ses logs permet d’identifier rapidement les pages visitées par les robots d’explorations.