Aujourd’hui dans ce billet nous allons parler Robots.txt. Qui dit robots.txt dit crawl et qui dit crawl dit Google (vous savez la société appartenant à Alphabet!).
Google lit le JavaScript et les CSS
Depuis maintenant quelques mois, Google propose dans son outil pour les webmasters, Search Console, une fonction permettant d’analyser les ressources qui empêchent ses spiders d’analyser et de comprendre parfaitement une page. Vous ne le savez peut-être pas, mais Google lit de mieux en mieux les fichiers CSS et JS. Il est difficile de savoir jusqu’à quel point mais vous pouvez vous faire une idée en utilisant la fonction « Explorer et Afficher comme Google » dans Google Webmaster Tools.
Maintenant que Google sait lire, il parait logique qu’il ne souhaite plus être bloqué. Apprenez la lecture à un enfant et retirez-lui tous ses livres ! D’autant qu’ici l’enfant c’est Google. Et vous n’êtes pas sans savoir que son désir de connaissances ne peut être assouvi. Google a donc mis en place de nouvelles alertes sur Search Console permettant de prévenir un site que certaines ressources CSS et JS ne lui sont pas accessibles (Index Google > Ressources bloquées). Altérant alors sa compréhension de sa page et donc ses capacités à l’indexer et à bien la positionner.
Libérer les ressources bloquées via le robots.txt
Ces ressources sont généralement bloquées au niveau de votre Robots.txt. Souvenez-vous, il fut un temps où nous interdisions l’accès aux robots aux dossiers comprenant JS et CSS afin de limiter le crawl et l’orienter. En même temps, à quoi bon donner un livre à une personne qui ne peut le lire ? Mais ce temps est révolu, Google sait lire et veut lire ! Alors il est grand temps d’ouvrir les vannes.
Mais ATTENTION !
Il est possible que certains fichiers JS aient été mis en place justement dans le but de bloquer l’accès aux robots. Il serait alors dommage de réduire à néant la maitrise de votre indexation. D’autant que quand il s’agit d’indexation, souvenez-vous qu’il est toujours plus facile d’indexer que de désindexer un contenu (N’est-il pas plus simple de ne pas savoir quelque chose que de s’efforcer à oublier ?).
Maîtriser son indexation
La méthode la plus simple est d’analyser l’impact du JS et du CSS sur votre indexation. Puis de maintenir le Disallow dans votre fichier robots.txt et d’ajouter la fonction Allow sur certains fichiers ou sous-répertoires. Permettant ainsi d’ouvrir progressivement les yeux de Google. (N’hésitez pas à utiliser la fonction « Outil de test du fichier robots.txt »).
Et puis rappelez-vous, si vous avez des doutes ou besoin d’aide, je connais une agence SEO très compétente qui se fera un plaisir de vous aider !