“To crawl” en anglais ou ramper, se faufiler en français. Un verbe que l’on peut tout de suite associer aux surnoms d’Internet comme le web ou la toile : naviguer sur Internet, c’est un peu se déplacer comme une araignée sur sa toile. Et plus les chemins sont courts et rapides, plus votre référencement naturel en profite.

Définition du budget crawl

Le budget crawl, c’est le nombre de pages de votre site présentes sur les moteurs de recherche que les robots de Google, les “Googlebots”, vont explorer en un temps limité. Les robots “crawlent” sur les moteurs de recherche pour visiter et définir la manière dont les sites qu’ils visitent vont se classer en fonction de leur contenu et de leur performance. Les bots ne font pas qu’un seul passage, cela leur est impossible : ils reviennent explorer régulièrement. Plus votre site est facile à naviguer, plus le budget crawl sera efficace et mieux les bots vous positionneront, il est donc important de ne pas le gaspiller.

Cependant, le budget crawl ne touche pas tous les sites. Comment savoir si vous êtes concerné ? Google s’est exprimé sur le sujet : “ Le budget crawl n’est pas une chose dont la plupart des détenteurs de sites auront à s’inquiéter. Si le site a moins d’une paire de milliers d’URLs, il sera crawlé efficacement.”. 

Si vous êtes dans ce cas et que vous souhaitez tout de même améliorer votre référencement naturel, les conseils suivants ne peuvent qu’aider votre optimisation SEO.

Les critères pris en compte par le budget crawl et comment les optimiser 

En optimisant votre site et votre stratégie de référencement, vous aiderez les bots Google à indexer efficacement votre contenu le plus crucial. Ils trouveront plus rapidement les pages importantes de votre site et si tout est fluide, cela vous fera remonter dans le classement des “SERPs”, les Search Engine Result Pages / pages de résultats des moteurs de recherche.

Pour être efficace dans votre optimisation, il faut d’abord connaître les critères évalués par les bots. Ils ne sont pas tous connus du grand public, mais Google a révélé quelques lignes directrices. Voici les éléments pris en compte et comment les améliorer pour influencer votre référencement naturel :

• La profondeur du site : Votre site est construit selon une certaine architecture avec les contenus importants idéalement placés le plus haut possible. Plus une page a besoin de clics pour être atteinte, plus elle va être profonde. Hors plus elle est profonde, moins elle est atteignable rapidement par les bots. Elle ne sera alors pas visitée et classée aussi souvent que vos pages classées plus haut dans l’architecture du site. On va donc chercher à ce que les bots soient le moins distraits possible en visitant les pages et perdent moins de temps précieux à votre classement. La solution principale à ce problème de profondeur est un point phare des stratégies d’optimisation SEO : le maillage interne. 

Le maillage interne, c’est ce qui arrive quand vous reliez deux pages de votre site entre elles grâce à un lien hypertexte. Cela permet à votre visiteur de naviguer de manière fluide sans avoir à aller dans une barre de recherche, vous lui suggérez de manière non intrusive du contenu et son chemin sur votre site est donc raccourci. Cela va de même pour les bots : si les contenus sont cohérents entre eux et reliés par des liens pertinents, les bots n’auront pas besoin d’aller trop en profondeur et indexeront plus rapidement vos pages. 

Attention cependant à vérifier que vos liens sont tous d’actualité, il est préférable que les bots ne rencontrent pas de culs-de-sac.

• La rapidité du site/de chargement du site : Plus votre site est lent, moins votre budget crawl sera optimisé. Google valorise l’UX, ou l’expérience utilisateur et s’il voit que votre site n’est pas performant, les bots passeront moins souvent et y accorderont moins d’importance. Du côté des visiteurs, si votre site met trop de temps à charger, il est courant que la frustration s’installe et qu’ils abandonnent pour aller chercher leur contenu ailleurs. C’est donc une double perte, qui peut cependant être amortie. Vous pouvez par exemple optimiser les supports médias utilisés sur votre site, qui sont le plus souvent des photos et des vidéos. Il existe de nombreux outils qui vous permettent de compresser la taille de vos photos : celles-ci prendront donc moins de temps à charger. En ce qui concerne les vidéos, la solution la plus courante pour accélérer leur chargement est de ne pas les insérer directement sur votre page mais de rediriger le visiteur vers sa plateforme d’hébergement, le plus souvent Youtube. 

• Fréquence de mise à jour : Il est possible que votre site soit stagnant, les bots en concluent alors qu’ils n’ont pas besoin de venir ré-indexer les pages. Mais si votre site n’est pas statique et qu’il est actualisé régulièrement, les bots viendront explorer le nouveau contenu et relanceront l’indexation.

• Qualité du contenu : Il ne suffit pas de publier régulièrement, il faut que votre contenu soit unique. Un des pires ennemis des bots et de votre référencement naturel est le contenu dupliqué. Tout comme pour un site non-actualisé, les bots vont identifier des contenus identiques et ils ne sauront pas lequel indexer. Pour leur faire gagner du temps, vous pouvez donc minimiser le contenu dupliqué ou vous pouvez simplement empêcher les bots de venir indexer certaines pages, cela évitera d’utiliser du crawl budget “pour rien” et vous pourrez choisir le contenu à mettre en avant. Pour une plus grande cohérence entre vos créations, n’hésitez pas à définir une ligne éditoriale pour votre site.