Budget Crawl : qu’est-ce que c’est ? Comment l’optimiser ?

Ces « bots » explorent votre site et ses contenus pour le classer au mieux dans les pages de résultats. On dit ainsi qu’ils « crawlent » votre site internet. Mais cette exploration peut avoir des limites définies par un ensemble de facteurs, c’est ce que l’on appelle le budget crawl ou le budget d’exploration.

Qu’est ce que le budget de crawl ?

La définition du Budget Crawl ?

Concrètement, le budget de crawl (ou crawl budget en anglais) correspond au nombre de pages limites que le Googlebot va explorer sur votre site web, en tenant compte de plusieurs critères comme :

• la vitesse de réponse du serveur,
• la profondeur de la page,
• la fréquence des mises-à-jours,
• ou encore la qualité du contenu du site.

L’exploration d’un site ne se fait pas en une fois.

Le robot passe à plusieurs reprises sur ses différentes pages. Plus les critères mentionnés ci-dessus seront optimisés, plus vous aurez un budget d’exploration important et plus vous aurez de chance de « ranker » (atteindre la première position).

L’idée en réalité est de faciliter le travail de Google.

💡 À retenir : le budget crawl est la première étape de l’indexation de vos pages et ainsi de leur positionnement. Plus vous l’augmentez, plus vous travaillez à votre visibilité, et donc vos opportunités business

Les différents critères d’exploration

L’un des aspects les plus importants est le temps de réponse de vos serveurs, et intrinsèquement la vitesse de chargement du site.

Google accorde plus de crédit aux sites qui répondent rapidement, car il valorise l’expérience utilisateur. Si votre site charge trop lentement, le robot y passera ainsi moins souvent.

Google va également regarder la profondeur des pages.

Ce terme désigne le nombre de clics nécessaires pour atteindre une page depuis l’accueil du site. Plus la page est « éloignée », moins elle aura de chance d’être explorée.

Ici, Google vous demande simplement de rendre le site intuitif et simple pour l’utilisateur. Les informations doivent être faciles à trouver. On en vient maintenant au contenu !

Si vous alimentez régulièrement votre site de nouveaux contenus, l’algorithme de Google le crawlera plus souvent.

Faut-il encore que le contenu soit :

• de très bonne qualité,
• unique,
• pertinent et complet.

Comment optimiser votre budget crawl ?

Optimiser la vitesse de chargement de votre page

La première étape pour référencer son site correctement est de choisir la bonne solution d’hébergement web. Cela implique parfois d’y mettre le budget.

Certains hébergeurs web proposent des serveurs mutualisés (qui hébergent plusieurs sites différents). Les performances sont ainsi affectées par le nombre de site sur ce serveur.

Cela peut convenir à des sites vitrines simples avec peu de pages. Mais pour un site e-commerce comportant plusieurs centaines de pages web, mieux vaut opter pour un serveur dédié, que vous serait seul à occuper.

Si vous avez choisi un serveur mutualisé, pas de panique, des solutions existent pour optimiser ses capacités comme :

• utiliser une solution de cache. Cela permet de réduire le nombre d’éléments à charger par le navigateur de l’internaute sur ces prochaines visites.
• minifier CSS, HTML et Javascript. L’idée est de compresser le code pour générer moins de requêtes.
• optimiser vos médias. Pour cela, vous trouverez des outils sur internet capable de compresser les images. Pour les vidéos, on vous conseille plutôt de les héberger sur YouTube ou Vimeo et de les intégrer ensuite au site.
• utiliser un CDN (Content Delivery Network). Si votre site est destiné à être consulté dans monde entier, un CDN permettra de charger plus rapidement les éléments pour les utilisateurs étrangers.

👉 Quelques conseils pour améliorer la vitesse de chargement de votre site web.

Travailler le maillage de votre site

Optimiser le maillage interne de son site permet de travailler la profondeur des pages.

Les pages les plus importantes du site, celles qui sont censées recevoir le plus de visite doivent se trouver en haut de l’architecture du site.

En outre, travailler le maillage interne permet de fluidifier la navigation de votre site pour Google, comme pour vos visiteurs. Si vous avez un site WordPress, certains plug-in permettent de gérer votre sitemap, comme Yoast SEO ou All in One SEO.

Si vous ne savez pas trop comment vous y prendre, vous pouvez faire appel à votre webmaster ou bien une agence de référencement.

Mettre régulièrement à jour votre site avec du contenu de qualité

Au delà du fait de mettre à jour les informations figurant sur votre site web, un bon moyen d’améliorer votre budget crawl est de publier du contenu sur votre blog d’entreprise.

Vous pouvez l’alimenter d’articles autour de votre secteur d’activité.

Mais attention, il faut publier des contenus de qualité. En effet, vos articles doivent être uniques et suffisamment fournis en informations pertinentes pour les internautes afin de retenir l’attention du robot de Google.

Attention à ce que l’on appelle le contenu dupliqué (ou duplicate content) ! Si votre contenu est trop similaire à celui d’un autre site, vous risquez d’être relégués aux dernières pages de recherche.

Pour faire le tri des contenus autorisés à l’indexation n’hésitez pas à utiliser le fichier robots.txt. Ce fichier permet de donner des « instructions » à Google.

👉 Vous pouvez également interdire des dossiers complets à l’indexation et traiter vos pages zombies ! L’objectif étant d’autoriser à l’indexation uniquement des contenus de qualité afin d’optimiser votre Budget Crawl.

L’idéal est de produire du contenu plébiscité, mais encore peu traité sur un sujet donné. Des outils, comme answerthepublic.com ou 1.fr peuvent vous aider à cerner les attentes de votre public.