Pour que votre site Internet et vos pages Web apparaissent dans les résultats de recherche de Google et consort, il faut que les robots d’exploration viennent visiter votre site. Si les URLs crawlées répondent aux critères SEO, elles seront alors indexées dans les moteurs de recherche.
Quelle est la fréquence de passage des robots Google ? Comment fonctionne Googlebot ? Comment demander le passage des robots d’indexation ?
Voici la marche à suivre pour accélérer le crawl de votre site Web !
Comment fonctionne Googlebot ?
Chaque moteur de recherche possède son propre robot d’exploration : Google : Googlebot, Bing : Bingbot, Qwant : Qwantify…
Googlebot est le nom générique d’un logiciel de crawl. On parle aussi d’User-Agent, de web crawler ou encore de web spider. Son fonctionnement est le même que tous les autres robots, y compris les robots malveillants, les spambots.
Le robot Google explore un site de page en page, de lien en lien comme le ferait un internaute. Le crawler collecte ressources du site (page Web, documents PDF, Word, etc., images, vidéos, code source HTML…) en fonction de votre budget crawl et analyse ensuite la pertinence des données.
Si celles-ci sont pertinentes, il ajoute alors les URLs à l’index de Google. Vos pages Web font alors partie de l’immense répertoire Google qui contient des centaines de milliards de pages Web.
Lors de l’indexation, les informations sont classées par thématique grâce au champ sémantique de vos contenus. Vous comprenez désormais l’importance de vos choix de mots-clés pour votre référencement naturel !
Le budget crawl correspond au nombre de pages que Googlebot va explorer. Il est attribué à chaque site et il est calculé est fonction de plusieurs critères tels que la vitesse de chargement, la profondeur de la page, la qualité du contenu, la fréquence des mises à jour…
Pour en revenir à notre robot, vous pouvez aussi l’empêcher de crawler certaines de vos pages, comme des pages produits dont le contenu est proche. Vous économiserez ainsi sur votre budget de crawl. Si vous souhaitez bloquer l’accès d’une URL au crawler, utilisez un fichier robots.txt à la racine de votre serveur.
Indiquez le nom du robot à bloquer ou un astérisque si vous souhaitez bloquer tous les robots d’exploration (sauf le robot AdsBot qui, lui, doit être spécifié explicitement), suivi de l’entrée disallow :
- User-agent : nom du robot
- Disallow : URL à bloquer
Il ne s’agit que d’une indication, Googlebot peut parfaitement décider d’explorer votre URL malgré votre consigne et de l’indexer ! Pour être sûr que Google n’indexe pas votre page Web, la balise « noindex » est une méthode plus efficace. Pour cela, ajoutez la directive <meta name=”robots” content=”noindex,nofollow”>.
Quand passent les robots Google sur votre site ?
Crawler un site entier peut prendre du temps et en fonction du nombre de vos URLs et de votre budget crawl, cela peut varier de quelques heures à quelques jours.
De plus, pour éviter de ralentir le serveur et provoquer une surcharge, le crawler ne va pas visiter toutes les pages du site en une seule fois, ce qui allonge encore le délai d’indexation…
Google utilise des algorithmes perfectionnés qui sont capables de déterminer le nombre de requêtes maximales réalisées par Googlebot pour éviter de surcharger votre bande passante. Cependant, il arrive que la vitesse d’exploration soit trop grande et ralentisse votre serveur. Les webmasters peuvent alors demander à Google qu’il limite cette vitesse en signalant un problème depuis ce formulaire.
En fonction de la taille de votre site, les robots de Google passent chaque jour ou une à plusieurs fois par semaine. Pour connaître plus précisément la fréquence de passage des robots de Google, vous devez consulter les logs de votre site.
Comment augmenter la fréquence de passage des robots Google ?
Vous l’aurez compris, le référencement des pages de votre site dépend avant tout de Googlebot. Malheureusement, la fréquence de ses passages est très aléatoire. Alors, si vous venez de créer de nouvelles pages Web et que vous souhaitez qu’elles soient rapidement indexées dans le moteur de recherche, voici quelques conseils pour augmenter la fréquence de passage des robots Google !
Créer de nouveaux contenus
Le robot crawler va visiter plus fréquemment les sites régulièrement mis à jour et les sites proposant des contenus SEO de qualité. Donc, le meilleur moyen pour que vos pages soient référencées rapidement est de publier du contenu de qualité le plus souvent possible.
Attention aussi au contenu dupliqué présent sur votre site. Si vous ne voulez pas bloquer l’accès de vos pages de contenu similaire au robot de Google parce qu’elles sont importantes pour votre référencement, réécrivez-les pour les rendre uniques !
Modifier vos pages principales
Si votre site comporte des milliers d’URL, votre budget de crawl limite le nombre de pages explorées. Les robots vont donc visiter en priorité les pages principales de votre site : votre page d’accueil, vos pages catégories de premier niveau, vos pages piliers… Si vous voulez attirer l’attention du robot, actualisez régulièrement ces pages qui font autorité.
Gagner des backlinks de qualité
La dernière astuce pour augmenter la fréquence de passage des robots Google consiste à obtenir un maximum de liens externes. Googlebot explore les sites de lien en lien, y compris les liens sortants. Par conséquent, un site qui contient un lien pointant vers votre site va entraîner la visite de ce dernier !
Comment faciliter le passage de Googlebot
Les recommandations suivantes ne vont pas augmenter la fréquence des passages de Googlebot. Par contre elles vont faciliter son travail d’exploration et par conséquent, accélérer l’indexation du site et donc sa présence dans la recherche Google.
Optimiser votre maillage interne
Pour faciliter la navigation du robot entre vos pages, optimisez vos liens internes. Idéalement, vos pages stratégiques doivent être accessibles en un minimum d’étapes avec des ancres de liens pertinentes. Analysez votre site pour vérifier l’absence de pages orphelines, car toutes pages non attachées à la structure ne seront pas crawlées.
Soigner votre URL
Une structure d’URL soignée joue un rôle essentiel dans l’indexation des pages. Plus votre URL est claire et explicite, plus le robot va comprendre dans quelle catégorie classer votre site. Les meilleures URLs sont des URLs simples, courtes et faciles à lire : nom de domaine + mot-clé principal. Supprimez tout le superflu dont les mots de liaison.
Améliorer le temps de chargement de vos pages
Nous l’avons vu, la vitesse de réponse du serveur impact votre budget de crawl et fait parti des critères SEO de Google. Donc en améliorant la vitesse de chargement de vos pages, le robot crawlera plus de pages !
Générer un fichier sitemap XML
La création d’un fichier sitemap va faciliter le processus de crawl et permettre une meilleure indexation de vos pages. Un sitemap est un fichier qui liste toutes les URLs que vous souhaitez faire crawler et donc indexer. Le crawler voit alors d’un seul coup d’œil la structure de votre site. Une fois votre fichier créé, il ne vous reste plus qu’à le mettre à disposition de Google, soit en l’ajoutant à votre fichier robots.txt, soit en l’envoyant dans la Search Console.
Comment soumettre une demande d’indexation à Google ?
Si vous venez de publier de nouveaux contenus ou si vous avez modifié l’existant, vous pouvez demander à Google de venir indexer ou réindexer vos URLs.
Si vous n’avez pas beaucoup d’URLs à indexer :
Utilisez l’outil d’inspection d’URL de la Search Console (accessible depuis le panneau latéral gauche).
- Insérez votre lien dans la barre d’inspection.
- Puis sur la page qui s’affiche, cliquez sur « Demander une indexation ».
Si vous avez beaucoup d’URLs à indexer en même temps, envoyez un sitemap à Google.
Par contre, ne vous attendez pas à un effet immédiat, vous devrez quand même patienter quelques jours.
Notre astuce pour augmenter la fréquence de passage des robots Google
Vous souhaitez augmenter la fréquence de passage des robots Google rapidement ? La solution la plus rapide et la plus efficace pour faire indexer chaque page d’un site très vite et vous positionner en première page Google, c’est la création de contenu !
Vous avez besoin de fiches produits, d’articles de blog, de contenus de page Web de qualité ? Alors, commandez très vite vos textes sur Redacteur.com !
