Le deep crawl de Google

Qu'est-ce que le deep crawl ?

Le deep crawl est le moment ou Googlebot, le robots de Google suit tous les liens d'un site. C'était au moins le cas jusqu'au 2007 ou le deep crawl se passait une fois par mois et visitait tous les sites qui se trouvaient dans sa base de données.
 
Vu que Google visite déjà chaque site dans un rythme assez régulier et selon le résultat de son algorithme, le deep crawl ne joue plus la même rôle qu'il y a des années et plus aucune rôle pour de sites qui ne dépassent pas les 100 pages. Les sites mineurs ne sont plus concernés par le deep crawl.
 
Comme le robot de Google a une charge énorme, il est aussi logique qu'il ne visite pas les sites mal préparés de la même manière que les sites optimisés. Un Webmaster ou référenceur doit donc employer tous les moyens de l'optimisation pour permettre à Googlebot à pratiquer un deep crawl. Il est ici question de structuration, question d'optimisation de la navigation, question de la relation nofollow et de l'emploi des fichiers sitemap.xml et robots.txt.
 
Le deep crawl ne signifie seulement que le Googlebot visite le site et ne pas qu'il va indexer les pages visitées. Seulement les pages qui passent les critères de l'algorithme se retrouvent ensuite aussi dans l'index et, il arrive aussi, que quelques pages disparaissent du moteur de recherche après un deep crawl, surtout si Google a modifié les paramètres de l'algorithme.
 
 
L'article sur le deep crawl sera prochainement complété et entièrement actualisé.
 
 
Les liens suivants mènent vers quelques sites avec des informations supplémentaires sur le deep crawl :
Stimulate the Deep Crawl
Timing Google's Crawl
What does the Google Crawl mean to your business
SEOENGBot™ Crawl Depth