budget crawl

Pour indexer votre site internet, les moteurs de recherche, comme Google, utilisent ce que l’on appelle des robots pour analyser vos pages web.

Robots.txt est un fichier qui indique aux moteurs de recherche les zones de votre site web à indexer.