Pour indexer votre site internet, les moteurs de recherche, comme Google, utilisent ce que l’on appelle des robots pour analyser vos pages web.
TAG
budget crawl
Robots.txt : quel est son rôle et comment le créer ?
Robots.txt est un fichier qui indique aux moteurs de recherche les zones de votre site web à indexer.