Le fichier robots.txt a comme fonction principale d’autoriser et de faciliter, voir d’interdire l’indexation de votre contenu. Cette indexation est faite par les robot d’indexation…
Tag: robots
standard used to advise web crawlers and scrapers not to index a web page or site