Quotidien Shaarli

Tous les liens d'un jour sur une page.

June 20, 2016

Usage du robots.txt

Le fichier robots.txt placé à la racine d'un site vise a interdire aux robots d'exploration tout ou une partie du site.
Si les fichiers htaccess sont actifs, il faut ajouter cette ligne pour permettre la lecture du robots.txt :

RewriteCond %{REQUEST_FILENAME} !robots\.txt

Si on ne veut pas que Google image indexe nos photos alors mettez ça dans le robots.txt :

User-agent: Googlebot-Image
Disallow: /

Merci Timo pour l'astuce.