#########################################################
# Fichier autorisant ou non la visite des robots de recherche Web
#########################################################
# Pour connaitre les visites d'un robot, le serveur
# doit supporter les User-agent
# Rem: Pour limiter les robots au niveau des pages HTML, utiliser :
# <META NAME="ROBOTS" CONTENT="INDEX|NOINDEX,FOLLOW|NOFOLLOW">
#
# Nom des robots (* pour tous) et restrictions
#
#########################################################

User-agent: Slurp
Crawl-delay: 60

User-agent: WebStripper
Disallow: /