Un fichier Robots.txt permet d'exclure des pages Web spécifiques des résultats de recherche. Les robots ignorent les pages et ne les incluent pas dans l'index du site Web.
Étant donné que certains robots d'exploration ignorent le fichier Robots.txt, la protection par mot de passe est le meilleur moyen de masquer une page Web.
