Fichier texte déposé dans le répertoire principal d’un site pour interdire l’accès aux robots de certains pages ou sous-répertoires du site. Seuls les robots qui sont conformes à la norme d’exclusion de robots (Robots Exclusion Standard) liront et obéiront aux commandes dans le fichier. Les robots liront ce fichier à chaque visite, de sorte que des pages ou les zones des sites puissent être rendues publiques ou privées à tout moment en changeant la teneur du fichier robots.txt.
L’exemple simple ci-dessous permet d’empêcher tous les robots de visiter le répertoire /secret. User-agent: * Disallow: /secret