Mit robots.txt sind Textdateien gemeint, in denen angegeben wird, was die Suchmaschinen auslesen dürfen und was nicht. Besonders relevant ist das für die Crawler.