Suchmaschinen-Robots kann mit noindex in den Meta-Tags gezeigt werden, dass eine Webseite nicht indexiert werden soll. Ergänzende Attribute sind follow und nofollow.