Jede Website verfügt über ein URL-Verzeichnis, in welchem die vorhandenen URLs hierarchisch angeordnet sind und welches die einzelnen Dateien der Website umfasst. Diese Dateien können beispielsweise HTML-Dateien, PDFs, Bilder oder Videos sein.