Das Crawl-Budget ist die Zahl der Haupt- und Unterseiten, die Google pro Webseite (Haupt-URL) maximal crawlt. Diese Zahl legen die Suchmaschinenalgorithmen von Google und anderen Suchmaschinen selbst fest, sie hängt stark vom Ranking einer Seite ab. Von Haupt-URLs mit einem hohen PageRank werden die Unterseiten häufiger gecrawlt. Die wichtigsten Unterseiten erfasst die Suchmaschine dabei besonders häufig, auch crawlt sie in tiefere Ebenen.