Du hast den Begriff Crawl Budget schon öfter gehört und fragst dich, was daran so wichtig ist? Verwendest du dein Crawl Budget falsch und schöpfst es vollständig aus, kann dies dazu führen, dass Google deine Seite nicht mehr indexiert und sie dadurch ihr Ranking und ihren Traffic verliert. Verwendest du es richtig, steht dem Erfolg deiner Website kaum mehr etwas im Weg.
In diesem Artikel zeige ich dir, wie du dein Crawl Budget 2021 erhöhst und die Verwendung optimierst, damit auch deine Website erfolgreich werden kann.
1. Was sind Crawl Budgets?
Das Crawl Budget ist die Anzahl der URLs, die Suchmaschinen wie Google in einer gewissen Zeitspanne auf deiner Website crawlen können. Im Grunde beschreibt das Crawl Budget die Ressourcen, die Google und Weitere einsetzen, um deine Website zu crawlen.
Auf der Google Search Console kannst du unter dem Punkt Crawling, die Crawling Statistiken deiner Website einsehen. Das erste Diagramm zeigt dir an, wie viele der Seiten deiner Website täglich von Google gecrawled werden. Hierbei wird in die Begriffe Crawl rate limit, Crawl health und Crawl demand unterschieden.
Das Crawl rate limit bestimmt, wie viele Verbindungen der Google Bot parallel auf deiner Website laufen lassen kann, ohne dass die User deiner Website dadurch Probleme bekommen könnten.
Der Begriff Crawl health beschreibt, wie viele gleichzeitige Verbindungen dein Server verträgt.
Wie wichtig deine Website in den Augen von Google ist, wird durch den Begriff Crawl demand beschrieben. Je wichtiger deine Website Google erscheint, desto häufiger wird sie von den Google Bots gecrawled und aktualisiert. Dabei orientiert sich Google zu einem an der Popularity und zum anderen an der Staleness.
Popularitiy beschreibt, dass beliebte URLs häufiger gecrawled werden, wodurch sie immer frisch aktualisiert werden. Diese kann durch die Verwendung von Backlinks und der Erhöhung der Verweildauer der User optimiert werden. Beide Aspekte erhöhen nämlich das Crawl Budget.
Staleness beschreibt, dass Google minderwertige Seiten systematisch aus dem Index löscht beziehungsweise sie weniger oder gar nicht mehr crawled. Dies macht Google vor allem bei Websites, die lediglich sehr alte Blogeinträge oder Thin Content haben.
Expertentipp:
Crawler sind Computerprogramme, welche das World Wide Web automatisch nach Inhalten durchsuchen. Dabei lesen sie die jeweiligen Websites und ihren entsprechenden Content auf und sortieren diese, um sie im Index zu speichern.
2. Für wen ist Crawl Budget Optimization sinnvoll?
Kleine Websites profitieren eher wenig bis gar nicht von einer Crawl Budget Optimization. Der Google Bot hat es bei ihnen leicht, alle URLs schnell zu entdecken und zu indexieren. Folglich hat eine Crawl Budget Optimization bei kleinen Websites wenig Potenzial.
Im Gegensatz dazu hat die Optimierung bei sehr großen Websites oder auch Onlineshops viel Potenzial. Hier macht es Sinn, die URLs aufzuräumen und zusammenzufassen, um am Crawl Budget zu sparen und dafür zu sorgen, dass alles besser indexiert werden kann.
3. Typische Probleme durch mangelndes Crawl Budget
Bei einem mangelnden Crawl Budget wird deine Website nicht regelmäßig gecrawled, wodurch der Google Bot erst sehr spät neue Aktualisierungen entdecken kann. Dadurch geht die Indexierung deiner Website erheblich nach unten.
Des Weiteren kann es passieren, dass deine Seite aus dem Index geschmissen wird. Dafür muss es nicht unbedingt einen ersichtlichen Grund geben. Meistens liegt es aber daran, dass deine Website durch das mangelnde Crawl Budget zu tief gerankt wird oder als Low Quality angesehen wird. Dadurch sinkt die Anzahl der organischen Rankings und folglich auch dein Traffic.
4. Was brauche ich für ein Crawl Budget Audit?
Als Methode verwendet man hierbei Log File Analysen. Durch diese kannst du herauslesen, welche Seiten der Google Bot besonders mag. Durch bestimmte Tools, wie beispielsweise Screaming frog, Oncrawl oder Deepcrawl, erkennst du, welche Seiten und Verzeichnisse der Google Bot häufig crawled. Zudem gibt es dir an welchen Browser deine User benutzten und ob irgendwo auf deiner Website ein Error auffindbar ist.
Auf Grundlage der Log File Analyse kannst du die schlechten URLs entfernen. Dadurch steigt die durchschnittliche Seitenqualität deiner Website und das Crawl Budget kann effizienter genutzt werden.
5. Worauf muss ich beim Crawl Budget Audit achten?
Wie bereits erwähnt benötigst du für dein Crawl Budget Audit bestimme Tools. Bei der Analyse solltest du Folgendes beachten:
Probleme mit URL Parametern
Nicht alle Parameter in der jeweiligen URL sollen von den Google Bots gezählt werden. Dies würde sonst unzählige URLs ergeben. Du kannst das Problem auf zwei verschiedenen Arten lösen.
Zu einem kannst du auf die Google Search Console gehen und dort auf den Punkt URL Parameter klicken. Dort kannst du die Parameter bequem herausfiltern. Zum anderen kannst du auf deiner Website ein Canonical Tag ohne die jeweiligen Parameter setzen. Wenn du das gemacht hast, weiß Google, dass nicht alle Parameter indexiert werden müssen und das Original die Hauptkategorie darstellt.
Probleme mit dupliziertem Content
Duplizierter Content heißt, dass es gleiche Inhalte auf verschiedenen Seiten gibt. Dieses Problem kannst du ganz einfach lösen, wenn du die gleichen Inhalte nur unter einer (gleichen) URL präsentierst. Eine andere Lösung ist, dass du Canonical Tags setzt. Damit gibst du dem Google Bot an, dass er die jeweilige Seite nicht crawlen braucht, da sie lediglich ein Duplikat des Originals ist.
Deine Inhalte werden nicht gefunden
Wenn deine Inhalte nicht gefunden werden können, obwohl der Server dir sagt, dass auf deiner Website alles in Ordnung ist, dann musst du zur Google Search Console greifen. Hier gehst du unter den Punkt Crawling Fehler - „Nicht gefunden“.
Endlose Kalender
Wenn du endlose Kalender auf deiner Website etabliert hast, werden dadurch unendlich viele URLs gecrawled. Dadurch werden auch sehr viele URLs indexiert. Dieses Problem kannst du umgehen, indem du „noindex“ oder ein Canonical Tag setzt.
Thin Content
Thin Content beschreibt Inhalte auf einer Website, die keinen Mehrwert bieten. Sind solche Inhalte auf deiner Website vertreten, dann wird für diese extra eine URL angelegt. Deswegen solltest du Thin Content von deiner Website löschen und auf andere relevante URLs weiterleiten.
Generell solltest du daran denken, dass es für große Websites sehr hilfreich ist, regelmäßig redundante Seiten zusammenzuführen und die Gesamtanzahl der Seiten zu reduzieren. Die Erhöhung der Qualität deiner Seite sollte dir immer am wichtigsten sein.
6. Erhöhung des Crawl Budgets und die Optimierung der Verwendung
Um dein Crawl Budget zu erhöhen und seine Verwendung zu optimieren, solltest du zunächst die Navigation deiner Website strukturieren. Alles, was nicht direkt von hoher Bedeutung für die User ist, solltest du eine Ebene nach unten verschieben. Dies ist wichtig, da alles, was in der Navigation ist, von jeder einzelnen Unterseite verlinkt wird. Wenn du die Navigation deiner Website optimiert hast, verbessert sich dadurch auch der Linkjuice.
Bei interner Verlinkung solltest du darauf achten, lediglich Inhalte deiner Website zu verlinken, die tatsächlich für die User notwendig sind. Hast du zu viele interne Links in deine Website mit eingebaut, kann dadurch der Linkjuice behindert werden. Diesbezüglich solltest du dir auch merken, dass du die internen Verlinkungen anpassen musst, sobald sich eine URL ändert.
Ein weiterer wichtiger Aspekt zur Erhöhung deines Crawl Budgets ist die Side Speed deiner Website. Die Side Speed kann dein Crawl Budget erhöhen, da der Google Bot weniger Ressourcen verbraucht, wenn er deine Seite schnell abrufen kann.
Auch die Verwendung von Canonical Tags trägt zur Optimierung der Verwendung deines Crawl Budgets bei. Auf jeder Website sollten standardgemäß Canoncial Tags gesetzt werden. Entweder auf sich selbst oder aber auf dem Original. Wenn diese gesetzt wurden, kann es zu keinen Problemen mit der Navigation, mit Filtern oder Ähnlichem kommen.
Zudem sollte dir bewusst sein, dass du deine Website regelmäßig aktualisieren musst. Achte darauf, ausschließlich URLs zu verwenden, die für den Google Bot zugängig sind und keine Ressourcen zu blockieren.
Auch durch das Blocken von Inhalten, die der Google Bot (noch) nicht crawlen soll, erhöht sich dein Crawl Budget.
Des Weiteren sind deine Backlinks und die Verweildauer der User deiner Website wichtig. Achte darauf, sinnvolle Backlinks einzufügen und deinen Content zu Optimieren. Dadurch wird deine Website beliebter und wird öfter von den Google Bots gecrawled und aktualisiert.
7. Fazit
Crawl Budgets und deren Erhöhung und die Optimierung ihrer Anwendung sind fester Bestandteil von SEO bei großen Websites. Wenn du Crawl Budgets 2021 richtig anwendest, verleitest du deine Website zum Erfolg. Dafür musst du die von mir beschriebenen Tipps zur Optimierung deiner Website und ihrer Inhalte anwenden.
Stelle dabei nicht nur Google, sondern auch deine User zufrieden. Auch Google will zufriedene User. Hast du dies erreicht, dann erhöht Google dein Crawl Budget. Kannst du weder Google noch deine User zufriedenstellen, wird deine Website weniger gecrawled und du verlierst an organischem Ranking und organischem Traffic. Wie du erkennen konntest, ist das Crawl Budget extrem wichtig für den Erfolg deiner Website.