.st0{fill:#FFFFFF;}

Technical SEO

Crawler

 March 29, 2021

By  Stephan Ilg

Du fragst dich, wie deine Website in den Suchmaschinenergebnissen erscheint oder möchtest, dass sie höher gerankt wird? Du hast den Begriff Crawler bestimmt schon einmal im Rahmen von SEO Maßnahmen gehört. Diese sind für die Indexierung deiner Website verantwortlich und tragen einen gewissen Teil zu ihrer Platzierung in den Rankings der jeweiligen Suchmaschinen bei.

In diesem Artikel erfährst du mehr über die Funktion und Bedeutung von Web Crawlern und wirst über ihre Rolle bei der Suchmaschinenoptimierung aufgeklärt. Ich erkläre dir, wie du deine Website hinsichtlich der Crawler verbessern kannst, was du beachten solltest und welche Fehler du unbedingt meiden musst.

Spinnennetz über der Weltkarte (Metapher für Crawler)


1. Was sind Crawler?

Sogenannte Crawler sind Computerprogramme, welche das World Wide Web automatisch und selbstständig nach Inhalten durchsuchen. Dabei lesen sie die jeweiligen Websites und ihren entsprechenden Content auf und sortieren diese, um sie anschließend im sogenannten Index der Suchmaschine zu speichern. Sie analysieren also den Content deiner Website und finden für die jeweiligen Suchmaschinen wie zum Beispiel Google heraus, worum es auf deiner Website geht.

Dieser Vorgang wird von den Crawlern permanent wiederholt. Dabei werden auch Websites gecrawled, welche bereits im Index vorhanden sind, um Veränderungen schnellstmöglich festzustellen und den Index der Suchmaschinen immer dauerhaft aktuell zu halten. Durch diesen sich immer wiederholenden Prozess können neue Websites direkt dem Index hinzugefügt werden und die URLs nicht mehr vorhandener Websites können aus diesem gelöscht werden.

Da der Prozess des Crawlens vollkommen automatisch abläuft, werden Crawler auch oft Robots, Searchrobots oder Suchmaschinenbots genannt. Weil der von den Crawlern zurückgelegte Weg im World Wide Web einem Spinnennetz ähnelt, nennt man sie auch Spider.

Expertentipp: 

In diesem Zusammenhang ist das Crawl Budget interessant. Dieses stellt die Anzahl der URLs, die Suchmaschinen in einer gewissen Zeitspanne auf deiner Website crawlen können, dar. 


2. Funktionsweise der Crawler

Crawler lesen beim Durchsuchen der Websites immer alle internen und externen Links auf. Durch die Auflistung dieser Links crawlen die Suchmaschinenbots dann von einer zu anderen Website.

Demnach besuchen Crawler deine Website meistens über einen Hyperlink, welcher bereits auf einer indexierten Website integriert ist. Der von den Crawlern ausgelesene Inhalt wird anschließend im Cache gespeichert und nachfolgend ausgewertet und im besten Fall indexiert.

Die Grundlage der Indexierung ist dabei immer der Algorithmus der jeweiligen Suchmaschine. Erst nachdem deine Website indexiert wurde, kann sie in den Suchmaschinenergebnissen (SERPs) der jeweiligen Suchmaschine gelistet und gerankt werden.

Hieran erkennst du, wie wichtig Hyperlinks für den Erfolg und die SEO deiner Website sind. Ohne die Hyperlinks wird deine Website nicht gecrawled, weshalb sie nicht im Index der Suchmaschinen gespeichert wird und folglich nicht in den Suchmaschinenergebnissen angezeigt wird. Dadurch können die Nutzer deine Website nicht besuchen und dein Unternehmen wird ziemlich wahrscheinlich scheitern.

Neben dem automatischen Erfassen deiner Website kannst du deine Website auch per Sitemap über die Google Search Console einreichen. Dabei hat jede einzelne Website jedoch ein bestimmtes und individuelles Crawling Budget. Es ist festgelegt, wann und wie lange, wie oft und wie viele einzelne URLs einer Internetseite durch die Bots besucht werden. Deshalb empfehle ich dir, die Navigation deiner Website zu verbessern und die Struktur dieser zu optimieren. Gibt es zudem keine Fehlerseiten, kannst du das Crawling Budget deiner Webpräsentation viel besser ausnutzen und gezielter anwenden.

Das Crawl Budget ist im Grunde genommen die Anzahl der URLs, die Suchmaschinen wie Google in einer gewissen Zeitspanne auf deiner Website crawlen können. Das Crawl Budget beschreibt also die Ressourcen, die Google und andere Suchmaschinen einsetzen, um deine Website zu crawlen.

Illustration Bedeutung der Crawler für SEO


3. Indexierung und Crawling steuern

In gewissen Fällen kann es sinnvoll sein, wenn ein Crawler deine Website (noch) nicht besucht. In solchen Fällen kannst du beispielsweise auf Grund des Schutzes deiner Daten oder der Bearbeitung deiner Website den Crawlern untersagen, eine bestimmte URL, spezifische Dateien oder einen Bereich deiner Website zu durchsuchen und auszuwerten. Du kannst als Websiteinhaber sogar bestimmen, ob der Crawler eine Seite mit in den Index aufnehmen soll, oder ob dies keinen Sinn ergibt und sie deshalb aus dem Index ausgeschlossen werden soll.

Durch bestimmte Einstellungen und korrekte Anweisungen ist es möglich, dass sich die Crawler nur auf die wichtigen Inhalte deiner Website konzentrieren und ausschließlich die von dir ausgesuchten URLs indexieren und in den Suchmaschinenergebnissen anzeigen.

Doch wie kannst du konkrete und richtige Anweisungen an den Crawler der jeweiligen Suchmaschine senden?

Beispielweise durch robots.txt Dateien kannst du den Crawling Traffic deiner Website weitgehend steuern. Du teilst den Crawlern dadurch mit, welche Seiten und Dateien sie auf deiner Website anfordern dürfen und welche nicht.

Eine andere Möglichkeit besteht in den Meta Tags. Auch durch diese kannst du steuern, ob Crawler deine Website auswerten sollen und ob diese im Suchindex aufgenommen werden soll. Dies kannst du durch das Setzen von „index“ und „noindex“ erreichen.

Es kann jedoch auch vorkommen, dass bestimmte Crawler deine Anweisungen ignorieren. Deshalb rate ich dir, dass du alle sensiblen Inhalte, welche unter gar keinen Umständen gecrawled und indexiert werden sollen, mit einer geeigneten Sperrmethode verwaltest. Darunter zählt zum Beispiel ein Passwortschutz.


4. Crawler und SEO

Für den Erfolg deines Unternehmens ist es dir bestimmt sehr wichtig, dass deine Website in den Suchmaschinenergebnissen eine hohe Platzierung hat und im besten Fall als erstes angezeigt wird. Dadurch können deine Nutzer deine Website besser finden und sie besuchen, wodurch sich der organische Traffic deiner Website erhöht. Das bedeutet also, je höher deine Website in den Suchmaschinenergebnissen gerankt wird, desto mehr Nutzer besuchen deine Website.

Um dies zu erreichen, muss deine Website einige Kriterien erfüllen. Neben dem Einhalten der Richtlinien der jeweiligen Suchmaschine und einen qualitativ hochwertigen Content muss deine Website auch zugänglich sein und die richtigen Anweisungen zur Indexierung an die Crawler senden. Dafür darf sie auf keinen Fall für die Crawler blockiert sein und auf „noindex“ stehen. Darüber hinaus muss sie auch aus technischer Sicht fehlerfrei programmiert worden sein und der Content muss eine hohe Relevanz aufweisen sowie einzigartig gestaltet sein.

Falls deine Website dennoch nicht in den Suchmaschinenergebnissen gelistet wurde, solltest du eine SEO Analyse durchführen, um die Ursachen und Fehler aufdecken zu können.

Zudem solltest du darauf achten, dass alle Inhalte deiner Website strukturiert und übersichtlich aufgebaut sind und darüber hinaus auch leicht zu finden sind. Das erleichtert den Crawlern alle URLs deiner Webpräsenz zu finden und zuzuordnen.

Dafür ist es sinnvoll, die internen Seiten deiner Website sinnvoll miteinander zu verbinden und die Navigation hinsichtlich der Nutzerzufriedenheit zu optimieren. Das erleichtert nicht nur den Crawlern ihre Arbeit, sondern verbessert auch die Nutzersignale der Besucher deiner Website.

Neben den internen Links spielen auch externe Link, insbesondere Backlinks, eine große Rolle. Achte darauf, einzigartige und qualitativ hochwertigen Content zu veröffentlichen, um so von anderen Websites erwähnt zu werden und vor allem, um Backlinks zu erhalten. Durch das Erhalten der Backlinks werden mehr Nutzer auf deine Website aufmerksam und die Besucherzahl steigert sich. Dadurch wird der organische Traffic deiner Website optimiert. Außerdem erhältst du positive Signale für die Relevanz deiner Website.

Je mehr Relevanz und Backlinks deine Website aufweisen kann und erhält, desto höher ist die Wahrscheinlichkeit, dass ihre URL von den Crawlern ausgewertet und indexiert wird. Folglich optimiert sich dadurch die Rankingplatzierung deiner Website.

Wenn du das erreicht hast, werden die Crawler deine Website häufiger und auch länger besuchen, wodurch sich dein Crawling Budget erhöht. Dadurch können auch kleine Veränderungen auf deiner Website schneller im Suchindex der jeweiligen Suchmaschine aufgenommen werden.

Dir sollte jedoch bewusst sein, dass du nicht den Erhalt irgendwelcher Backlinks anstreben solltest, sondern lediglich thematisch passenden und qualitativ wertvollen. Erhältst du thematisch unpassende Backlinks oder sogar welche von Spamseiten, wirkt sich das negativ auf das Ranking deiner Website in den Suchmaschinenergebnissen aus. Dadurch minimiert sich dein Crawling Budget und deine Website wird nicht mehr so häufig und lange gecrawled.

Außerdem solltest du dir auch bezüglich der Crawler im Hinterkopf behalten, dass deine Website nicht nur für die Desktop Version optimiert sein muss, sondern dass die mobile Version deiner Website immer mehr sowohl aus technischer als auch aus SEO Sicht an Bedeutung gewinnt.


Pokal erster Platz


5. Fazit

Wie du erkennen konntest, sind Crawler wichtige Instrumente, ohne die deine Website nicht in den Suchindex aufgenommen werden kann. Sie sind Computerprogramme, welche deine Website immer wieder durchsuchen, auswerten und indexieren. Erst durch die Indexierung durch die Crawler, kann deine Website in den Suchergebnissen angezeigt werden und erst dann können alle von dir angesetzten (SEO) Maßnahmen für den Erfolg deines Unternehmens funktionieren.

Um den Crawlern ihre Arbeit zu vereinfachen und dein Crawling Budget zu erhöhen, solltest du auf eine gute und übersichtliche Struktur deiner Website achten und mehrere qualitativ wertvolle Hyperlinks in ihr etablieren. Hilfst du den Crawlern beim Durchsuchen deiner Website, ist der erste Schritt für den Erfolg deines Unternehmens geschafft. Je besser der Crawler über deine Website crawlen kann, desto schneller und höher wird diese in den Suchergebnissen gerankt.

Stephan Ilg


Stephan ist SEO-Enthusiast, Diplomjurist und Unternehmer. Neben seiner Arbeit als Co-Founder des Startups Backpackertrail und SEO-Brain hinter Werbepresse ist er Dozent für E-Commerce sowie Medienrecht an der Hochschule Fresenius. Seine Arbeitssprachen sind Deutsch, Englisch, Französisch, Spanisch und Portugiesisch.

Kommentar schreiben

Your email address will not be published. Required fields are marked

{"email":"Email address invalid","url":"Website address invalid","required":"Required field missing"}