Was ist der Googlebot?

Der Googlebot ruft URLs auf Basis einer priorisierten Warteschlange ab, die sich aus bekannten Seiten, Verlinkungen und eingereichten Sitemaps speist. Beim Abruf lädt er den HTML-Code und zunehmend auch per JavaScript erzeugte Inhalte, da er ein Rendering durchführt. Die Frequenz des Abrufs richtet sich nach der Bedeutung und Aktualisierungsrate einer Seite sowie nach der Serverkapazität. Google passt die Abrufrate dynamisch an, um die Zielserver nicht zu überlasten. Erfasste Inhalte werden anschließend zur Auswertung und möglichen Aufnahme in den Index weitergereicht.

Das Verhalten des Googlebot lässt sich über die Datei robots.txt, Meta-Direktiven wie noindex und die interne Verlinkung beeinflussen. Da sich schädliche Programme als Googlebot ausgeben können, ist eine Verifizierung anhand der offiziellen IP-Bereiche und einer umgekehrten DNS-Auflösung sinnvoll. Der Abruf durch den echten Googlebot lässt sich zudem in Serverlogs und in der Google Search Console nachvollziehen, die Berichte über Crawling und Indexierung bereitstellt.

Der Googlebot bewertet Inhalte nicht selbst, ist aber die Instanz, die überhaupt die Datengrundlage für die spätere Bewertung schafft. Was er nicht abruft oder rendert, kann nicht indexiert und folglich nicht gerankt werden. Die Zugänglichkeit für den Googlebot ist damit kein Rankingfaktor im engeren Sinne, aber eine notwendige technische Vorbedingung für jede Form von Sichtbarkeit in der Google-Suche.

Der Googlebot ist das Bindeglied zwischen einer Website und dem Google-Index. Seine ungehinderte Arbeit ist die technische Grundvoraussetzung jeder organischen Sichtbarkeit, weshalb die Sicherstellung der Crawlbarkeit zu den zentralen Aufgaben des technischen SEO zählt. Als ausführende Instanz vor Indexierung und Ranking bestimmt er, welche Inhalte in den Bewertungsprozess gelangen.