Was ist ein Robot?

Der bekannteste Robot ist der Googlebot, doch das Web wird von einer Vielzahl von Bots durchsucht: andere Suchmaschinen-Crawler, Monitoring-Dienste, SEO-Werkzeuge und teils schädliche Programme. Für die Suchmaschinenoptimierung ist die Steuerung erwünschter Robots zentral, während unerwünschte oder schädliche Bots serverseitig abgewehrt werden. Ein Robot als Crawler folgt Verlinkungen und ruft Dokumente ab, ohne selbst über Rankings zu entscheiden. Seine Aktivität lässt sich in Serverlogs nachvollziehen und über den User-Agent identifizieren.

Häufig verwechselt werden die robots.txt und die Meta-Robots-Direktive, obwohl sie unterschiedliche Ebenen adressieren. Die robots.txt steuert den Abruf einer Seite. Die Meta-Robots-Angabe im HTML-Kopf – mit Werten wie index, noindex, follow oder nofollow – steuert dagegen die Behandlung nach dem Abruf, insbesondere die Indexierung. Daraus folgt eine wichtige Konsequenz: Wer eine Seite zuverlässig aus dem Index halten will, muss noindex verwenden – was voraussetzt, dass die Seite nicht zugleich in der robots.txt gesperrt ist, da der Robot die Direktive sonst nicht lesen kann.

Robots-Anweisungen sind kein Rankingfaktor, sondern ein Steuerungsinstrument, das bestimmt, welche Seiten überhaupt erfasst und indexiert werden. Ihre korrekte Anwendung stellt sicher, dass Crawl-Budget auf relevante Seiten konzentriert und irrelevante oder sensible Bereiche ausgeschlossen werden. Fehlkonfigurationen können die Sichtbarkeit dagegen erheblich beeinträchtigen, ohne eine direkte Fehlermeldung auszulösen.

Der Robot ist die ausführende Instanz der Web-Erfassung, seine Steuerung ein Kernbereich des technischen SEO. Die klare Trennung zwischen Crawling-Steuerung über die robots.txt und Index-Steuerung über die Meta-Robots-Direktive ist dabei entscheidend, da Verwechslungen zu Sichtbarkeitsverlusten oder ungewollter Indexierung führen. Eine präzise Robots-Konfiguration lenkt die begrenzte Crawl-Kapazität auf die relevanten Inhalte.