Crawling ist der Vorgang, bei dem Suchmaschinen das Internet durchsuchen. Programme, sogenannte Crawler oder Bots, rufen Seiten auf, lesen ihren Inhalt und folgen den Links darauf zur nächsten Seite. Der bekannteste Crawler ist der Googlebot.
Crawling ist der erste Schritt, bevor eine Seite überhaupt in den Suchergebnissen erscheinen kann. Was nie gecrawlt wird, kann auch nicht gefunden werden.
Wie funktioniert Crawling?
Der Crawler startet mit bekannten Adressen und entdeckt neue Seiten über Links und über die XML-Sitemap. Die robots.txt legt fest, welche Bereiche er besuchen darf. Probleme entstehen vor allem durch:
- Seiten ohne interne Links, die der Crawler nicht findet
- kaputte Links und lange Weiterleitungsketten
- langsame Server, die Abrufe ausbremsen
- Inhalte, die erst per JavaScript nachgeladen werden und deshalb schwer lesbar sind
Bei großen Websites wie Online-Shops mit tausenden Filterseiten wird das Crawl-Budget wichtig: Google crawlt nicht unbegrenzt, sondern verteilt seine Abrufe.
Warum ist Crawling wichtig?
Nicht nur Google crawlt. Auch KI-Anbieter wie OpenAI oder Perplexity schicken eigene Crawler los, um Inhalte für ihre Antworten zu sammeln. Wer sie in der robots.txt aussperrt, taucht in diesen Antworten seltener als Quelle auf.
Mit einer laufenden SEO Betreuung prüfst du regelmäßig, ob Google und KI-Crawler deine wichtigsten Seiten erreichen – bevor fehlende Sichtbarkeit Umsatz kostet.
