Die Robots.txt ist eine Datei auf einer Website, mit der du Suchmaschinen mitteilen kannst, welche Bereiche gecrawlt werden dürfen und welche nicht. Sie liegt meist direkt im Hauptverzeichnis der Domain, zum Beispiel unter deinedomain.at/robots.txt.

Die Datei richtet sich vor allem an Suchmaschinen-Bots wie den Googlebot.

 

Wie funktioniert Robots.txt?

In der Robots.txt können bestimmte Seiten, Verzeichnisse oder Dateitypen für Suchmaschinen gesperrt werden.

Typische Beispiele sind:

• Admin-Bereiche
• Warenkörbe
• Login-Seiten
• Interne Suchergebnisse
• Testseiten
• Filter- oder Parameterseiten

Dadurch wird verhindert, dass Suchmaschinen unnötige oder unwichtige Inhalte crawlen.

Wichtig ist: Eine Robots.txt verhindert nicht automatisch die Indexierung. Wenn eine gesperrte URL von anderen Seiten verlinkt wird, kann sie trotzdem in den Suchergebnissen auftauchen.

 

Warum ist Robots.txt wichtig?

Die Robots.txt hilft dabei, das Crawl-Budget sinnvoll zu nutzen und Suchmaschinen auf die wichtigen Inhalte einer Website zu konzentrieren.

Gerade bei großen Websites, Online-Shops oder Seiten mit vielen Filtern und Parametern kann sie helfen, unnötige Seiten vom Crawling auszuschließen.

Fehler in der Robots.txt können allerdings auch dazu führen, dass wichtige Seiten versehentlich blockiert werden.