So funktioniert robots.txt
Die robots.txt liegt im Hauptverzeichnis Ihrer Website und sagt Bots, welche Pfade sie nicht crawlen sollen. Sie ist eine Bitte, kein Schloss: private Seiten brauchen trotzdem ein Passwort.
Gut zu wissen
- Laden Sie die Datei als robots.txt ins Hauptverzeichnis (public_html)
- Sperren Sie keine CSS- und JavaScript-Dateien, die Seiten benötigen
- Eine Sperre in robots.txt entfernt eine Seite nicht aus Google; dafür gibt es noindex
- Eine Sperre für KI-Crawler stoppt neue Crawls, aber nicht bereits gesammelte Inhalte