SEO Scan Instant

Robots.txt-Generator

Legen Sie fest, was Suchmaschinen und Bots crawlen dürfen, und laden Sie Ihre robots.txt herunter.

KI-Crawler sperren
Crawler von SEO-Tools sperren

robots.txt


    

Laden Sie die Datei als robots.txt ins Hauptverzeichnis Ihrer Website und testen Sie sie mit unserem Robots.txt-Checker.

So funktioniert robots.txt

Die robots.txt liegt im Hauptverzeichnis Ihrer Website und sagt Bots, welche Pfade sie nicht crawlen sollen. Sie ist eine Bitte, kein Schloss: private Seiten brauchen trotzdem ein Passwort.

Gut zu wissen

  • Laden Sie die Datei als robots.txt ins Hauptverzeichnis (public_html)
  • Sperren Sie keine CSS- und JavaScript-Dateien, die Seiten benötigen
  • Eine Sperre in robots.txt entfernt eine Seite nicht aus Google; dafür gibt es noindex
  • Eine Sperre für KI-Crawler stoppt neue Crawls, aber nicht bereits gesammelte Inhalte