Kostenloser Robots.txt-Generator
Eine robots.txt-Datei für Ihre Website generieren. User-Agent-Regeln festlegen, Pfade erlauben/verbieten, Sitemap-URL hinzufügen und Crawl-Delay konfigurieren. Sofort herunterladen oder kopieren. Keine Anmeldung erforderlich.
100% kostenlos — kein Konto erforderlich
Voreinstellungen
Vorschau
User-agent: *
Funktionen von Kostenloser Robots.txt-Generator
Suchmaschinen mitteilen, was indexiert werden soll
User-Agent-Regeln
Regeln für alle Crawler (*), Googlebot, Bingbot oder benutzerdefinierte User-Agents festlegen.
Kopieren & Herunterladen
In die Zwischenablage kopieren oder als robots.txt-Datei herunterladen.
3 Vorlagen
Alles erlauben, alles blockieren oder sensible Ordner blockieren (/admin, /api, /private).
Erlauben & Verbieten
Mehrere Erlauben- und Verbieten-Pfadregeln für präzise Kontrolle hinzufügen.
Häufig gestellte Fragen
Was ist robots.txt?
Eine Textdatei im Root Ihrer Website (example.com/robots.txt), die Suchmaschinen-Crawlern mitteilt, welche Seiten gecrawlt und welche übersprungen werden sollen.
Blockiert robots.txt die Indexierung?
Nein. Es kontrolliert nur das Crawling. Seiten können trotzdem indexiert werden, wenn sie von anderswo verlinkt sind. Verwenden Sie meta noindex, um die Indexierung zu verhindern.
Sollte ich eine Sitemap einbinden?
Ja. Das Hinzufügen Ihrer Sitemap-URL in robots.txt hilft Suchmaschinen, alle Ihre Seiten effizient zu finden.
Ihr SEO optimieren
Meta-Tags, robots.txt und Content-Planung — alles an einem Ort.