Eine Textdatei im Root Ihrer Website (example.com/robots.txt), die Suchmaschinen-Crawlern mitteilt, welche Seiten gecrawlt und welche übersprungen werden sollen.

Blockiert robots.txt die Indexierung?

Nein. Es kontrolliert nur das Crawling. Seiten können trotzdem indexiert werden, wenn sie von anderswo verlinkt sind. Verwenden Sie meta noindex, um die Indexierung zu verhindern.

Sollte ich eine Sitemap einbinden?

Ja. Das Hinzufügen Ihrer Sitemap-URL in robots.txt hilft Suchmaschinen, alle Ihre Seiten effizient zu finden.

SEO-Tool

Robots.txt-Generator

Eine robots.txt-Datei für Ihre Website generieren. User-Agent-Regeln festlegen, Pfade erlauben/verbieten, Sitemap-URL hinzufügen und Crawl-Delay konfigurieren. Sofort herunterladen oder kopieren.

100% kostenlos — kein Konto erforderlich

Voreinstellungen

User-Agent

Regeln

Sitemap-URL

Crawl-Verzögerung (Sekunden)

Vorschau

User-agent: *

Such-Crawler steuern

Suchmaschinen mitteilen, was indexiert werden soll

User-Agent-Regeln

Regeln für alle Crawler (*), Googlebot, Bingbot oder benutzerdefinierte User-Agents festlegen.

Erlauben & Verbieten

Mehrere Erlauben- und Verbieten-Pfadregeln für präzise Kontrolle hinzufügen.

3 Vorlagen

Alles erlauben, alles blockieren oder sensible Ordner blockieren (/admin, /api, /private).

Kopieren & Herunterladen

In die Zwischenablage kopieren oder als robots.txt-Datei herunterladen.

Häufig gestellte Fragen

SEO-Tools

Ihr SEO optimieren

Meta-Tags, robots.txt und Content-Planung — alles an einem Ort.