Qu'est-ce que robots.txt ?

Un fichier texte à la racine de votre site (exemple.com/robots.txt) qui indique aux robots d'exploration des moteurs de recherche quelles pages explorer et lesquelles ignorer.

Le robots.txt bloque-t-il l'indexation ?

Non. Il ne contrôle que l'exploration. Les pages peuvent quand même être indexées si elles sont liées depuis d'autres endroits. Utilisez meta noindex pour empêcher l'indexation.

Dois-je inclure un sitemap ?

Oui. Ajouter l'URL de votre sitemap dans le robots.txt aide les moteurs de recherche à découvrir toutes vos pages efficacement.

Outil SEO

Générateur de robots.txt

Générez un fichier robots.txt pour votre site web. Définissez les règles par user-agent, autorisez/bloquez des chemins, ajoutez l'URL du sitemap et configurez le délai d'exploration. Téléchargez ou copiez instantanément.

100% gratuit — aucun compte requis

Préréglages

User-Agent

Règles

URL du sitemap

Délai de crawl (secondes)

Aperçu

User-agent: *

Contrôlez les robots d'exploration

Indiquez aux moteurs de recherche quoi indexer

Règles par user-agent

Définissez des règles pour tous les robots (*), Googlebot, Bingbot ou des user-agents personnalisés.

Autoriser et bloquer

Ajoutez plusieurs règles d'autorisation et de blocage de chemins pour un contrôle précis.

3 préréglages

Tout autoriser, tout bloquer, ou bloquer les dossiers sensibles (/admin, /api, /private).

Copier et télécharger

Copiez dans le presse-papiers ou téléchargez en fichier robots.txt.

FAQ

Outils SEO

Optimisez votre SEO

Méta-balises, robots.txt et planification de contenu — tout au même endroit.