Create a perfectly formatted robots.txt file in seconds with our visual builder — or validate your existing one for mistakes that could be silently blocking Google from your site.
Used to auto-fill the Sitemap URL.
# Loading preview…
Testez si une URL spécifique serait autorisée ou bloquée par ces règles.
Un fichier robots.txt est un fichier texte placé à la racine de votre site web (ex. : https://yoursite.com/robots.txt). It instructs search engine crawlers — like Googlebot — which pages or sections of your site they should or should not crawl and index.
Bien que robots.txt ne garantisse pas la confidentialité (les pages bloquées peuvent toujours apparaître dans les résultats de recherche si elles sont liées à partir d'autres sites), c'est l'outil principal pour gérer budget d'exploration — how much of your site Google explores per day. Used correctly, it helps Google focus its crawling on the pages that actually matter for your rankings.
For WordPress sites specifically, a well-configured robots.txt prevents Googlebot from wasting time on admin pages, login screens, and internal search results — directing that crawl budget toward your content instead.
# Allow all crawlers, block admin User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Block bad bots entirely User-agent: AhrefsBot Disallow: / # Sitemap location Sitemap: https://yoursite.com/sitemap.xml
WordPress ne crée pas de robots.txt par défaut. Voici exactement ce qu'il faut ajouter pour un référencement optimal.
Sélectionnez le modèle « WordPress » ci-dessus, entrez l'URL de votre site, et votre robots.txt sera généré instantanément avec toutes les bonnes règles préremplies.
Téléchargez le fichier robots.txt généré et placez-le dans le répertoire racine de votre site en utilisant FTP, le gestionnaire de fichiers cPanel, ou le gestionnaire de fichiers de votre hébergeur.
SkySEOManager has a built-in robots.txt editor and validator under its Tools section. Paste your generated content there directly.
Conseil de pro : validez après chaque modification
After uploading or editing your robots.txt, always run it through our validator above to check for mistakes. A single typo — like Disallow: / — can block your entire site from Google overnight.
These are the most common errors our validator catches — and the ones most likely to quietly kill your Google rankings.
Un Disallow: / sous User-agent: * blocks Googlebot from your entire site. This is the single most catastrophic robots.txt mistake — and it happens more often than you'd think during site builds.
Interdire /wp-content/ prevents Google from loading your stylesheets and scripts. Google renders pages like a browser — if it can't load CSS/JS, it can't properly evaluate your content for rankings.
Ne pas inclure de Sitemap: signifie que Google doit découvrir votre sitemap uniquement via la soumission dans Search Console. L'ajouter à robots.txt est un gain facile qui aide Googlebot à trouver toutes vos pages plus rapidement.
Les chemins robots.txt sont sensibles à la casse sur les serveurs Linux. Disallow: /Admin/ ne bloque PAS /admin/. Utilisez toujours la casse exacte de vos chemins d'URL réels.
Corrigez le référencement de tout votre site
Once your robots.txt allows Google to crawl your site, make sure every page is optimised. SkySEOManager Pro bulk-generates titles, meta descriptions, and image alt text across your entire WordPress site — powered by Gemini AI.
Disallow: /wp-admin/ empêche les robots d'exploration de gaspiller votre budget d'exploration sur des pages d'administration sans valeur SEO. Cependant, assurez-vous d'ajouter Allow: /wp-admin/admin-ajax.php sur la ligne suivante pour que les fonctionnalités dépendantes d'AJAX (comme les mises à jour du panier WooCommerce) continuent de fonctionner correctement.Gratuit pour toujours. Aucun compte requis. Votre robots.txt prêt en 30 secondes.