Create a perfectly formatted robots.txt file in seconds with our visual builder — or validate your existing one for mistakes that could be silently blocking Google from your site.
Used to auto-fill the Sitemap URL.
# Loading preview…
Testen Sie, ob eine bestimmte URL durch diese Regeln zugelassen oder blockiert würde.
Ein robots.txt-Datei ist eine reine Textdatei, die im Stammverzeichnis Ihrer Website abgelegt wird (z. B. https://yoursite.com/robots.txt). It instructs search engine crawlers — like Googlebot — which pages or sections of your site they should or should not crawl and index.
Obwohl robots.txt keinen Datenschutz gewährleistet (blockierte Seiten können weiterhin in Suchergebnissen angezeigt werden, wenn von anderen Websites aus darauf verlinkt wird), handelt es sich hierbei um das primäre Verwaltungstool Crawl-Budget — how much of your site Google explores per day. Used correctly, it helps Google focus its crawling on the pages that actually matter for your rankings.
For WordPress sites specifically, a well-configured robots.txt prevents Googlebot from wasting time on admin pages, login screens, and internal search results — directing that crawl budget toward your content instead.
# Allow all crawlers, block admin User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Block bad bots entirely User-agent: AhrefsBot Disallow: / # Sitemap location Sitemap: https://yoursite.com/sitemap.xml
WordPress erstellt standardmäßig keine robots.txt. Hier erfahren Sie genau, was Sie für eine optimale Suchmaschinenoptimierung hinzufügen sollten.
Wählen Sie oben die Vorlage „WordPress“ aus, geben Sie die URL Ihrer Website ein und Ihre robots.txt-Datei wird sofort mit allen richtigen Regeln vorab ausgefüllt generiert.
Laden Sie die generierte robots.txt-Datei herunter und laden Sie sie über FTP, den cPanel-Dateimanager oder den Dateimanager Ihres Hosts in das Stammverzeichnis Ihrer Site hoch.
SkySEOManager has a built-in robots.txt editor and validator under its Tools section. Paste your generated content there directly.
Profi-Tipp: Nach jeder Änderung validieren
After uploading or editing your robots.txt, always run it through our validator above to check for mistakes. A single typo — like Disallow: / — can block your entire site from Google overnight.
These are the most common errors our validator catches — and the ones most likely to quietly kill your Google rankings.
Ein Disallow: / unter User-agent: * blocks Googlebot from your entire site. This is the single most catastrophic robots.txt mistake — and it happens more often than you'd think during site builds.
Nicht zulassen /wp-content/ prevents Google from loading your stylesheets and scripts. Google renders pages like a browser — if it can't load CSS/JS, it can't properly evaluate your content for rankings.
Ohne a Sitemap: Die Direktive bedeutet, dass Google Ihre Sitemap nur über die Übermittlung an die Search Console entdecken muss. Das Hinzufügen zu robots.txt ist ein einfacher Gewinn, der dem Googlebot hilft, alle Ihre Seiten schneller zu finden.
Bei Robots.txt-Pfaden wird auf Linux-Servern zwischen Groß- und Kleinschreibung unterschieden. Disallow: /Admin/ blockiert NICHT /admin/. Verwenden Sie immer die exakte Groß-/Kleinschreibung Ihrer tatsächlichen URL-Pfade.
Korrigieren Sie die SEO Ihrer gesamten Website
Once your robots.txt allows Google to crawl your site, make sure every page is optimised. SkySEOManager Pro bulk-generates titles, meta descriptions, and image alt text across your entire WordPress site — powered by Gemini AI.
Disallow: /wp-admin/ verhindert, dass Crawler Ihr Crawl-Budget für Admin-Seiten verschwenden, die keinen SEO-Wert haben. Stellen Sie jedoch sicher, dass Sie hinzufügen Allow: /wp-admin/admin-ajax.php in der nächsten Zeile, damit AJAX-abhängige Funktionen (wie WooCommerce-Warenkorbaktualisierungen) ordnungsgemäß funktionieren.Für immer kostenlos. Kein Konto erforderlich. Ihre robots.txt ist in 30 Sekunden fertig.