Erstellen Sie mit unserem visuellen Builder in Sekundenschnelle eine perfekt formatierte robots.txt-Datei – oder validieren Sie Ihre vorhandene Datei auf Fehler, die dazu führen könnten, dass Google stillschweigend von Ihrer Website blockiert wird.
Used to auto-fill the Sitemap URL.
# Loading preview…
Testen Sie, ob eine bestimmte URL durch diese Regeln zugelassen oder blockiert würde.
A robots.txt-Datei ist eine reine Textdatei, die im Stammverzeichnis Ihrer Website abgelegt wird (z. B. https://yoursite.com/robots.txt). Es weist Suchmaschinen-Crawler – wie den Googlebot – an, welche Seiten oder Abschnitte Ihrer Website sie crawlen und indizieren sollen und welche nicht.
Obwohl robots.txt keinen Datenschutz gewährleistet (blockierte Seiten können weiterhin in Suchergebnissen angezeigt werden, wenn von anderen Websites aus darauf verlinkt wird), handelt es sich hierbei um das primäre Verwaltungstool Crawl-Budget – wie viel von Ihrer Website Google pro Tag erkundet. Bei richtiger Anwendung hilft es Google, sein Crawling auf die Seiten zu konzentrieren, die für Ihr Ranking tatsächlich wichtig sind.
Speziell für WordPress-Sites verhindert eine gut konfigurierte robots.txt, dass der Googlebot Zeit mit Admin-Seiten, Anmeldebildschirmen und internen Suchergebnissen verschwendet – und lenkt das Crawling-Budget stattdessen auf Ihre Inhalte.
# Allow all crawlers, block admin User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Block bad bots entirely User-agent: AhrefsBot Disallow: / # Sitemap location Sitemap: https://yoursite.com/sitemap.xml
WordPress erstellt standardmäßig keine robots.txt. Hier erfahren Sie genau, was Sie für eine optimale Suchmaschinenoptimierung hinzufügen sollten.
Wählen Sie oben die Vorlage „WordPress“ aus, geben Sie die URL Ihrer Website ein und Ihre robots.txt-Datei wird sofort mit allen richtigen Regeln vorab ausgefüllt generiert.
Laden Sie die generierte robots.txt-Datei herunter und laden Sie sie über FTP, den cPanel-Dateimanager oder den Dateimanager Ihres Hosts in das Stammverzeichnis Ihrer Site hoch.
Sowohl Yoast SEO als auch Rank Math verfügen über einen integrierten robots.txt-Editor unter SEO → Tools → Dateieditor. Fügen Sie Ihre generierten Inhalte dort direkt ein.
Profi-Tipp: Nach jeder Änderung validieren
Nachdem Sie Ihre robots.txt-Datei hochgeladen oder bearbeitet haben, führen Sie sie immer durch unseren Validator oben, um sie auf Fehler zu prüfen. Ein einziger Tippfehler – like Disallow: / – kann Ihre gesamte Website über Nacht für Google blockieren.
Dies sind die häufigsten Fehler, die unser Validator erkennt – und diejenigen, die Ihre Google-Rankings am wahrscheinlichsten stillschweigend zerstören.
A Disallow: / unter User-agent: * Blockiert den Googlebot von Ihrer gesamten Website. Dies ist der katastrophalste robots.txt-Fehler – und er kommt beim Erstellen einer Website häufiger vor, als man denkt.
Nicht zulassen /wp-content/ verhindert, dass Google Ihre Stylesheets und Skripte lädt. Google rendert Seiten wie ein Browser – wenn es CSS/JS nicht laden kann, kann es Ihre Inhalte nicht richtig für Rankings bewerten.
Ohne a Sitemap: Die Direktive bedeutet, dass Google Ihre Sitemap nur über die Übermittlung an die Search Console entdecken muss. Das Hinzufügen zu robots.txt ist ein einfacher Gewinn, der dem Googlebot hilft, alle Ihre Seiten schneller zu finden.
Bei Robots.txt-Pfaden wird auf Linux-Servern zwischen Groß- und Kleinschreibung unterschieden. Disallow: /Admin/ blockiert NICHT /admin/. Verwenden Sie immer die exakte Groß-/Kleinschreibung Ihrer tatsächlichen URL-Pfade.
Korrigieren Sie die SEO Ihrer gesamten Website
Sobald Ihre robots.txt-Datei Google das Crawlen Ihrer Website ermöglicht, stellen Sie sicher, dass jede Seite optimiert ist. SkySEOManager Pro generiert in großen Mengen Titel, Meta-Beschreibungen und Bild-Alternativtexte für Ihre gesamte WordPress-Site – unterstützt von Gemini AI.
Disallow: /wp-admin/ verhindert, dass Crawler Ihr Crawl-Budget für Admin-Seiten verschwenden, die keinen SEO-Wert haben. Stellen Sie jedoch sicher, dass Sie hinzufügen Allow: /wp-admin/admin-ajax.php in der nächsten Zeile, damit AJAX-abhängige Funktionen (wie WooCommerce-Warenkorbaktualisierungen) ordnungsgemäß funktionieren.Für immer kostenlos. Kein Konto erforderlich. Ihre robots.txt ist in 30 Sekunden fertig.