Создайте идеально отформатированный файл robots.txt за считанные секунды с помощью нашего визуального конструктора или проверьте существующий файл на наличие ошибок, которые могут незаметно заблокировать Google доступ к вашему сайту.
Used to auto-fill the Sitemap URL.
# Loading preview…
Проверьте, будет ли определенный URL-адрес разрешен или заблокирован этими правилами.
А файл robots.txt представляет собой обычный текстовый файл, размещенный в корне вашего веб-сайта (например, https://yoursite.com/robots.txt). Он указывает сканерам поисковых систем, например роботу Googlebot, какие страницы или разделы вашего сайта следует или не следует сканировать и индексировать.
Хотя файл robots.txt не гарантирует конфиденциальность (заблокированные страницы все равно могут появляться в результатах поиска, если на них есть ссылки с других сайтов), он является основным инструментом управления краулинговый бюджет — какую часть вашего сайта Google исследует за день. При правильном использовании он помогает Google сосредоточить сканирование на страницах, которые действительно важны для вашего рейтинга.
В частности, для сайтов WordPress хорошо настроенный файл robots.txt не позволяет роботу Google тратить время на страницы администрирования, экраны входа и результаты внутреннего поиска — вместо этого направляя этот бюджет сканирования на ваш контент.
# Allow all crawlers, block admin User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Block bad bots entirely User-agent: AhrefsBot Disallow: / # Sitemap location Sitemap: https://yoursite.com/sitemap.xml
WordPress не создает файл robots.txt по умолчанию. Вот что именно нужно добавить для оптимального SEO.
Выберите шаблон «WordPress» выше, введите URL-адрес своего сайта, и ваш файл robots.txt будет создан мгновенно с предварительно заполненными всеми правильными правилами.
Загрузите сгенерированный файл robots.txt и загрузите его в корневой каталог вашего сайта с помощью FTP, файлового менеджера cPanel или файлового менеджера вашего хоста.
И Yoast SEO, и Rank Math имеют встроенный редактор robots.txt в разделе SEO → Инструменты → Редактор файлов. Вставьте туда сгенерированный контент напрямую.
Совет для профессионалов: проверяйте после каждого изменения
После загрузки или редактирования файла robots.txt всегда пропускайте его через наш валидатор, указанный выше, чтобы проверить наличие ошибок. Единственная опечатка — типа Disallow: / — может заблокировать весь ваш сайт от Google в одночасье.
Это наиболее распространенные ошибки, которые обнаруживает наш валидатор, и они, скорее всего, незаметно убьют ваш рейтинг в Google.
А Disallow: / под User-agent: * блокирует робот Googlebot на всем вашем сайте. Это самая катастрофическая ошибка robots.txt — и она случается чаще, чем вы думаете, при создании сайта.
Запретить /wp-content/ запрещает Google загружать ваши таблицы стилей и скрипты. Google отображает страницы как браузер: если он не может загрузить CSS/JS, он не сможет правильно оценить ваш контент на предмет рейтинга.
Не включая Sitemap: Директива означает, что Google должен обнаружить вашу карту сайта только посредством отправки в консоль поиска. Добавление его в robots.txt — это легкая победа, которая поможет роботу Google быстрее найти все ваши страницы.
На серверах Linux пути в файле robots.txt чувствительны к регистру. Disallow: /Admin/ НЕ блокирует /admin/. Всегда используйте точный регистр реальных URL-путей.
Исправьте SEO всего вашего сайта
Как только файл robots.txt позволит Google сканировать ваш сайт, убедитесь, что каждая страница оптимизирована. SkySEOManager Pro массово генерирует заголовки, метаописания и замещающий текст изображения по всему вашему сайту WordPress — на базе Gemini AI.
Disallow: /wp-admin/ не позволяет сканерам тратить ваш краулинговый бюджет на страницы администрирования, которые не имеют ценности для SEO. Однако обязательно добавьте Allow: /wp-admin/admin-ajax.php на следующей строке, чтобы обеспечить правильную работу AJAX-зависимых функций (например, обновлений корзины WooCommerce).Бесплатно навсегда. Никакой учетной записи не требуется. Ваш robots.txt будет готов через 30 секунд.