免费 · 无需注册 · 即时结果

免费机器人.txt 生成器和验证器

使用我们的可视化生成器在几秒钟内创建一个格式完美的 robots.txt 文件，或者验证您现有的文件是否存在可能悄悄阻止 Google 访问您网站的错误。

Build Your Robots.txt

Used to auto-fill the Sitemap URL.

Live Preview

robots.txt 
# Loading preview…
0 lines
0 bytes
基础知识

什么是 Robots.txt 文件？

一个 机器人.txt 文件 是放置在您网站根目录下的纯文本文件（例如 https://yoursite.com/robots.txt）。它指示搜索引擎抓取工具（例如 Googlebot）应该或不应该抓取网站的哪些页面或部分并建立索引。

虽然 robots.txt 不能保证隐私（如果从其他网站链接到，被阻止的页面仍然会出现在搜索结果中），但它是管理的主要工具 抓取预算 — Google 每天会浏览您网站的多少内容。正确使用，它可以帮助 Google 将抓取重点放在对您的排名真正重要的页面上。

特别是对于 WordPress 网站，配置良好的 robots.txt 可以防止 Googlebot 在管理页面、登录屏幕和内部搜索结果上浪费时间，而是将抓取预算用于您的内容。

示例 robots.txt 
# Allow all crawlers, block admin
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Block bad bots entirely
User-agent: AhrefsBot
Disallow: /

# Sitemap location
Sitemap: https://yoursite.com/sitemap.xml
WordPress 指南

如何为 WordPress 创建 Robots.txt

默认情况下，WordPress 不会创建 robots.txt。以下正是为了实现最佳 SEO 而添加的内容。

1

使用上面的生成器

选择上面的“WordPress”模板，输入您的网站 URL，您的 robots.txt 将立即生成，并预先填充所有正确的规则。

2

通过 FTP 或 cPanel 上传

下载生成的 robots.txt 文件，并使用 FTP、cPanel 文件管理器或主机的文件管理器将其上传到站点的根目录。

3

或者使用 Yoast / Rank Math

Yoast SEO 和 Rank Math 都有一个内置的 robots.txt 编辑器，位于 SEO → 工具 → 文件编辑器下。直接将生成的内容粘贴到那里。

💡

专业提示：每次更改后进行验证

上传或编辑 robots.txt 后，请务必通过我们上面的验证器运行它以检查是否有错误。一个拼写错误——比如 Disallow: / — 可以在一夜之间阻止 Google 访问您的整个网站。

避免这些错误

损害 SEO 的常见 Robots.txt 错误

这些是我们的验证器捕获的最常见错误，也是最有可能悄悄降低您的 Google 排名的错误。

🔴

禁止：/（阻止一切）

一个 Disallow: / 在下面 User-agent: * 阻止 Googlebot 访问您的整个网站。这是一个最具灾难性的 robots.txt 错误，而且在网站构建过程中这种错误发生的频率比您想象的要高。

🟡

阻止 CSS 和 JavaScript 文件

不允许 /wp-content/ 阻止 Google 加载您的样式表和脚本。 Google 像浏览器一样呈现页面 - 如果它无法加载 CSS/JS，它就无法正确评估您的内容进行排名。

🟡

缺少站点地图指令

不包括 Sitemap: 指令意味着 Google 必须仅通过 Search Console 提交来发现您的站点地图。将其添加到 robots.txt 是一个简单的胜利，可以帮助 Googlebot 更快地找到您的所有网页。

ℹ️

区分大小写的路径错误

Robots.txt 路径在 Linux 服务器上区分大小写。 Disallow: /Admin/ 不阻塞 /admin/。始终使用与实际 URL 路径完全相同的大小写。

修复整个网站的 SEO

您的 robots.txt 只是开始。
使用 SkySEOManager Pro 修复每个页面的 SEO。

一旦您的 robots.txt 允许 Google 抓取您的网站，请确保每个页面都得到优化。 SkySEOManager Pro 在整个 WordPress 网站上批量生成标题、元描述和图像替代文本 — 由 Gemini AI 提供支持。

探索 SkySEOManager Pro → 进行全面的 SEO 审核 →

常见问题解答

SEO 是否需要 robots.txt 文件？
不，不需要 robots.txt 文件。如果 Google 在您的域根目录中找不到 robots.txt，则会将其视为“允许一切”并自由抓取您的整个网站。但是，强烈建议大多数网站创建一个，以便您可以明确阻止管理页面、登录页面和重复内容被爬网。
robots.txt 会阻止我的网页出现在 Google 中吗？
屏蔽 robots.txt 中的网址会阻止 Googlebot 爬行 会，但不保证不会 出现 在搜索结果中。如果其他网站链接到被阻止的网址，Google 仍可能会在结果中显示该网址并带有“无可用信息”的描述。要完全阻止页面出现在 Google 中，请改用 noindex 元标记。
Google 是否遵循抓取延迟指令？
否 - Google 明确忽略抓取延迟指令。它使用自己的内部信号来管理服务器的抓取速度。抓取延迟受到 Bingbot 和 Yandex 等其他一些机器人的尊重，但它对 Googlebot 没有影响。
Google 多久重新读取一次我的 robots.txt？
Google 通常每 24 小时缓存并重新读取 robots.txt 文件。如果您做出的更改需要 Google 快速接受（例如删除 noindex 或 Disallow 规则），您可以通过 Google Search Console → 设置 → 抓取统计请求更快地重新抓取。
我应该阻止我的 /wp-admin/ 目录吗？
是的。添加 Disallow: /wp-admin/ 防止爬虫在没有 SEO 价值的管理页面上浪费您的爬行预算。但是，请确保添加 Allow: /wp-admin/admin-ajax.php 在下一行，以保持 AJAX 相关功能（如 WooCommerce 购物车更新）正常工作。

立即创建或检查您的 Robots.txt

永远免费。无需帐户。您的 robots.txt 将在 30 秒内准备就绪。