無料 · サインアップなし · 即時結果

無料の Robots.txt ジェネレータとバリデータ

ビジュアル ビルダーを使用して、完璧にフォーマットされた robots.txt ファイルを数秒で作成できます。または、サイトから Google をサイレントにブロックする可能性のある間違いがないか、既存のファイルを検証します。

Build Your Robots.txt

Used to auto-fill the Sitemap URL.

Live Preview

robots.txt 
# Loading preview…
0 lines
0 bytes
基本

Robots.txt ファイルとは何ですか?

あ robots.txt ファイル Web サイトのルートに配置されるプレーンテキスト ファイル (例: https://yoursite.com/robots.txt）。これは、Googlebot などの検索エンジン クローラーに、サイトのどのページまたはセクションをクロールしてインデックス付けする必要があるか、またはしないかを指示します。

robots.txt はプライバシーを保証しませんが (他のサイトからリンクされている場合、ブロックされたページが検索結果に表示される可能性があります)、管理のための主要なツールです。 クロールの予算 — Google が 1 日に探索するサイトの量。正しく使用すると、Google がランキングにとって実際に重要なページに重点を置いてクロールするのに役立ちます。

特に WordPress サイトの場合、適切に構成された robots.txt により、Googlebot が管理ページ、ログイン画面、内部検索結果で時間を無駄にすることがなくなり、代わりにクロール予算がコンテンツに振り向けられます。

robots.txt の例 
# Allow all crawlers, block admin
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Block bad bots entirely
User-agent: AhrefsBot
Disallow: /

# Sitemap location
Sitemap: https://yoursite.com/sitemap.xml
WordPress ガイド

WordPress 用の Robots.txt を作成する方法

WordPress はデフォルトでは robots.txt を作成しません。最適な SEO のために追加すべきものは次のとおりです。

1

上記のジェネレーターを使用する

上の「WordPress」テンプレートを選択し、サイトの URL を入力すると、適切なルールがすべて事前に入力された robots.txt が即座に生成されます。

2

FTP または cPanel 経由でアップロードする

生成された robots.txt ファイルをダウンロードし、FTP、cPanel ファイル マネージャー、またはホストのファイル マネージャーを使用してサイトのルート ディレクトリにアップロードします。

3

または Yoast / Rank Math を使用する

Yoast SEO と Rank Math の両方には、SEO → ツール → ファイル エディターに robots.txt エディターが組み込まれています。生成したコンテンツをそこに直接貼り付けます。

💡

プロのヒント: 変更するたびに検証する

robots.txt をアップロードまたは編集した後は、必ず上記のバリデーターを実行して間違いがないか確認してください。単一のタイプミス — のような Disallow: / — 一晩でサイト全体を Google からブロックすることができます。

これらのエラーを回避してください

SEO に悪影響を与える Robots.txt のよくある間違い

これらは、バリデーターが検出する最も一般的なエラーであり、Google ランキングを密かに破壊する可能性が最も高いエラーです。

🔴

禁止: / (すべてをブロック)

あ Disallow: / 下 User-agent: * サイト全体から Googlebot をブロックします。これは robots.txt の最も致命的な間違いであり、サイトの構築中に予想よりも頻繁に発生します。

🟡

CSS および JavaScript ファイルのブロック

不許可 /wp-content/ Google がスタイルシートやスクリプトを読み込むのを防ぎます。 Google はブラウザのようにページをレンダリングします。CSS/JS を読み込めないと、ランキングのためにコンテンツを適切に評価できません。

🟡

サイトマップディレクティブがありません

を含まない Sitemap: このディレクティブは、Google が Search Console の送信を通じてのみサイトマップを検出する必要があることを意味します。これを robots.txt に追加すると、Googlebot がすべてのページをより速く見つけられるようになり、簡単に成功します。

ℹ️

大文字と小文字を区別するパス エラー

Linux サーバーでは、Robots.txt のパスでは大文字と小文字が区別されます。 Disallow: /Admin/ ブロックしません /admin/。実際の URL パスの大文字と小文字を常に正確に使用してください。

サイト全体の SEO を修正する

robots.txt は始まりにすぎません。
SkySEOManager Pro ですべてのページの SEO を修正します。

robots.txt によって Google がサイトをクロールできるようになったら、すべてのページが最適化されていることを確認してください。 SkySEOManager Pro は、Gemini AI を利用して、WordPress サイト全体でタイトル、メタディスクリプション、画像の代替テキストを一括生成します。

SkySEOManager Pro を詳しく見る → 完全な SEO 監査を実行する →

よくある質問

robots.txt ファイルは SEO に必要ですか?
いいえ、robots.txt ファイルは必要ありません。 Google がドメイン ルートで robots.txt を見つけられなかった場合、それを「すべて許可」として扱い、サイト全体を自由にクロールします。ただし、管理ページ、ログイン ページ、および重複コンテンツのクロールを明示的にブロックできるように、ほとんどのサイトで作成することを強くお勧めします。
robots.txt により、私のページが Google に表示されなくなりますか?
robots.txt で URL をブロックすると、Googlebot がアクセスできないようになります。 這う ただし、そうでないことを保証するものではありません 現れる 検索結果で。他のサイトがブロックされた URL にリンクしている場合でも、Google はその URL を「利用可能な情報がありません」という説明とともに結果に表示することがあります。ページが Google に表示されないようにするには、代わりに noindex メタ タグを使用します。
Google はクロール遅延指令に従っていますか?
いいえ — Google はクロール遅延ディレクティブを明示的に無視します。独自の内部信号を使用してサーバーのクロール レートを管理します。クロール遅延は、Bingbot や Yandex などの他のボットによって尊重されますが、Googlebot には影響しません。
Google はどのくらいの頻度で私の robots.txt を再読み込みしますか?
Google は通常、robots.txt ファイルを 24 時間ごとにキャッシュして再読み取りします。 Google にすぐに反映してもらう必要がある変更を加えた場合 (noindex や Disallow ルールの削除など)、Google Search Console → [設定] → [クロール統計] から再クロールの高速化をリクエストできます。
/wp-admin/ ディレクトリをブロックする必要がありますか?
はい。追加 Disallow: /wp-admin/ クローラーが SEO 価値のない管理ページにクロール予算を浪費するのを防ぎます。ただし、必ず追加してください Allow: /wp-admin/admin-ajax.php 次の行では、AJAX に依存する機能 (WooCommerce カートの更新など) が正しく動作するようにします。

今すぐ Robots.txt を作成または確認してください

永久無料。アカウントは必要ありません。 robots.txt は 30 秒で完成します。