Empowering 11,000+ WordPress Creators • Est. 2020
$ USD
$ AUD
$CAD
€ EUR
Rp
£ GBP
Rp$BRL
¥ JPY
$SGD
CHF CHF
Free · No Sign-Up · Instant Results

Robots.txt gratis Generator & Validator

Create a perfectly formatted robots.txt file in seconds with our visual builder — or validate your existing one for mistakes that could be silently blocking Google from your site.

Build Your Robots.txt

Used to auto-fill the Sitemap URL.

Live Preview

robots.txt 
# Loading preview…
0 lines
0 bytes
Dasar-dasar

Apa itu File Robots.txt?

Sebuah file robots.txt adalah file teks biasa yang ditempatkan di root situs web Anda (mis. https://yoursite.com/robots.txt). It instructs search engine crawlers — like Googlebot — which pages or sections of your site they should or should not crawl and index.

Meskipun robots.txt tidak menjamin privasi (halaman yang diblokir masih dapat muncul di hasil penelusuran jika ditautkan dari situs lain), ini adalah alat utama untuk mengelola anggaran perayapan — how much of your site Google explores per day. Used correctly, it helps Google focus its crawling on the pages that actually matter for your rankings.

For WordPress sites specifically, a well-configured robots.txt prevents Googlebot from wasting time on admin pages, login screens, and internal search results — directing that crawl budget toward your content instead.

contoh robots.txt 
# Allow all crawlers, block admin
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Block bad bots entirely
User-agent: AhrefsBot
Disallow: /

# Sitemap location
Sitemap: https://yoursite.com/sitemap.xml
Panduan WordPress

Cara Membuat Robots.txt untuk WordPress

WordPress tidak membuat robots.txt secara default. Inilah yang perlu ditambahkan untuk SEO optimal.

1

Gunakan Generator Di Atas

Pilih template "WordPress" di atas, masukkan URL situs Anda, dan robots.txt Anda akan langsung dibuat dengan semua aturan yang benar telah diisi sebelumnya.

2

Unggah melalui FTP atau cPanel

Unduh file robots.txt yang dihasilkan dan unggah ke direktori akar situs Anda menggunakan FTP, Manajer File cPanel, atau pengelola file host Anda.

3

Or Use SkySEOManager

SkySEOManager has a built-in robots.txt editor and validator under its Tools section. Paste your generated content there directly.

💡

Tip Pro: Validasi Setelah Setiap Perubahan

After uploading or editing your robots.txt, always run it through our validator above to check for mistakes. A single typo — like Disallow: / — can block your entire site from Google overnight.

Hindari Kesalahan Ini

Kesalahan Umum Robots.txt yang Merugikan SEO Anda

These are the most common errors our validator catches — and the ones most likely to quietly kill your Google rankings.

🔴

Larang: / (Memblokir Semuanya)

Sebuah Disallow: / di bawah User-agent: * blocks Googlebot from your entire site. This is the single most catastrophic robots.txt mistake — and it happens more often than you'd think during site builds.

🟡

Memblokir File CSS dan JavaScript

Tidak mengizinkan /wp-content/ prevents Google from loading your stylesheets and scripts. Google renders pages like a browser — if it can't load CSS/JS, it can't properly evaluate your content for rankings.

🟡

Petunjuk Peta Situs Tidak Ada

Tidak termasuk a Sitemap: arahan berarti Google harus menemukan peta situs Anda hanya melalui pengiriman Search Console. Menambahkannya ke robots.txt adalah cara mudah yang membantu Googlebot menemukan semua halaman Anda lebih cepat.

ℹ️

Kesalahan Jalur Peka Huruf Besar-kecil

Jalur robots.txt peka huruf besar-kecil di server Linux. Disallow: /Admin/ TIDAK memblokir /admin/. Selalu gunakan huruf yang sama persis dengan jalur URL Anda yang sebenarnya.

Perbaiki SEO Seluruh Situs Anda

Robots.txt Anda hanyalah permulaan.
Perbaiki SEO Setiap Halaman dengan SkySEOManager Pro.

Once your robots.txt allows Google to crawl your site, make sure every page is optimised. SkySEOManager Pro bulk-generates titles, meta descriptions, and image alt text across your entire WordPress site — powered by Gemini AI.

Download SkySEOManager Free → Run a Full SEO Audit →

Pertanyaan yang Sering Diajukan

Apakah file robots.txt diperlukan untuk SEO?
Tidak, file robots.txt tidak diperlukan. Jika Google tidak menemukan robots.txt di root domain Anda, Google akan memperlakukannya sebagai "izinkan semuanya" dan merayapi seluruh situs Anda dengan bebas. Namun, membuatnya sangat disarankan untuk sebagian besar situs sehingga Anda dapat secara eksplisit memblokir halaman admin, halaman login, dan duplikat konten agar tidak dirayapi.
Apakah robots.txt akan mencegah laman saya muncul di Google?
Memblokir URL di robots.txt mencegah Googlebot merangkak itu, tapi tidak menjamin hal itu tidak akan terjadi muncul dalam hasil pencarian. Jika situs lain tertaut ke URL yang diblokir, Google mungkin masih menampilkannya di hasil dengan deskripsi "Tidak ada informasi tersedia". Untuk sepenuhnya mencegah laman muncul di Google, gunakan tag meta noindex.
Apakah Google mengikuti arahan Penundaan Perayapan?
No — Google explicitly ignores the Crawl-delay directive. It uses its own internal signals to manage crawl rate for your server. Crawl-delay is respected by some other bots like Bingbot and Yandex, but it has no effect on Googlebot.
Seberapa sering Google membaca ulang robots.txt saya?
Google typically caches and re-reads robots.txt files every 24 hours. If you make a change that you need Google to pick up quickly (such as removing a noindex or Disallow rule), you can request faster re-crawling via Google Search Console → Settings → Crawl Stats.
Haruskah saya memblokir direktori /wp-admin/ saya?
Ya. Menambahkan Disallow: /wp-admin/ mencegah crawler membuang-buang anggaran crawling Anda pada halaman admin yang tidak memiliki nilai SEO. Namun, pastikan untuk menambahkan Allow: /wp-admin/admin-ajax.php di baris berikutnya agar fitur yang bergantung pada AJAX (seperti pembaruan keranjang WooCommerce) berfungsi dengan benar.

Buat atau Periksa Robots.txt Anda Sekarang

Gratis selamanya. Tidak diperlukan akun. Robots.txt Anda siap dalam 30 detik.