Gratis · Tanpa Mendaftar · Hasil Instan

Robots.txt gratis Generator & Validator

Buat file robots.txt yang berformat sempurna dalam hitungan detik dengan pembuat visual kami — atau validasi file yang sudah ada untuk melihat kesalahan yang dapat memblokir Google secara diam-diam dari situs Anda.

Build Your Robots.txt

Used to auto-fill the Sitemap URL.

Live Preview

robots.txt 
# Loading preview…
0 lines
0 bytes
Dasar-dasarnya

Apa itu File Robots.txt?

A file robots.txt adalah file teks biasa yang ditempatkan di root situs web Anda (mis. https://situsAnda.com/robots.txt). Ini menginstruksikan perayap mesin telusur — seperti Googlebot — halaman atau bagian mana dari situs Anda yang harus atau tidak boleh dirayapi dan diindeks.

Meskipun robots.txt tidak menjamin privasi (halaman yang diblokir masih dapat muncul di hasil penelusuran jika ditautkan dari situs lain), ini adalah alat utama untuk mengelola anggaran perayapan — berapa banyak situs Anda yang dijelajahi Google per hari. Jika digunakan dengan benar, ini membantu Google memfokuskan perayapannya pada halaman yang benar-benar penting bagi peringkat Anda.

Khusus untuk situs WordPress, robots.txt yang dikonfigurasi dengan baik mencegah Googlebot membuang waktu di laman admin, layar masuk, dan hasil penelusuran internal — sebagai gantinya mengarahkan anggaran perayapan ke konten Anda.

contoh robots.txt 
# Izinkan semua crawler, blokir admin
Agen pengguna: *
Larang: /wp-admin/
Izinkan: /wp-admin/admin-ajax.php

# Blokir bot jahat sepenuhnya
Agen pengguna: AhrefsBot
Larang: /

# Lokasi peta situs
Peta Situs: https://situsAnda.com/sitemap.xml
Panduan WordPress

Cara Membuat Robots.txt untuk WordPress

WordPress tidak membuat robots.txt secara default. Inilah yang perlu ditambahkan untuk SEO optimal.

1

Gunakan Generator Di Atas

Pilih template "WordPress" di atas, masukkan URL situs Anda, dan robots.txt Anda akan langsung dibuat dengan semua aturan yang benar telah diisi sebelumnya.

2

Unggah melalui FTP atau cPanel

Unduh file robots.txt yang dihasilkan dan unggah ke direktori akar situs Anda menggunakan FTP, Manajer File cPanel, atau pengelola file host Anda.

3

Atau Gunakan Yoast / Rank Math

Baik Yoast SEO dan Rank Math memiliki editor robots.txt bawaan di bawah SEO → Tools → File Editor. Tempelkan konten yang Anda buat secara langsung di sana.

💡

Tip Pro: Validasi Setelah Setiap Perubahan

Setelah mengunggah atau mengedit robots.txt Anda, selalu jalankan melalui validator kami di atas untuk memeriksa kesalahan. Satu kesalahan ketik — seperti Larang: / — dapat memblokir seluruh situs Anda dari Google dalam semalam.

Hindari Kesalahan Ini

Kesalahan Umum Robots.txt yang Merugikan SEO Anda

Ini adalah kesalahan paling umum yang ditemukan validator kami — dan kesalahan yang paling mungkin mematikan peringkat Google Anda secara diam-diam.

🔴

Larang: / (Memblokir Semuanya)

A Larang: / di bawah Agen pengguna: * memblokir Googlebot dari seluruh situs Anda. Ini adalah satu-satunya kesalahan robots.txt yang paling berbahaya — dan ini terjadi lebih sering daripada yang Anda bayangkan selama pembuatan situs.

🟡

Memblokir File CSS dan JavaScript

Tidak mengizinkan /wp-konten/ mencegah Google memuat stylesheet dan skrip Anda. Google merender halaman seperti browser — jika tidak dapat memuat CSS/JS, Google tidak dapat mengevaluasi peringkat konten Anda dengan benar.

🟡

Petunjuk Peta Situs Tidak Ada

Tidak termasuk a Peta Situs: arahan berarti Google harus menemukan peta situs Anda hanya melalui pengiriman Search Console. Menambahkannya ke robots.txt adalah cara mudah yang membantu Googlebot menemukan semua halaman Anda lebih cepat.

ℹ️

Kesalahan Jalur Peka Huruf Besar-kecil

Jalur robots.txt peka huruf besar-kecil di server Linux. Larang: /Admin/ TIDAK memblokir /admin/. Selalu gunakan huruf yang sama persis dengan jalur URL Anda yang sebenarnya.

Perbaiki SEO Seluruh Situs Anda

Robots.txt Anda hanyalah permulaan.
Perbaiki SEO Setiap Halaman dengan SkySEOManager Pro.

Setelah robots.txt Anda mengizinkan Google merayapi situs Anda, pastikan setiap halaman telah dioptimalkan. SkySEOManager Pro menghasilkan judul, deskripsi meta, dan teks alternatif gambar secara massal di seluruh situs WordPress Anda — didukung oleh Gemini AI.

Jelajahi SkySEOManager Pro → Jalankan Audit SEO Lengkap →

Pertanyaan yang Sering Diajukan

Apakah file robots.txt diperlukan untuk SEO?
Tidak, file robots.txt tidak diperlukan. Jika Google tidak menemukan robots.txt di root domain Anda, Google akan memperlakukannya sebagai "izinkan semuanya" dan merayapi seluruh situs Anda dengan bebas. Namun, membuatnya sangat disarankan untuk sebagian besar situs sehingga Anda dapat secara eksplisit memblokir halaman admin, halaman login, dan duplikat konten agar tidak dirayapi.
Apakah robots.txt akan mencegah laman saya muncul di Google?
Memblokir URL di robots.txt mencegah Googlebot merangkak itu, tapi tidak menjamin hal itu tidak akan terjadi muncul dalam hasil pencarian. Jika situs lain tertaut ke URL yang diblokir, Google mungkin masih menampilkannya di hasil dengan deskripsi "Tidak ada informasi tersedia". Untuk sepenuhnya mencegah laman muncul di Google, gunakan tag meta noindex.
Apakah Google mengikuti arahan Penundaan Perayapan?
Tidak — Google secara eksplisit mengabaikan perintah penundaan perayapan. Ia menggunakan sinyal internalnya sendiri untuk mengelola kecepatan perayapan untuk server Anda. Penundaan perayapan diterapkan oleh beberapa bot lain seperti Bingbot dan Yandex, tetapi tidak berpengaruh pada Googlebot.
Seberapa sering Google membaca ulang robots.txt saya?
Google biasanya menyimpan cache dan membaca ulang file robots.txt setiap 24 jam. Jika Anda membuat perubahan yang perlu dilakukan Google dengan cepat (seperti menghapus aturan noindex atau Disallow), Anda dapat meminta perayapan ulang yang lebih cepat melalui Google Search Console → Setelan → Statistik Perayapan.
Haruskah saya memblokir direktori /wp-admin/ saya?
Ya. Menambahkan Larang: /wp-admin/ mencegah crawler membuang-buang anggaran crawling Anda pada halaman admin yang tidak memiliki nilai SEO. Namun, pastikan untuk menambahkan Izinkan: /wp-admin/admin-ajax.php di baris berikutnya agar fitur yang bergantung pada AJAX (seperti pembaruan keranjang WooCommerce) berfungsi dengan benar.

Buat atau Periksa Robots.txt Anda Sekarang

Gratis selamanya. Tidak diperlukan akun. Robots.txt Anda siap dalam 30 detik.