Create a perfectly formatted robots.txt file in seconds with our visual builder — or validate your existing one for mistakes that could be silently blocking Google from your site.
Used to auto-fill the Sitemap URL.
# Loading preview…
परीक्षण करें कि क्या कोई विशिष्ट URL इन नियमों द्वारा अनुमत या अवरुद्ध होगा।
साइट स्कोर robots.txt फ़ाइल एक सादा-पाठ फ़ाइल है जो आपकी वेबसाइट के रूट पर रखी जाती है (जैसे https://yoursite.com/robots.txt). It instructs search engine crawlers — like Googlebot — which pages or sections of your site they should or should not crawl and index.
हालाँकि robots.txt गोपनीयता की गारंटी नहीं देता (अवरुद्ध पेज अन्य साइटों से लिंक होने पर खोज परिणामों में दिखाई दे सकते हैं), यह प्रबंधन के लिए प्राथमिक उपकरण है क्रॉल बजट — how much of your site Google explores per day. Used correctly, it helps Google focus its crawling on the pages that actually matter for your rankings.
For WordPress sites specifically, a well-configured robots.txt prevents Googlebot from wasting time on admin pages, login screens, and internal search results — directing that crawl budget toward your content instead.
# Allow all crawlers, block admin User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Block bad bots entirely User-agent: AhrefsBot Disallow: / # Sitemap location Sitemap: https://yoursite.com/sitemap.xml
WordPress डिफ़ॉल्ट रूप से robots.txt नहीं बनाता। इष्टतम SEO के लिए वास्तव में क्या जोड़ना है, यहाँ बताया गया है।
ऊपर "WordPress" टेम्पलेट चुनें, अपनी साइट URL दर्ज करें, और आपका robots.txt सभी सही नियमों के साथ तुरंत जेनरेट हो जाएगा।
जेनरेट की गई robots.txt फ़ाइल डाउनलोड करें और इसे FTP, cPanel फ़ाइल प्रबंधक, या आपके होस्ट के फ़ाइल प्रबंधक का उपयोग करके अपनी साइट की रूट डायरेक्टरी में अपलोड करें।
SkySEOManager has a built-in robots.txt editor and validator under its Tools section. Paste your generated content there directly.
प्रो टिप: हर बदलाव के बाद मान्य करें
After uploading or editing your robots.txt, always run it through our validator above to check for mistakes. A single typo — like Disallow: / — can block your entire site from Google overnight.
These are the most common errors our validator catches — and the ones most likely to quietly kill your Google rankings.
साइट स्कोर Disallow: / के तहत User-agent: * blocks Googlebot from your entire site. This is the single most catastrophic robots.txt mistake — and it happens more often than you'd think during site builds.
अनुमति न देना /wp-content/ prevents Google from loading your stylesheets and scripts. Google renders pages like a browser — if it can't load CSS/JS, it can't properly evaluate your content for rankings.
शामिल न करना Sitemap: निर्देश का मतलब है कि Google को केवल Search Console सबमिशन के माध्यम से आपका साइटमैप खोजना होगा। इसे robots.txt में जोड़ना एक आसान जीत है जो Googlebot को आपके सभी पेजों को तेज़ी से खोजने में मदद करता है।
Linux सर्वर पर Robots.txt पथ केस-सेंसिटिव होते हैं। Disallow: /Admin/ ब्लॉक नहीं करता /admin/हमेशा अपने वास्तविक URL पथों के सटीक केस का उपयोग करें।
अपनी पूरी साइट का SEO ठीक करें
Once your robots.txt allows Google to crawl your site, make sure every page is optimised. SkySEOManager Pro bulk-generates titles, meta descriptions, and image alt text across your entire WordPress site — powered by Gemini AI.
Disallow: /wp-admin/ क्रॉलर्स को आपके क्रॉल बजट को उन एडमिन पेजों पर बर्बाद करने से रोकता है जिनका कोई SEO मूल्य नहीं है। हालांकि, सुनिश्चित करें कि जोड़ें Allow: /wp-admin/admin-ajax.php अगली पंक्ति में ताकि AJAX-निर्भर सुविधाएँ (जैसे WooCommerce कार्ट अपडेट) सही ढंग से काम करती रहें।हमेशा मुफ्त। कोई खाता आवश्यक नहीं। आपका robots.txt 30 सेकंड में तैयार।