निःशुल्क · साइन-अप नहीं · तत्काल परिणाम

मुफ्त Robots.txt जनरेटर और वैधकर्ता

हमारे विजुअल बिल्डर से सेकंडों में पूरी तरह से फॉर्मेटेड robots.txt फ़ाइल बनाएं — या अपनी मौजूदा फ़ाइल में ऐसी गलतियों की जाँच करें जो चुपचाप Google को आपकी साइट से ब्लॉक कर रही हों।

Build Your Robots.txt

Used to auto-fill the Sitemap URL.

Live Preview

robots.txt 
# Loading preview…
0 lines
0 bytes
मूल बातें

Robots.txt फ़ाइल क्या है?

साइट स्कोर robots.txt फ़ाइल एक सादा-पाठ फ़ाइल है जो आपकी वेबसाइट के रूट पर रखी जाती है (जैसे https://yoursite.com/robots.txt). यह सर्च इंजन क्रॉलर — जैसे कि Googlebot — को निर्देश देता है कि आपकी साइट के कौन से पेज या अनुभागों को क्रॉल और इंडेक्स करना चाहिए या नहीं।

हालाँकि robots.txt गोपनीयता की गारंटी नहीं देता (अवरुद्ध पेज अन्य साइटों से लिंक होने पर खोज परिणामों में दिखाई दे सकते हैं), यह प्रबंधन के लिए प्राथमिक उपकरण है क्रॉल बजट — Google आपकी साइट का प्रतिदिन कितना भाग खोजता है। सही ढंग से उपयोग करने पर, यह Google को आपकी रैंकिंग के लिए वास्तव में महत्वपूर्ण पेजों पर अपना क्रॉलिंग केंद्रित करने में मदद करता है।

विशेष रूप से WordPress साइटों के लिए, एक अच्छी तरह से कॉन्फ़िगर किया गया robots.txt Googlebot को एडमिन पेजों, लॉगिन स्क्रीन और आंतरिक खोज परिणामों पर समय बर्बाद करने से रोकता है — और उस क्रॉल बजट को आपकी सामग्री की ओर निर्देशित करता है।

उदाहरण robots.txt 
# Allow all crawlers, block admin
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Block bad bots entirely
User-agent: AhrefsBot
Disallow: /

# Sitemap location
Sitemap: https://yoursite.com/sitemap.xml
WordPress गाइड

WordPress के लिए Robots.txt कैसे बनाएं

WordPress डिफ़ॉल्ट रूप से robots.txt नहीं बनाता। इष्टतम SEO के लिए वास्तव में क्या जोड़ना है, यहाँ बताया गया है।

1

ऊपर दिए गए जनरेटर का उपयोग करें

ऊपर "WordPress" टेम्पलेट चुनें, अपनी साइट URL दर्ज करें, और आपका robots.txt सभी सही नियमों के साथ तुरंत जेनरेट हो जाएगा।

2

FTP या cPanel के माध्यम से अपलोड करें

जेनरेट की गई robots.txt फ़ाइल डाउनलोड करें और इसे FTP, cPanel फ़ाइल प्रबंधक, या आपके होस्ट के फ़ाइल प्रबंधक का उपयोग करके अपनी साइट की रूट डायरेक्टरी में अपलोड करें।

3

Or Use SkySEOManager

SkySEOManager has a built-in robots.txt editor and validator under its Tools section. Paste your generated content there directly.

💡

प्रो टिप: हर बदलाव के बाद मान्य करें

robots.txt अपलोड या संपादित करने के बाद, गलतियों की जाँच करने के लिए इसे हमेशा ऊपर दिए गए हमारे वैलिडेटर के माध्यम से चलाएँ। एक टाइपो — जैसे Disallow: / — आपकी पूरी साइट को रातोंरात Google से ब्लॉक कर सकता है।

इन त्रुटियों से बचें

सामान्य Robots.txt गलतियाँ जो आपके SEO को नुकसान पहुँचाती हैं

ये सबसे सामान्य त्रुटियाँ हैं जो हमारा वैलिडेटर पकड़ता है — और जो आपकी Google रैंकिंग को चुपचाप खत्म करने की सबसे अधिक संभावना रखती हैं।

🔴

अनुमति न दें: / (सब कुछ ब्लॉक करता है)

साइट स्कोर Disallow: / के तहत User-agent: * Googlebot को आपकी पूरी साइट से ब्लॉक करता है। यह सबसे विनाशकारी robots.txt गलती है — और साइट निर्माण के दौरान आपके विचार से अधिक बार होती है।

🟡

CSS और JavaScript फ़ाइलों को ब्लॉक करना

अनुमति न देना /wp-content/ Google को आपकी स्टाइलशीट और स्क्रिप्ट लोड करने से रोकता है। Google ब्राउज़र की तरह पेज रेंडर करता है — यदि वह CSS/JS लोड नहीं कर सकता, तो वह रैंकिंग के लिए आपकी सामग्री का ठीक से मूल्यांकन नहीं कर सकता।

🟡

साइटमैप निर्देश गायब

शामिल न करना Sitemap: निर्देश का मतलब है कि Google को केवल Search Console सबमिशन के माध्यम से आपका साइटमैप खोजना होगा। इसे robots.txt में जोड़ना एक आसान जीत है जो Googlebot को आपके सभी पेजों को तेज़ी से खोजने में मदद करता है।

ℹ️

केस-सेंसिटिव पथ त्रुटियाँ

Linux सर्वर पर Robots.txt पथ केस-सेंसिटिव होते हैं। Disallow: /Admin/ ब्लॉक नहीं करता /admin/हमेशा अपने वास्तविक URL पथों के सटीक केस का उपयोग करें।

अपनी पूरी साइट का SEO ठीक करें

आपका robots.txt सिर्फ शुरुआत है।
SkySEOManager Pro के साथ हर पेज का SEO ठीक करें।

एक बार जब आपका robots.txt Google को आपकी साइट क्रॉल करने की अनुमति देता है, तो सुनिश्चित करें कि हर पेज ऑप्टिमाइज़ किया गया है। SkySEOManager Pro आपकी पूरी WordPress साइट पर बल्क-जेनरेट करता है शीर्षक, मेटा विवरण और इमेज ऑल्ट टेक्स्ट — Gemini AI द्वारा संचालित।

Download SkySEOManager Free → पूर्ण SEO ऑडिट चलाएँ →

अक्सर पूछे जाने वाले प्रश्न

क्या SEO के लिए robots.txt फ़ाइल आवश्यक है?
नहीं, robots.txt फ़ाइल आवश्यक नहीं है। यदि Google को आपके डोमेन रूट पर कोई robots.txt नहीं मिलता है, तो वह इसे "सब कुछ अनुमति दें" के रूप में मानता है और आपकी पूरी साइट को स्वतंत्र रूप से क्रॉल करता है। हालांकि, अधिकांश साइटों के लिए एक बनाने की दृढ़ता से अनुशंसा की जाती है ताकि आप एडमिन पेज, लॉगिन पेज और डुप्लिकेट सामग्री को क्रॉल होने से स्पष्ट रूप से रोक सकें।
क्या robots.txt मेरे पेजों को Google में दिखने से रोकेगा?
robots.txt में किसी URL को ब्लॉक करने से Googlebot को क्रॉल करने से यह, लेकिन यह गारंटी नहीं देता कि यह नहीं होगा दिखाई देने से खोज परिणामों में. यदि अन्य साइटें किसी अवरुद्ध URL से लिंक करती हैं, तो Google उसे "कोई जानकारी उपलब्ध नहीं" विवरण के साथ परिणामों में दिखा सकता है। किसी पेज को Google में दिखने से पूरी तरह रोकने के लिए, इसके बजाय noindex मेटा टैग का उपयोग करें।
क्या Google Crawl-delay निर्देश का पालन करता है?
नहीं — Google स्पष्ट रूप से Crawl-delay निर्देश को अनदेखा करता है। यह आपके सर्वर के लिए क्रॉल दर प्रबंधित करने के लिए अपने स्वयं के आंतरिक संकेतों का उपयोग करता है। Crawl-delay का पालन कुछ अन्य बॉट जैसे Bingbot और Yandex द्वारा किया जाता है, लेकिन इसका Googlebot पर कोई प्रभाव नहीं पड़ता है।
Google मेरे robots.txt को कितनी बार पुनः पढ़ता है?
Google आमतौर पर robots.txt फ़ाइलों को हर 24 घंटे में कैश और पुनः पढ़ता है। यदि आप कोई ऐसा परिवर्तन करते हैं जिसे Google को जल्दी से उठाने की आवश्यकता है (जैसे कि noindex या Disallow नियम को हटाना), तो आप Google Search Console → सेटिंग्स → क्रॉल आँकड़े के माध्यम से तेज़ पुनः क्रॉलिंग का अनुरोध कर सकते हैं।
क्या मुझे अपनी /wp-admin/ निर्देशिका को ब्लॉक करना चाहिए?
हाँ। जोड़ना Disallow: /wp-admin/ क्रॉलर्स को आपके क्रॉल बजट को उन एडमिन पेजों पर बर्बाद करने से रोकता है जिनका कोई SEO मूल्य नहीं है। हालांकि, सुनिश्चित करें कि जोड़ें Allow: /wp-admin/admin-ajax.php अगली पंक्ति में ताकि AJAX-निर्भर सुविधाएँ (जैसे WooCommerce कार्ट अपडेट) सही ढंग से काम करती रहें।

अब अपना robots.txt बनाएं या जांचें

हमेशा मुफ्त। कोई खाता आवश्यक नहीं। आपका robots.txt 30 सेकंड में तैयार।