हमारे विज़ुअल बिल्डर के साथ सेकंडों में एक पूरी तरह से स्वरूपित robots.txt फ़ाइल बनाएं - या गलतियों के लिए अपनी मौजूदा फ़ाइल को सत्यापित करें जो Google को आपकी साइट से चुपचाप ब्लॉक कर सकती है।
Used to auto-fill the Sitemap URL.
# Loading preview…
परीक्षण करें कि क्या किसी विशिष्ट URL को इन नियमों द्वारा अनुमति दी जाएगी या अवरुद्ध किया जाएगा।
ए robots.txt फ़ाइल आपकी वेबसाइट के मूल में रखी गई एक सादा-पाठ फ़ाइल है (उदा. https://yoursite.com/robots.txt). यह खोज इंजन क्रॉलर्स को निर्देश देता है - जैसे कि Googlebot - आपकी साइट के किन पेजों या अनुभागों को उन्हें क्रॉल और अनुक्रमित करना चाहिए या नहीं करना चाहिए।
जबकि robots.txt गोपनीयता की गारंटी नहीं देता है (अवरुद्ध पृष्ठ अन्य साइटों से लिंक होने पर भी खोज परिणामों में दिखाई दे सकते हैं), यह प्रबंधन के लिए प्राथमिक उपकरण है क्रॉल बजट — Google प्रतिदिन आपकी कितनी साइट एक्सप्लोर करता है। सही तरीके से इस्तेमाल करने पर, यह Google को उन पेजों पर अपना ध्यान केंद्रित करने में मदद करता है जो वास्तव में आपकी रैंकिंग के लिए मायने रखते हैं।
विशेष रूप से वर्डप्रेस साइटों के लिए, एक अच्छी तरह से कॉन्फ़िगर किया गया robots.txt Googlebot को व्यवस्थापक पृष्ठों, लॉगिन स्क्रीन और आंतरिक खोज परिणामों पर समय बर्बाद करने से रोकता है - इसके बजाय उस क्रॉल बजट को आपकी सामग्री की ओर निर्देशित करता है।
# Allow all crawlers, block admin User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Block bad bots entirely User-agent: AhrefsBot Disallow: / # Sitemap location Sitemap: https://yoursite.com/sitemap.xml
वर्डप्रेस डिफ़ॉल्ट रूप से robots.txt नहीं बनाता है। यहां बताया गया है कि इष्टतम एसईओ के लिए वास्तव में क्या जोड़ना है।
ऊपर दिए गए "वर्डप्रेस" टेम्पलेट का चयन करें, अपनी साइट का यूआरएल दर्ज करें, और आपका robots.txt सभी सही नियमों के साथ तुरंत तैयार हो जाएगा।
जेनरेट की गई robots.txt फ़ाइल डाउनलोड करें और इसे FTP, cPanel फ़ाइल प्रबंधक, या अपने होस्ट के फ़ाइल प्रबंधक का उपयोग करके अपनी साइट की रूट निर्देशिका पर अपलोड करें।
योस्ट एसईओ और रैंक मैथ दोनों में एसईओ → टूल्स → फाइल एडिटर के तहत एक अंतर्निहित robots.txt संपादक है। अपनी जेनरेट की गई सामग्री को सीधे वहां पेस्ट करें।
प्रो टिप: प्रत्येक परिवर्तन के बाद सत्यापन करें
अपने robots.txt को अपलोड या संपादित करने के बाद, गलतियों की जांच के लिए इसे हमेशा ऊपर दिए गए हमारे सत्यापनकर्ता के माध्यम से चलाएं। एक भी टाइपो - जैसे Disallow: / — आपकी पूरी साइट को रातोंरात Google से ब्लॉक कर सकता है।
ये सबसे आम त्रुटियां हैं जिन्हें हमारा सत्यापनकर्ता पकड़ता है - और ये आपकी Google रैंकिंग को चुपचाप खत्म कर सकती हैं।
ए Disallow: / अंतर्गत User-agent: * Googlebot को आपकी संपूर्ण साइट से ब्लॉक कर देता है. यह सबसे भयावह robots.txt गलती है - और यह साइट निर्माण के दौरान आपकी सोच से कहीं अधिक बार घटित होती है।
अनुमति नहीं दी जाएगी /wp-content/ Google को आपकी स्टाइलशीट और स्क्रिप्ट लोड करने से रोकता है। Google पृष्ठों को एक ब्राउज़र की तरह प्रस्तुत करता है - यदि यह CSS/JS लोड नहीं कर सकता है, तो यह रैंकिंग के लिए आपकी सामग्री का उचित मूल्यांकन नहीं कर सकता है।
ए शामिल नहीं है Sitemap: निर्देश का अर्थ है कि Google को केवल सर्च कंसोल सबमिशन के माध्यम से आपका साइटमैप खोजना होगा। इसे robots.txt में जोड़ना एक आसान जीत है जो Googlebot को आपके सभी पेज तेज़ी से ढूंढने में मदद करता है।
Linux सर्वर पर robots.txt पथ केस-संवेदी होते हैं। Disallow: /Admin/ ब्लॉक नहीं करता /admin/. हमेशा अपने वास्तविक यूआरएल पथों के सटीक मामले का उपयोग करें।
अपनी संपूर्ण साइट का SEO ठीक करें
एक बार जब आपका robots.txt Google को आपकी साइट क्रॉल करने की अनुमति देता है, तो सुनिश्चित करें कि प्रत्येक पृष्ठ अनुकूलित है। स्काईएसईओमैनेजर प्रो आपकी संपूर्ण वर्डप्रेस साइट पर बड़े पैमाने पर शीर्षक, मेटा विवरण और इमेज ऑल्ट टेक्स्ट उत्पन्न करता है - जेमिनी एआई द्वारा संचालित।
Disallow: /wp-admin/ क्रॉलर्स को आपके क्रॉल बजट को उन व्यवस्थापक पृष्ठों पर बर्बाद करने से रोकता है जिनका कोई एसईओ मूल्य नहीं है। हालाँकि, जोड़ना सुनिश्चित करें Allow: /wp-admin/admin-ajax.php AJAX-निर्भर सुविधाओं (जैसे WooCommerce कार्ट अपडेट) को सही ढंग से काम करने के लिए अगली पंक्ति पर।हमेशा के लिए मुफ़्त. किसी खाते की आवश्यकता नहीं. आपका robots.txt 30 सेकंड में तैयार हो जाएगा।