Create a perfectly formatted robots.txt file in seconds with our visual builder — or validate your existing one for mistakes that could be silently blocking Google from your site.
Used to auto-fill the Sitemap URL.
# Loading preview…
এই নিয়মগুলি দ্বারা একটি নির্দিষ্ট URL অনুমোদিত বা ব্লক হবে কিনা পরীক্ষা করুন।
একটি robots.txt ফাইল একটি প্লেইন-টেক্সট ফাইল যা আপনার ওয়েবসাইটের রুটে স্থাপন করা হয় (যেমন, https://yoursite.com/robots.txt). It instructs search engine crawlers — like Googlebot — which pages or sections of your site they should or should not crawl and index.
যদিও robots.txt গোপনীয়তার নিশ্চয়তা দেয় না (অবরুদ্ধ পৃষ্ঠাগুলি এখনও অন্যান্য সাইট থেকে লিঙ্ক করা থাকলে অনুসন্ধান ফলাফলে প্রদর্শিত হতে পারে), এটি পরিচালনার প্রাথমিক হাতিয়ার ক্রল বাজেট — how much of your site Google explores per day. Used correctly, it helps Google focus its crawling on the pages that actually matter for your rankings.
For WordPress sites specifically, a well-configured robots.txt prevents Googlebot from wasting time on admin pages, login screens, and internal search results — directing that crawl budget toward your content instead.
# Allow all crawlers, block admin User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Block bad bots entirely User-agent: AhrefsBot Disallow: / # Sitemap location Sitemap: https://yoursite.com/sitemap.xml
ওয়ার্ডপ্রেস ডিফল্টরূপে একটি robots.txt তৈরি করে না। সর্বোত্তম এসইওর জন্য ঠিক কী যোগ করতে হবে তা এখানে দেওয়া হল।
উপরে "WordPress" টেমপ্লেট নির্বাচন করুন, আপনার সাইটের ইউআরএল লিখুন, এবং আপনার robots.txt সমস্ত সঠিক নিয়ম পূর্ব-পূর্ণ সহ তাৎক্ষণিকভাবে তৈরি হবে।
উত্পন্ন robots.txt ফাইলটি ডাউনলোড করুন এবং FTP, cPanel ফাইল ম্যানেজার বা আপনার হোস্টের ফাইল ম্যানেজার ব্যবহার করে আপনার সাইটের রুট ডিরেক্টরিতে আপলোড করুন।
SkySEOManager has a built-in robots.txt editor and validator under its Tools section. Paste your generated content there directly.
প্রো টিপ: প্রতিটি পরিবর্তনের পরে বৈধতা যাচাই করুন
After uploading or editing your robots.txt, always run it through our validator above to check for mistakes. A single typo — like Disallow: / — can block your entire site from Google overnight.
These are the most common errors our validator catches — and the ones most likely to quietly kill your Google rankings.
একটি Disallow: / অধীনে User-agent: * blocks Googlebot from your entire site. This is the single most catastrophic robots.txt mistake — and it happens more often than you'd think during site builds.
নিষিদ্ধ করা /wp-content/ prevents Google from loading your stylesheets and scripts. Google renders pages like a browser — if it can't load CSS/JS, it can't properly evaluate your content for rankings.
একটি অন্তর্ভুক্ত না করা Sitemap: নির্দেশিকা মানে হল গুগলকে শুধুমাত্র সার্চ কনসোল জমা দেওয়ার মাধ্যমে আপনার সাইটম্যাপ আবিষ্কার করতে হবে। এটি robots.txt-এ যোগ করা একটি সহজ জয় যা গুগলবটকে আপনার সমস্ত পৃষ্ঠা দ্রুত খুঁজে পেতে সহায়তা করে।
লিনাক্স সার্ভারে robots.txt পাথগুলি কেস-সংবেদনশীল। Disallow: /Admin/ ব্লক করে না /admin/. সর্বদা আপনার প্রকৃত ইউআরএল পাথের সঠিক কেস ব্যবহার করুন।
আপনার পুরো সাইটের এসইও ঠিক করুন
Once your robots.txt allows Google to crawl your site, make sure every page is optimised. SkySEOManager Pro bulk-generates titles, meta descriptions, and image alt text across your entire WordPress site — powered by Gemini AI.
Disallow: /wp-admin/ ক্রলারদের এসইও মূল্যহীন অ্যাডমিন পৃষ্ঠাগুলিতে আপনার ক্রল বাজেট নষ্ট করা থেকে বিরত রাখে। তবে, নিম্নলিখিত লাইনে যোগ করতে ভুলবেন না Allow: /wp-admin/admin-ajax.php AJAX-নির্ভর বৈশিষ্ট্যগুলি (যেমন WooCommerce কার্ট আপডেট) সঠিকভাবে কাজ করতে রাখতে।চিরকাল বিনামূল্যে। কোনো অ্যাকাউন্ট প্রয়োজন নেই। আপনার robots.txt 30 সেকেন্ডের মধ্যে প্রস্তুত।