আমাদের ভিজ্যুয়াল বিল্ডারের সাথে কয়েক সেকেন্ডের মধ্যে একটি নিখুঁত ফর্ম্যাট করা robots.txt ফাইল তৈরি করুন — অথবা আপনার বিদ্যমান একটি ভুলের জন্য যাচাই করুন যা নীরবে Google আপনার সাইট থেকে ব্লক করতে পারে।
Used to auto-fill the Sitemap URL.
# Loading preview…
একটি নির্দিষ্ট URL এই নিয়ম দ্বারা অনুমোদিত বা ব্লক করা হবে কিনা পরীক্ষা করুন।
ক robots.txt ফাইল আপনার ওয়েবসাইটের মূলে রাখা একটি প্লেইন-টেক্সট ফাইল (যেমন https://yoursite.com/robots.txt) এটি সার্চ ইঞ্জিন ক্রলারদের নির্দেশ দেয় — যেমন Googlebot — আপনার সাইটের কোন পৃষ্ঠা বা বিভাগগুলি তাদের ক্রল এবং সূচী করা উচিত বা করা উচিত নয়।
যদিও robots.txt গোপনীয়তার গ্যারান্টি দেয় না (অন্যান্য সাইট থেকে লিঙ্ক করা থাকলে ব্লক করা পৃষ্ঠাগুলি এখনও অনুসন্ধানের ফলাফলে প্রদর্শিত হতে পারে), এটি পরিচালনার জন্য প্রাথমিক সরঞ্জাম ক্রল বাজেট — Google প্রতিদিন আপনার কতটা সাইট অন্বেষণ করে। সঠিকভাবে ব্যবহার করা হলে, এটি Google কে আপনার র্যাঙ্কিংয়ের জন্য গুরুত্বপূর্ণ পৃষ্ঠাগুলিতে তার ক্রলিং ফোকাস করতে সহায়তা করে।
বিশেষত ওয়ার্ডপ্রেস সাইটগুলির জন্য, একটি ভাল-কনফিগার করা robots.txt অ্যাডমিন পৃষ্ঠা, লগইন স্ক্রীন এবং অভ্যন্তরীণ অনুসন্ধান ফলাফলগুলিতে সময় নষ্ট করা থেকে Googlebot-কে বাধা দেয় — পরিবর্তে আপনার সামগ্রীর দিকে সেই ক্রল বাজেটকে নির্দেশ করে৷
# Allow all crawlers, block admin User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Block bad bots entirely User-agent: AhrefsBot Disallow: / # Sitemap location Sitemap: https://yoursite.com/sitemap.xml
ওয়ার্ডপ্রেস ডিফল্টরূপে একটি robots.txt তৈরি করে না। সর্বোত্তম এসইওর জন্য ঠিক কী যোগ করতে হবে তা এখানে।
উপরে "WordPress" টেমপ্লেটটি নির্বাচন করুন, আপনার সাইটের URL লিখুন, এবং আপনার robots.txt সমস্ত সঠিক নিয়ম পূর্বে পূরণ করে তাৎক্ষণিকভাবে তৈরি হবে৷
জেনারেট করা robots.txt ফাইলটি ডাউনলোড করুন এবং FTP, cPanel ফাইল ম্যানেজার বা আপনার হোস্টের ফাইল ম্যানেজার ব্যবহার করে আপনার সাইটের রুট ডিরেক্টরিতে আপলোড করুন।
Yoast SEO এবং Rank Math উভয়েরই SEO → টুলস → ফাইল এডিটরের অধীনে একটি অন্তর্নির্মিত robots.txt সম্পাদক রয়েছে। আপনার তৈরি করা সামগ্রী সেখানে সরাসরি পেস্ট করুন।
প্রো টিপ: প্রতিটি পরিবর্তনের পরে যাচাই করুন
আপনার robots.txt আপলোড বা সম্পাদনা করার পরে, ভুলগুলি পরীক্ষা করতে সর্বদা উপরের আমাদের যাচাইকারীর মাধ্যমে এটি চালান৷ একটি একক টাইপো — পছন্দ Disallow: / — রাতারাতি Google থেকে আপনার সম্পূর্ণ সাইট ব্লক করতে পারেন।
এইগুলি হল সবচেয়ে সাধারণ ত্রুটি যা আমাদের যাচাইকারী ক্যাচ করে — এবং যেগুলি আপনার Google র্যাঙ্কিংকে চুপচাপ মেরে ফেলতে পারে৷
ক Disallow: / অধীন User-agent: * আপনার সমগ্র সাইট থেকে Googlebot ব্লক করে। এটি একক সবচেয়ে বিপর্যয়কর robots.txt ভুল — এবং এটি সাইট তৈরির সময় আপনি যা ভাবেন তার চেয়ে বেশি ঘন ঘন ঘটে।
অনুমতি না দেওয়া /wp-content/ Google-কে আপনার স্টাইলশীট এবং স্ক্রিপ্ট লোড হতে বাধা দেয়। Google ব্রাউজারের মতো পেজ রেন্ডার করে — যদি এটি CSS/JS লোড করতে না পারে, তাহলে র্যাঙ্কিংয়ের জন্য আপনার বিষয়বস্তুকে সঠিকভাবে মূল্যায়ন করতে পারে না।
না সহ a Sitemap: নির্দেশের অর্থ হল Google শুধুমাত্র অনুসন্ধান কনসোল জমা দিয়ে আপনার সাইটম্যাপ আবিষ্কার করতে হবে। এটিকে robots.txt-এ যোগ করা একটি সহজ জয় যা Googlebot-কে আপনার সমস্ত পৃষ্ঠা দ্রুত খুঁজে পেতে সাহায্য করে৷
Linux সার্ভারে Robots.txt পাথগুলি কেস-সংবেদনশীল। Disallow: /Admin/ ব্লক করে না /admin/. সর্বদা আপনার প্রকৃত URL পাথের সঠিক ক্ষেত্রে ব্যবহার করুন।
আপনার পুরো সাইটের এসইও ঠিক করুন
একবার আপনার robots.txt Google কে আপনার সাইট ক্রল করার অনুমতি দেয়, নিশ্চিত করুন যে প্রতিটি পৃষ্ঠা অপ্টিমাইজ করা হয়েছে। SkySEOManager Pro আপনার সমগ্র ওয়ার্ডপ্রেস সাইট জুড়ে শিরোনাম, মেটা বিবরণ এবং ইমেজ অল্ট টেক্সট তৈরি করে — জেমিনি এআই দ্বারা চালিত৷
Disallow: /wp-admin/ কোনো SEO মান নেই এমন অ্যাডমিন পৃষ্ঠাগুলিতে আপনার ক্রল বাজেট নষ্ট করা থেকে ক্রলারদের বাধা দেয়। যাইহোক, যোগ করতে ভুলবেন না Allow: /wp-admin/admin-ajax.php AJAX-নির্ভর বৈশিষ্ট্যগুলি (যেমন WooCommerce কার্ট আপডেট) সঠিকভাবে কাজ করতে পরবর্তী লাইনে।চিরতরে মুক্ত। কোনো অ্যাকাউন্টের প্রয়োজন নেই। আপনার robots.txt 30 সেকেন্ডের মধ্যে প্রস্তুত।