আমাদের ভিজুয়াল বিল্ডারের সাহায্যে সেকেন্ডের মধ্যে একটি নিখুঁতভাবে ফরম্যাট করা robots.txt ফাইল তৈরি করুন — অথবা আপনার বিদ্যমান ফাইলটি এমন ভুলের জন্য যাচাই করুন যা নিঃশব্দে Google কে আপনার সাইট থেকে ব্লক করতে পারে।
Used to auto-fill the Sitemap URL.
# Loading preview…
এই নিয়মগুলি দ্বারা একটি নির্দিষ্ট URL অনুমোদিত বা ব্লক হবে কিনা পরীক্ষা করুন।
একটি robots.txt ফাইল একটি প্লেইন-টেক্সট ফাইল যা আপনার ওয়েবসাইটের রুটে স্থাপন করা হয় (যেমন, https://yoursite.com/robots.txtএটি সার্চ ইঞ্জিন ক্রলার যেমন গুগলবটকে নির্দেশ দেয় যে আপনার সাইটের কোন পৃষ্ঠা বা বিভাগগুলি তাদের ক্রল এবং ইনডেক্স করা উচিত বা উচিত নয়।
যদিও robots.txt গোপনীয়তার নিশ্চয়তা দেয় না (অবরুদ্ধ পৃষ্ঠাগুলি এখনও অন্যান্য সাইট থেকে লিঙ্ক করা থাকলে অনুসন্ধান ফলাফলে প্রদর্শিত হতে পারে), এটি পরিচালনার প্রাথমিক হাতিয়ার ক্রল বাজেট — আপনার সাইটের কতটুকু গুগল প্রতিদিন অন্বেষণ করে। সঠিকভাবে ব্যবহার করলে, এটি গুগলকে আপনার র্যাঙ্কিংয়ের জন্য আসলেই গুরুত্বপূর্ণ পৃষ্ঠাগুলিতে তার ক্রলিং ফোকাস করতে সহায়তা করে।
বিশেষ করে ওয়ার্ডপ্রেস সাইটের জন্য, একটি সঠিকভাবে কনফিগার করা robots.txt গুগলবটকে অ্যাডমিন পৃষ্ঠা, লগইন স্ক্রীন এবং অভ্যন্তরীণ অনুসন্ধান ফলাফলে সময় নষ্ট করতে বাধা দেয় — পরিবর্তে সেই ক্রল বাজেটটি আপনার কন্টেন্টে নির্দেশ করে।
# Allow all crawlers, block admin User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Block bad bots entirely User-agent: AhrefsBot Disallow: / # Sitemap location Sitemap: https://yoursite.com/sitemap.xml
ওয়ার্ডপ্রেস ডিফল্টরূপে একটি robots.txt তৈরি করে না। সর্বোত্তম এসইওর জন্য ঠিক কী যোগ করতে হবে তা এখানে দেওয়া হল।
উপরে "WordPress" টেমপ্লেট নির্বাচন করুন, আপনার সাইটের ইউআরএল লিখুন, এবং আপনার robots.txt সমস্ত সঠিক নিয়ম পূর্ব-পূর্ণ সহ তাৎক্ষণিকভাবে তৈরি হবে।
উত্পন্ন robots.txt ফাইলটি ডাউনলোড করুন এবং FTP, cPanel ফাইল ম্যানেজার বা আপনার হোস্টের ফাইল ম্যানেজার ব্যবহার করে আপনার সাইটের রুট ডিরেক্টরিতে আপলোড করুন।
SkySEOManager has a built-in robots.txt editor and validator under its Tools section. Paste your generated content there directly.
প্রো টিপ: প্রতিটি পরিবর্তনের পরে বৈধতা যাচাই করুন
আপনার robots.txt আপলোড বা সম্পাদনা করার পরে, ভুলগুলি পরীক্ষা করতে সর্বদা উপরের আমাদের বৈধতা যাচাইকারীর মাধ্যমে এটি চালান। একটি একক টাইপো — যেমন Disallow: / — এক রাতারাতি আপনার পুরো সাইটটি গুগল থেকে ব্লক করতে পারে।
এগুলি হল সবচেয়ে সাধারণ ত্রুটি যা আমাদের বৈধতা যাচাইকারী ধরে — এবং যেগুলি নীরবে আপনার গুগল র্যাঙ্কিং নষ্ট করার সম্ভাবনা সবচেয়ে বেশি।
একটি Disallow: / অধীনে User-agent: * আপনার পুরো সাইট থেকে গুগলবটকে ব্লক করে। এটি হল সবচেয়ে বিপর্যয়কর robots.txt ভুল — এবং সাইট তৈরির সময় এটি আপনার ধারণার চেয়ে বেশি ঘটে।
নিষিদ্ধ করা /wp-content/ গুগলকে আপনার স্টাইলশীট এবং স্ক্রিপ্ট লোড করতে বাধা দেয়। গুগল একটি ব্রাউজারের মতো পৃষ্ঠাগুলি রেন্ডার করে — যদি এটি CSS/JS লোড করতে না পারে, তবে এটি র্যাঙ্কিংয়ের জন্য আপনার কন্টেন্ট সঠিকভাবে মূল্যায়ন করতে পারে না।
একটি অন্তর্ভুক্ত না করা Sitemap: নির্দেশিকা মানে হল গুগলকে শুধুমাত্র সার্চ কনসোল জমা দেওয়ার মাধ্যমে আপনার সাইটম্যাপ আবিষ্কার করতে হবে। এটি robots.txt-এ যোগ করা একটি সহজ জয় যা গুগলবটকে আপনার সমস্ত পৃষ্ঠা দ্রুত খুঁজে পেতে সহায়তা করে।
লিনাক্স সার্ভারে robots.txt পাথগুলি কেস-সংবেদনশীল। Disallow: /Admin/ ব্লক করে না /admin/. সর্বদা আপনার প্রকৃত ইউআরএল পাথের সঠিক কেস ব্যবহার করুন।
আপনার পুরো সাইটের এসইও ঠিক করুন
একবার আপনার robots.txt গুগলকে আপনার সাইট ক্রল করার অনুমতি দিলে, নিশ্চিত করুন যে প্রতিটি পৃষ্ঠা অপ্টিমাইজ করা হয়েছে। SkySEOManager Pro আপনার পুরো ওয়ার্ডপ্রেস সাইট জুড়ে শিরোনাম, মেটা বর্ণনা এবং ইমেজ alt টেক্সট বাল্ক-জেনারেট করে — যা Gemini AI দ্বারা চালিত।
Disallow: /wp-admin/ ক্রলারদের এসইও মূল্যহীন অ্যাডমিন পৃষ্ঠাগুলিতে আপনার ক্রল বাজেট নষ্ট করা থেকে বিরত রাখে। তবে, নিম্নলিখিত লাইনে যোগ করতে ভুলবেন না Allow: /wp-admin/admin-ajax.php AJAX-নির্ভর বৈশিষ্ট্যগুলি (যেমন WooCommerce কার্ট আপডেট) সঠিকভাবে কাজ করতে রাখতে।চিরকাল বিনামূল্যে। কোনো অ্যাকাউন্ট প্রয়োজন নেই। আপনার robots.txt 30 সেকেন্ডের মধ্যে প্রস্তুত।