robots.txt জেনারেটর (টেমপ্লেট তৈরি করতে Allow/Disallow বেছে নিন)
দ্রুত একটি robots.txt টেমপ্লেট তৈরি করতে Allow/Disallow নিয়ম বেছে নিন। এই robots.txt জেনারেটর ক্রলার ব্লকিং সেটিংস সহজ করে তোলে।
এর লক্ষ্য হলো ক্রল নিয়ন্ত্রণ করা। এটি র্যাঙ্কিং উন্নতির গ্যারান্টি দেয় না।
robots.txt টেমপ্লেট জেনারেটর
robots.txt হিসেবে পেস্ট করার জন্য প্রস্তুত।আপনার লক্ষ্যের সবচেয়ে কাছের টেমপ্লেট থেকে শুরু করুন।
Sitemap লাইন যোগ করুন
একাধিক লাইন দেওয়া যাবে। প্রতিটি বৈধ URL একটি Sitemap: লাইনে পরিণত হবে।
প্রিভিউ
অপশন
অ্যাডভান্সড
প্রয়োজন হলে ওপেন করুন
কিভাবে robots.txt ব্যবহার করবেন
একটি User-agent বেছে নিন এবং নিয়মের লাইন যোগ করুন।
আপনি একাধিক সাইটম্যাপ URL যোগ করতে পারেন।
ফলাফলটি কপি করুন এবং /robots.txt হিসেবে সেভ করুন।
উদাহরণ
সবকিছু অনুমতি দিন এবং একটি সাইটম্যাপ যোগ করুন।
User-agent: * Disallow: Sitemap: https://example.com/sitemap.xml
শুধুমাত্র এডমিন এরিয়া ডিসঅ্যালাউ করুন।
User-agent: * Disallow: /admin/
বিপজ্জনক, শুধুমাত্র নন-প্রোডাকশনের জন্য।
User-agent: * Disallow: /
robots.txt যা করতে পারে
- • robots.txt হলো ক্রল নিয়ন্ত্রণের জন্য।
- • ইন্ডেক্স নিয়ন্ত্রণ আলাদা বিষয় এবং এর জন্য noindex প্রয়োজন হতে পারে।
FAQ
এটি কি SEO উন্নত করবে?
robots.txt এর উদ্দেশ্য হলো ক্রল নিয়ন্ত্রণ করা এবং এটি র্যাঙ্কিং উন্নতির গ্যারান্টি দেয় না। অপ্রয়োজনীয় ক্রল কমাতে এবং নিষিদ্ধ এলাকাগুলো পরিষ্কার করতে এটি ব্যবহার করুন।
Disallow: / কি বিপজ্জনক?
হ্যাঁ। Disallow: / পুরো সাইট ব্লক করে দেয়। প্রোডাকশনে এটি প্রয়োগ করলে গুরুতর প্রভাব পড়তে পারে। এই সরঞ্জামটি একটি জোরালো সতর্কতা দেখায় এবং কপি করার আগে নিশ্চিতকরণ প্রয়োজন।
আমি কি সাইটম্যাপ লাইন যোগ করতে পারি?
হ্যাঁ। Sitemap ফিল্ডে URL যোগ করুন এবং সরঞ্জামটি Sitemap: ... লাইন আউটপুট দেবে (একাধিক URL সমর্থিত)।