مولد robots.txt (انتخاب Allow/Disallow برای ساخت قالب)
قوانین Allow و Disallow را انتخاب کنید تا به سرعت یک فایل robots.txt بسازید. این ابزار تنظیمات دسترسی خزندهها را تسهیل میکند.
هدف این ابزار کنترل خزیدن سایت است و بهبودی در رتبهبندی را تضمین نمیکند.
ساخت قالب robots.txt
آماده برای کپی در فایل robots.txt.از قالبی شروع کنید که به هدف شما نزدیکتر است.
افزودن خطوط نقشه سایت (Sitemap)
امکان درج چندین خط وجود دارد. هر URL معتبر به یک خط :Sitemap تبدیل میشود.
پیشنمایش
تنظیمات
پیشرفته
در صورت نیاز باز کنید
نحوه استفاده از robots.txt
یک User-agent انتخاب کرده و قوانین خود را بنویسید.
میتوانید چندین آدرس نقشه سایت را اضافه کنید.
نتیجه را کپی کرده و با نام robots.txt در ریشه سایت ذخیره کنید.
مثالها
اجازه به همه و افزودن نقشه سایت.
User-agent: * Disallow: Sitemap: https://example.com/sitemap.xml
فقط دسترسی به بخش مدیریت را میبندد.
User-agent: * Disallow: /admin/
خطرناک؛ فقط برای محیطهای غیرعمومی.
User-agent: * Disallow: /
قابلیتهای robots.txt
- • robots.txt برای کنترل خزیدن (Crawl) است.
- • کنترل ایندکس شدن (Index) متفاوت است و ممکن است به تگ noindex نیاز داشته باشد.
سؤالات متداول
آیا این ابزار سئو را بهبود میدهد؟
هدف robots.txt کنترل دسترسی خزندههاست و بهبودی در رتبهبندی را تضمین نمیکند. از آن برای کاهش خزیدنهای غیرضروری استفاده کنید.
آیا / :Disallow خطرناک است؟
بله. این قانون کل سایت را مسدود میکند. استفاده از آن در سایت اصلی باعث حذف سایت از نتایج جستجو میشود.
آیا میتوانم چندین نقشه سایت اضافه کنم؟
بله. در فیلد نقشه سایت آدرسها را وارد کنید؛ ابزار خطوط :Sitemap را برای هر کدام تولید میکند.