مولد robots.txt (انتخاب Allow/Disallow)
با انتخاب قوانین Allow / Disallow بهسرعت یک قالب robots.txt بسازید.
این ابزار برای کنترل خزش است و بهبود رتبه را تضمین نمیکند.
مسدودسازی پرخطر کل سایت با هشدار و تأیید شناسایی میشود
مولد قالب robots.txt
تنظیمات مسدودسازی خزنده را با یک فرم کاربردی ایجاد کنید. خروجی تولیدشده متن سادهای است که میتوانید مستقیماً بهعنوان robots.txt جایگذاری کنید.
روش استفاده
- User-agent را تنظیم کنید و قوانین Allow/Disallow را اضافه کنید.
- در صورت نیاز URLهای Sitemap را اضافه کنید (چند خط پشتیبانی میشود).
- خروجی robots.txt را کپی یا دانلود کنید.
robots.txt چه کاری انجام میدهد
- robots.txt رفتار خزش را کنترل میکند.
- برای کنترل ایندکس شدن ممکن است به روشهای دیگری مانند noindex نیاز باشد.
- robots.txt را در ریشه سایت قرار دهید؛ مانند https://example.com/robots.txt.
FAQ
آیا این ابزار رتبه سئو را بهتر میکند؟
هدف robots.txt کنترل خزنده است. این ابزار افزایش رتبه را تضمین نمیکند.
آیا Disallow: / خطرناک است؟
بله. Disallow: / میتواند خزش کل سایت را مسدود کند. این ابزار پیش از کپی/دانلود هشدار شدید نشان میدهد و تأیید میخواهد.
آیا میتوانم خطوط Sitemap را هم اضافه کنم؟
بله. URLها را در ورودی Sitemap اضافه کنید تا ابزار بهصورت خودکار خطوط Sitemap: ... را، حتی برای چند URL، تولید کند.