robots.txt Generator (Allow/Disallow сонгох)
Allow / Disallow дүрмээ сонгон robots.txt template-ийг хурдан бүтээнэ.
Энэ хэрэгсэл crawl control-д зориулагдсан. Ranking сайжруулалтыг батлахгүй.
Эрсдэлтэй бүх-сайтыг блоклох дүрмийг анхааруулга, баталгаажуулалттай илрүүлнэ
robots.txt template үүсгэгч
Crawler block тохиргоог практик form-оор үүсгэнэ. Үүссэн үр дүн нь robots.txt болгон шууд paste хийж болох plain text байна.
Хэрхэн ашиглах вэ
- User-agent-аа тохируулж, Allow/Disallow дүрмүүдийг нэмнэ үү.
- Шаардлагатай бол Sitemap URL-уудаа нэмнэ үү (олон мөр дэмжинэ).
- Үүссэн robots.txt гаралтыг хуулж эсвэл татаж авна уу.
robots.txt юу хийдэг вэ
- robots.txt нь crawling-ийн зан төлөвийг удирддаг.
- Indexing control-д noindex зэрэг бусад арга шаардлагатай байж болно.
- robots.txt-ийг сайтын root дээр, жишээ нь https://example.com/robots.txt байрлуулна.
FAQ
Энэ нь SEO ranking-ийг сайжруулах уу?
robots.txt-ийн зорилго нь crawler control юм. Ranking өсөлтийг батлахгүй.
Disallow: / аюултай юу?
Тийм. Disallow: / нь бүх сайтыг crawling-оос хааж болно. Энэ хэрэгсэл copy/download хийхийн өмнө хүчтэй анхааруулга харуулж, баталгаажуулалт шаарддаг.
Sitemap мөрүүдийг бас оруулж болох уу?
Тийм. Sitemap input-д URL-уудаа нэмбэл хэрэгсэл Sitemap: ... мөрүүдийг, олон URL-ыг ч автоматаар үүсгэнэ.