robots.txt үлгүсү

robots.txt генератору (Үлгү түзүү үчүн шарттарды тандаңыз)

Q: "Бул SEO'ну жакшыртабы?"

"robots.txt максаты — роботтордун кыймылын башкаруу. Ал рейтингдин жогорулашына кепилдик бербейт, бирок керексиз баракчаларды индекстөөдөн сактайт."

Q: "Disallow: / коркунучтуубу?"

"Ооба. Ал бүт сайтты бөгөттөйт. Муну иштеп жаткан сайтта колдонуудан мурун жакшылап ойлонуңуз. Курал бул боюнча эскертүү берет."

Q: "Sitemap кошо аламбы?"

"Ооба. URL даректерин тиешелүү талаага киргизсеңиз, алар Sitemap: ... болуп кошулат."

Allow/Disallow эрежелерин тандап, тез арада robots.txt үлгүсүн түзүңүз. Бул курал роботторду чектөө жөндөөлөрүн жеңилдетет.

Максаты — индекстөөнү башкаруу. Бул рейтингдин (ranking) жогорулашына кепилдик бербейт.

Браузериңизде жергиликтүү түрдө иштетилет.

robots.txt үлгүлөрүн генератору

Чаптоого даяр robots.txt.

Даяр максаттар

Максатыңызга жакын үлгүдөн баштаңыз.

Нөлдөн баштоо (демейки) Бош, коопсуз үлгү менен баштоо. Staging (баарын бөгөттөө) Disallow: / камтыйт жана иштеп жаткан сайттар үчүн коркунучтуу. Коркунуч Админ бөлүгүн гана бөгөттөө Мисалы: Disallow /admin/.

Sitemap саптарын кошуу

Sitemap

Бир нече сап кошууга болот. Ар бир туура шилтеме Sitemap: сабына айланат.

Алдын ала көрүү

Чаптоого даяр robots.txt.

Параметрлер

Кошумча

Керек болгондо ачыңыз

Crawl-delay Секунддар менен. Айрым роботтор муну тоготпойт. Комментарий кошуу Эң башына комментарий кошот.

Бош Disallow сабын калтыруу Эреже жок болсо да Disallow: сабын чыгарат (сунушталат). Мурунку жөндөөлөрдү калыбына келтирүү Жөндөөлөрдү ушул түзмөктө сактоо.

robots.txt кантип колдонулат

Эрежелерди кошуңуз

Роботту тандап, уруксат же тыюу салуу саптарын кошуңуз.

Sitemap кошуу (милдеттүү эмес)

Бир нече сайт картасынын шилтемелерин кошсоңуз болот.

Көчүрүп, жайгаштырыңыз

Жыйынтыкты көчүрүп, /robots.txt файлы катары сактаңыз.

Мисалдар

Коопсуз демейки

Баарына уруксат берүү жана сайт картасын кошуу.

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Админди бөгөттөө

Админ бөлүгүнө гана тыюу салуу.

User-agent: *
Disallow: /admin/

Staging үчүн баарын бөгөттөө

Коркунучтуу, иштеп чыгуу чөйрөсү үчүн гана.

User-agent: *
Disallow: /

robots.txt эмне кыла алат

• robots.txt издөө роботторун башкаруу үчүн.
• Индекстөөнү башкаруу noindex теги аркылуу да ишке ашат.

Жайгашкан орду https://example.com/robots.txt

FAQ

Бул SEO'ну жакшыртабы?

robots.txt максаты — роботтордун кыймылын башкаруу. Ал рейтингдин жогорулашына кепилдик бербейт, бирок керексиз баракчаларды индекстөөдөн сактайт.

Disallow: / коркунучтуубу?

Ооба. Ал бүт сайтты бөгөттөйт. Муну иштеп жаткан сайтта колдонуудан мурун жакшылап ойлонуңуз. Курал бул боюнча эскертүү берет.

Sitemap кошо аламбы?

Ооба. URL даректерин тиешелүү талаага киргизсеңиз, алар Sitemap: ... болуп кошулат.