د robots.txt جوړوونکی (Allow/Disallow وټاکئ)
د Allow / Disallow قواعدو په ټاکلو سره په چټکۍ سره د robots.txt template جوړ کړئ.
دا وسیله د crawl کنټرول لپاره ده. دا د ranking ښه والی نه تضمینوي.
د ټول سایټ خطرناک block د خبرداري او تایید له لارې معلومېږي
د robots.txt Template جوړوونکی
د crawler د بندولو تنظیمات د عملي form له لارې جوړ کړئ. تولید شوې پایله ساده متن دی چې تاسو یې مستقیم د robots.txt په توګه کارولی شئ.
څنګه یې وکاروئ
- User-agent وټاکئ او Allow/Disallow قواعد ورزیات کړئ.
- که اړتیا وي، Sitemap URLs هم ورزیاتې کړئ (د څو کرښو ملاتړ شته).
- جوړ شوی robots.txt وتۍ کاپي یا کښته کړئ.
robots.txt څه کوي
- robots.txt د crawling چلند کنټرولوي.
- د indexing کنټرول ښايي نورو لارو لکه noindex ته اړتیا ولري.
- robots.txt د سایټ په root کې کېږدئ، لکه https://example.com/robots.txt.
FAQ
ایا دا به د SEO ranking ښه کړي؟
د robots.txt موخه د crawler کنټرول دی. دا د ranking لوړوالی نه تضمینوي.
ایا Disallow: / خطرناک دی؟
هو. Disallow: / کولی شي د ټول سایټ crawling بند کړي. دا وسیله قوي خبرداری ښيي او د کاپي/کښته کولو مخکې تایید غواړي.
ایا Sitemap کرښې هم ورشاملولای شم؟
هو. د Sitemap په input کې URLs دننه کړئ او وسیله به په اوتومات ډول Sitemap: ... کرښې وباسي، حتا د څو URLs لپاره.