เครื่องมือสร้าง robots.txt (เลือก Allow/Disallow)
สร้างเทมเพลต robots.txt ได้อย่างรวดเร็วด้วยการเลือกกฎ Allow / Disallow
เครื่องมือนี้ใช้สำหรับควบคุมการ crawl ไม่ได้รับประกันว่าจะช่วยอันดับการค้นหา
การบล็อกทั้งเว็บไซต์ที่มีความเสี่ยงจะถูกตรวจจับด้วยคำเตือนและการยืนยัน
เครื่องมือสร้างเทมเพลต robots.txt
สร้างการตั้งค่าบล็อก crawler ด้วยฟอร์มที่ใช้งานได้จริง ผลลัพธ์ที่สร้างเป็นข้อความล้วนซึ่งคุณสามารถนำไปวางเป็น robots.txt ได้ทันที
วิธีใช้งาน
- ตั้งค่า User-agent และเพิ่มกฎ Allow/Disallow
- เพิ่ม URL ของ Sitemap หากต้องการ (รองรับหลายบรรทัด)
- คัดลอกหรือดาวน์โหลดผลลัพธ์ robots.txt ที่สร้างขึ้น
robots.txt ทำอะไรได้บ้าง
- robots.txt ใช้ควบคุมพฤติกรรมการ crawl
- การควบคุมการจัดทำดัชนีอาจต้องใช้วิธีอื่น เช่น noindex
- ควรวาง robots.txt ไว้ที่รากของเว็บไซต์ เช่น https://example.com/robots.txt
FAQ
สิ่งนี้ช่วยให้อันดับ SEO ดีขึ้นหรือไม่?
จุดประสงค์ของ robots.txt คือการควบคุม crawler ไม่ได้รับประกันว่าจะทำให้อันดับดีขึ้น
Disallow: / อันตรายหรือไม่?
ใช่ Disallow: / สามารถบล็อกการ crawl ทั้งเว็บไซต์ได้ เครื่องมือนี้จะแสดงคำเตือนรุนแรงและต้องยืนยันก่อนคัดลอกหรือดาวน์โหลด
ใส่บรรทัด Sitemap ได้ด้วยหรือไม่?
ได้ เพิ่ม URL ในช่อง Sitemap แล้วเครื่องมือจะสร้างบรรทัด Sitemap: ... ให้อัตโนมัติ รวมถึงหลาย URL