ແມ່ແບບ robots.txt

ເຄື່ອງມືສ້າງ robots.txt (ເລືອກ Allow/Disallow ເພື່ອສ້າງແມ່ແບບ)

Q: "ສິ່ງນີ້ຈະຊ່ວຍ SEO ຫຼື ບໍ່?"

"ຈຸດປະສົງຂອງ robots.txt ແມ່ນເພື່ອຄວບຄຸມການ crawl ແລະ ບໍ່ໄດ້ຮັບປະກັນການເພີ່ມອັນດັບ. ໃຊ້ເພື່ອຫຼຸດຜ່ອນການ crawl ທີ່ບໍ່ຈຳເປັນ ແລະ ກຳນົດເຂດທີ່ຫ້າມເຂົ້າ."

Q: "Disallow: / ອັນຕະລາຍ ຫຼື ບໍ່?"

"ແມ່ນແລ້ວ. Disallow: / ຈະບລັອກທັງເວັບໄຊ. ການໃຊ້ໃນລະບົບຈິງອາດສົ່ງຜົນກະທົບຮ້າຍແຮງ. ເຄື່ອງມືນີ້ຈະສະແດງຄຳເຕືອນ ແລະ ຕ້ອງມີການຢືນຢັນກ່ອນການຄັດລອກ."

Q: "ສາມາດເພີ່ມແຖວ sitemap ໄດ້ ຫຼື ບໍ່?"

"ໄດ້. ພຽງແຕ່ປ້ອນ URL ໃນຊ່ອງ Sitemap ແລະ ເຄື່ອງມືຈະສະແດງແຖວ Sitemap: ... ໃຫ້ (ຮອງຮັບຫຼາຍ URL)."

ເລືອກກົດ Allow/Disallow ເພື່ອສ້າງແມ່ແບບ robots.txt ຢ່າງວ່ອງໄວ. ເຄື່ອງມືນີ້ຊ່ວຍໃຫ້ການຕັ້ງຄ່າບລັອກ crawler ງ່າຍຂຶ້ນ.

ເປົ້າໝາຍແມ່ນເພື່ອຄວບຄຸມການ crawl. ບໍ່ໄດ້ຮັບປະກັນການເພີ່ມອັນດັບການຄົ້ນຫາ.

ປະມວນຜົນພາຍໃນບຣາວເຊີຂອງທ່ານ.

ເຄື່ອງມືສ້າງແມ່ແບບ robots.txt

ພ້ອມສຳລັບການຄັດລອກໄປໃຊ້ເປັນ robots.txt.

ແມ່ແບບຕາມຈຸດປະສົງ

ເລີ່ມຕົ້ນຈາກແມ່ແບບທີ່ໃກ້ຄຽງກັບເປົ້າໝາຍຂອງທ່ານ.

ເລີ່ມໃໝ່ທັງໝົດ (ຄ່າເລີ່ມຕົ້ນ) ເລີ່ມຕົ້ນດ້ວຍແມ່ແບບທີ່ວ່າງເປົ່າ ແລະ ປອດໄພ. Staging (ບລັອກທັງໝົດ) ລວມ Disallow: / ເຊິ່ງເປັນອັນຕະລາຍຫາກໃຊ້ໃນລະບົບຈິງ. ອັນຕະລາຍ ບລັອກສະເພາະສ່ວນຜູ້ດູແລ (ຕົວຢ່າງ) ຕົວຢ່າງ: Disallow /admin/.

ເພີ່ມແຖວ Sitemap

Sitemap

ເພີ່ມໄດ້ຫຼາຍແຖວ. ແຕ່ລະ URL ທີ່ຖືກຕ້ອງຈະກາຍເປັນແຖວ Sitemap:.

ຕົວຢ່າງ

ພ້ອມສຳລັບການຄັດລອກໄປໃຊ້ເປັນ robots.txt.

ຕົວເລືອກ

ຂັ້ນສູງ

ເປີດເມື່ອຈຳເປັນ

Crawl-delay ວິນາທີ. crawler ບາງຕົວອາດຈະລະເວັ້ນກົດນີ້. ເພີ່ມຄຳອະທິບາຍ (comment) ເພີ່ມຄຳອະທິບາຍຢູ່ເທິງສຸດ.

ສະແດງ Disallow ແບບວ່າງເປົ່າ ສະແດງ Disallow: ເຖິງວ່າຈະບໍ່ມີກົດໃດໆ (ແນະນຳ). ກູ້ຄືນການຕັ້ງຄ່າກ່ອນໜ້ານີ້ ບັນທຶກການຕັ້ງຄ່າໄວ້ໃນອຸປະກອນນີ້.

ວິທີໃຊ້ robots.txt

ເພີ່ມ Allow/Disallow

ເລືອກ User-agent ແລະ ເພີ່ມກົດຕ່າງໆ.

ເພີ່ມ Sitemap (ຕົວເລືອກ)

ທ່ານສາມາດເພີ່ມ URL ຂອງ sitemap ໄດ້ຫຼາຍອັນ.

ຄັດລອກ ແລະ ວາງ

ຄັດລອກຜົນໄດ້ຮັບ ແລະ ບັນທຶກເປັນໄຟລ໌ /robots.txt.

ຕົວຢ່າງ

ຄ່າເລີ່ມຕົ້ນທີ່ປອດໄພ

ອະນຸຍາດທັງໝົດ ແລະ ເພີ່ມ sitemap.

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

ບລັອກສ່ວນ admin

ບໍ່ອະນຸຍາດສະເພາະສ່ວນ admin.

User-agent: *
Disallow: /admin/

ບລັອກທັງໝົດສຳລັບ staging

ອັນຕະລາຍ, ໃຊ້ສະເພາະລະບົບທີ່ບໍ່ແມ່ນລະບົບຈິງ.

User-agent: *
Disallow: /

robots.txt ເຮັດຫຍັງໄດ້ແດ່

• robots.txt ໃຊ້ເພື່ອຄວບຄຸມການ crawl.
• ການຄວບຄຸມການຈັດດັດສະນີ (index) ແມ່ນແຍກຕ່າງຫາກ ແລະ ອາດຕ້ອງໃຊ້ noindex.

ຕຳແໜ່ງໄຟລ໌ https://example.com/robots.txt

FAQ

ສິ່ງນີ້ຈະຊ່ວຍ SEO ຫຼື ບໍ່?

ຈຸດປະສົງຂອງ robots.txt ແມ່ນເພື່ອຄວບຄຸມການ crawl ແລະ ບໍ່ໄດ້ຮັບປະກັນການເພີ່ມອັນດັບ. ໃຊ້ເພື່ອຫຼຸດຜ່ອນການ crawl ທີ່ບໍ່ຈຳເປັນ ແລະ ກຳນົດເຂດທີ່ຫ້າມເຂົ້າ.

Disallow: / ອັນຕະລາຍ ຫຼື ບໍ່?

ແມ່ນແລ້ວ. Disallow: / ຈະບລັອກທັງເວັບໄຊ. ການໃຊ້ໃນລະບົບຈິງອາດສົ່ງຜົນກະທົບຮ້າຍແຮງ. ເຄື່ອງມືນີ້ຈະສະແດງຄຳເຕືອນ ແລະ ຕ້ອງມີການຢືນຢັນກ່ອນການຄັດລອກ.

ສາມາດເພີ່ມແຖວ sitemap ໄດ້ ຫຼື ບໍ່?

ໄດ້. ພຽງແຕ່ປ້ອນ URL ໃນຊ່ອງ Sitemap ແລະ ເຄື່ອງມືຈະສະແດງແຖວ Sitemap: ... ໃຫ້ (ຮອງຮັບຫຼາຍ URL).