Templat robots.txt

Penjana robots.txt (Pilih Benarkan/Jangan Benarkan untuk Membina Templat)

Q: "Adakah ini akan meningkatkan SEO?"

"Tujuan robots.txt adalah kawalan rayapan dan ia tidak menjamin peningkatan kedudukan. Gunakannya untuk mengurangkan rayapan yang tidak perlu dan menjelaskan kawasan larangan."

Q: "Adakah Disallow: / berbahaya?"

"Ya. Disallow: / menyekat keseluruhan tapak. Menggunakannya pada pengeluaran boleh memberi kesan yang serius. Alat ini menunjukkan amaran keras dan memerlukan pengesahan sebelum menyalin."

Q: "Bolehkah saya menambah baris peta laman?"

"Ya. Tambah URL dalam medan Peta Laman dan alat ini mengeluarkan baris Sitemap: ... (berbilang URL disokong)."

Pilih peraturan Benarkan/Jangan Benarkan untuk mencipta templat robots.txt dengan pantas. Penjana robots.txt ini memudahkan tetapan sekatan perayap.

Matlamatnya adalah kawalan rayapan. Ia tidak menjamin peningkatan kedudukan (ranking).

Diproses secara tempatan dalam penyemak imbas anda.

Penjana Templat robots.txt

Sedia untuk ditampal sebagai robots.txt.

Tujuan priset

Mulakan daripada templat yang paling hampir dengan matlamat anda.

Mula dari awal (lalai) Mulakan dengan templat yang kosong dan selamat. Staging (sekat semua) Termasuk Disallow: / dan berbahaya untuk pengeluaran. Bahaya Sekat admin sahaja (contoh) Contoh: Disallow /admin/.

Tambah baris Peta Laman

Peta Laman (Sitemap)

Berbilang baris dibenarkan. Setiap URL yang sah menjadi baris Sitemap:.

Pratonton

Sedia untuk ditampal sebagai robots.txt.

Pilihan

Lanjutan

Buka apabila perlu

Crawl-delay Saat. Beberapa perayap mengabaikannya. Tambah baris ulasan Menambah ulasan di bahagian atas.

Disallow kosong yang jelas Mengeluarkan Disallow: walaupun tanpa peraturan (disyorkan). Pulihkan tetapan sebelumnya Simpan tetapan pada peranti ini.

Cara menggunakan robots.txt

Tambah Benarkan/Jangan Benarkan

Pilih User-agent dan tambah baris peraturan.

Tambah Peta Laman (pilihan)

Anda boleh menambah berbilang URL peta laman.

Salin dan letak

Salin keputusan dan simpannya sebagai /robots.txt.

Contoh

Lalai selamat

Benarkan semua dan tambah peta laman.

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Sekat admin

Jangan benarkan kawasan admin sahaja.

User-agent: *
Disallow: /admin/

Sekat semua untuk staging

Berbahaya, untuk bukan pengeluaran sahaja.

User-agent: *
Disallow: /

Apa yang boleh dilakukan oleh robots.txt

• robots.txt adalah untuk kawalan rayapan.
• Kawalan indeks adalah berasingan dan mungkin memerlukan noindex.

Lokasi https://example.com/robots.txt

Soalan Lazim

Adakah ini akan meningkatkan SEO?

Tujuan robots.txt adalah kawalan rayapan dan ia tidak menjamin peningkatan kedudukan. Gunakannya untuk mengurangkan rayapan yang tidak perlu dan menjelaskan kawasan larangan.

Adakah Disallow: / berbahaya?

Ya. Disallow: / menyekat keseluruhan tapak. Menggunakannya pada pengeluaran boleh memberi kesan yang serius. Alat ini menunjukkan amaran keras dan memerlukan pengesahan sebelum menyalin.

Bolehkah saya menambah baris peta laman?

Ya. Tambah URL dalam medan Peta Laman dan alat ini mengeluarkan baris Sitemap: ... (berbilang URL disokong).