Template robots.txt

Generator robots.txt (Pilih Allow/Disallow untuk Membuat Template)

Q: "Apakah ini meningkatkan SEO?"

"Tujuan robots.txt adalah kontrol perayapan dan tidak menjamin peningkatan peringkat. Gunakan untuk mengurangi perayapan yang tidak perlu."

Q: "Apakah Disallow: / berbahaya?"

"Ya. Disallow: / memblokir seluruh situs. Menerapkannya di produksi dapat berdampak serius."

Q: "Bisakah saya menambah baris sitemap?"

"Ya. Tambahkan URL di field Sitemap dan alat ini akan mengeluarkan baris Sitemap: ... (mendukung banyak URL)."

Pilih aturan Izinkan/Blokir untuk membuat template robots.txt dengan cepat. Generator ini mempermudah pengaturan blokir crawler.

Tujuannya adalah kontrol perayapan. Tidak menjamin peningkatan peringkat.

Diproses secara lokal di browser Anda.

Pembuat Template robots.txt

Siap ditempel sebagai robots.txt.

Preset tujuan

Mulai dari template yang paling mendekati tujuan Anda.

Mulai dari awal (default) Mulai dengan template kosong yang aman. Staging (blokir semua) Termasuk Disallow: / dan berbahaya untuk produksi. Bahaya Blokir admin saja (contoh) Contoh: Disallow /admin/.

Tambah baris Sitemap

Sitemap

Bisa lebih dari satu baris. Setiap URL yang valid menjadi baris Sitemap:.

Pratinjau

Siap ditempel sebagai robots.txt.

Opsi

Lanjutan

Buka saat dibutuhkan

Crawl-delay Detik. Beberapa crawler mengabaikannya. Tambah baris komentar Menambahkan komentar di bagian atas.

Disallow kosong eksplisit Mengeluarkan Disallow: meskipun tanpa aturan (disarankan). Pulihkan pengaturan sebelumnya Simpan pengaturan di perangkat ini.

Cara menggunakan robots.txt

Tambah Allow/Disallow

Pilih User-agent dan tambah baris aturan.

Tambah Sitemap (opsional)

Anda dapat menambah beberapa URL sitemap.

Salin dan tempatkan

Salin hasilnya dan simpan sebagai /robots.txt.

Contoh

Default aman

Izinkan semua dan tambah sitemap.

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Blokir admin

Hanya memblokir area admin.

User-agent: *
Disallow: /admin/

Blokir semua untuk staging

Berbahaya, hanya untuk lingkungan non-produksi.

User-agent: *
Disallow: /

Apa yang bisa dilakukan robots.txt

• robots.txt adalah untuk kontrol perayapan.
• Kontrol indeks terpisah dan mungkin memerlukan noindex.

Lokasi https://example.com/robots.txt

FAQ

Apakah ini meningkatkan SEO?

Tujuan robots.txt adalah kontrol perayapan dan tidak menjamin peningkatan peringkat. Gunakan untuk mengurangi perayapan yang tidak perlu.

Apakah Disallow: / berbahaya?

Ya. Disallow: / memblokir seluruh situs. Menerapkannya di produksi dapat berdampak serius.

Bisakah saya menambah baris sitemap?

Ya. Tambahkan URL di field Sitemap dan alat ini akan mengeluarkan baris Sitemap: ... (mendukung banyak URL).