Generator robots.txt (Pilih Allow/Disallow)
Buat template robots.txt dengan cepat dengan memilih aturan Allow / Disallow.
Alat ini untuk pengendalian crawl. Ini tidak menjamin peningkatan ranking.
Blokir seluruh situs yang berisiko dideteksi dengan peringatan dan konfirmasi
Generator Template robots.txt
Buat pengaturan pemblokiran crawler dengan form yang praktis. Hasil yang dibuat berupa teks biasa yang dapat langsung Anda tempel sebagai robots.txt.
Cara menggunakan
- Atur User-agent dan tambahkan aturan Allow/Disallow.
- Tambahkan URL Sitemap bila diperlukan (mendukung banyak baris).
- Salin atau unduh output robots.txt yang dihasilkan.
Apa yang dilakukan robots.txt
- robots.txt mengontrol perilaku perayapan.
- Kontrol pengindeksan mungkin memerlukan metode lain seperti noindex.
- Tempatkan robots.txt di root situs, misalnya https://example.com/robots.txt.
FAQ
Apakah ini akan meningkatkan ranking SEO?
Tujuan robots.txt adalah mengendalikan crawler. Ini tidak menjamin kenaikan ranking.
Apakah Disallow: / berbahaya?
Ya. Disallow: / dapat memblokir perayapan untuk seluruh situs. Alat ini menampilkan peringatan kuat dan meminta konfirmasi sebelum salin/unduh.
Bisakah saya menyertakan baris Sitemap juga?
Ya. Tambahkan URL di input Sitemap dan alat akan mengeluarkan baris Sitemap: ... secara otomatis, termasuk banyak URL.