robots.txt 생성기 (Allow/Disallow 선택)
Allow / Disallow 규칙을 선택해 robots.txt 템플릿을 빠르게 만듭니다.
이 도구는 크롤링 제어용입니다. 검색 순위 향상을 보장하지 않습니다.
위험한 전체 사이트 차단은 경고와 확인 절차를 거칩니다
robots.txt 템플릿 생성기
실무적인 폼으로 크롤러 차단 설정을 만듭니다. 생성 결과는 robots.txt로 바로 붙여넣을 수 있는 평문입니다.
사용 방법
- User-agent를 설정하고 Allow/Disallow 규칙을 추가합니다.
- 필요하면 Sitemap URL도 추가합니다 (여러 줄 지원).
- 생성된 robots.txt를 복사하거나 다운로드합니다.
robots.txt가 하는 일
- robots.txt는 크롤링 동작을 제어합니다.
- 인덱싱 제어는 noindex 같은 다른 방법이 필요할 수 있습니다.
- robots.txt는 https://example.com/robots.txt 처럼 사이트 루트에 두어야 합니다.
FAQ
이걸 쓰면 SEO 순위가 올라가나요?
robots.txt의 목적은 크롤러 제어입니다. 순위 상승을 보장하지 않습니다.
Disallow: / 는 위험한가요?
예. Disallow: / 는 사이트 전체의 크롤링을 막을 수 있습니다. 이 도구는 강한 경고를 표시하고 복사/다운로드 전에 확인을 요구합니다.
Sitemap 줄도 같이 넣을 수 있나요?
예. Sitemap 입력에 URL을 추가하면 Sitemap: ... 줄이 자동으로 출력되며, 여러 URL도 지원합니다.