robots.txt로 SEO를 개선하는 방법: 크롤러 제어의 기본과 실전
크롤러 제어는 SEO와 사이트 성능 모두에 중요한 역할을 합니다. 검색엔진 크롤러가 어디를 읽고 어디를 건너뛰어야 하는지 정리해 두면, 불필요한 크롤링을 줄이고 중요한 페이지에 자원을 집중시키기 쉬워집니다.
그 중심 도구가 robots.txt 입니다. 이 글에서는 robots.txt 의 기본 개념, 문법, 실전 예시, 주의점, Search Console 테스트 방법, meta robots 와의 차이까지 한국어로 정리합니다.
robots.txt 란
Google 같은 주요 검색엔진은 보통 이를 존중하지만, 악성 크롤러는 무시할 수 있습니다. 따라서 비공개 정보 보호를 robots.txt 하나에 의존해서는 안 됩니다.
설치 위치와 형식
robots.txt 는 반드시 사이트 루트에 놓아야 합니다. 예를 들어 https://example.com/robots.txt 형태여야 하며, 하위 디렉터리에 두면 기대한 대로 작동하지 않습니다. 파일명은 소문자 robots.txt 가 기본입니다.
형식은 일반 텍스트가 기본이며, 인코딩은 UTF-8 을 권장합니다.
기본 문법
기본 지시어는 User-agent, Disallow, Allow 입니다. User-agent 는 어떤 크롤러에 적용할지 정하고, Disallow 는 읽지 말아야 할 경로, Allow 는 예외적으로 허용할 경로를 뜻합니다.
User-agent: * Disallow: /private/ Allow: /private/public.html
위 예시는 모든 크롤러에게 /private/ 아래를 막되, public.html 만 예외적으로 허용하는 형태입니다.
와일드카드
User-agent:
규칙이 적용되는 검색 엔진을 지정합니다. 특정 검색 엔진 이름을 지정하거나 '*'를 사용하여 모든 검색 엔진에 적용할 수 있습니다. 여러 User-agent 줄을 선언하면 다양한 검색 엔진에 대해 다른 규칙을 정의할 수 있습니다. 예시:
User-agent: Googlebot,
User-agent: Bingbot,
User-agent: *.
Disallow:
크롤링하지 않아야 하는 경로를 지정합니다. 슬래시로 시작하는 상대 경로로 작성됩니다. 빈 Disallow 줄은 모든 것을 허용합니다. 예시:
robots.txt: /private/ 차단합니다.,
Disallow:.
robots.txt: Allow:
경로를 크롤링할 수 있도록 허용하는 규칙입니다. Disallow 규칙으로 차단된 위치의 일부를 허용할 때 사용됩니다. 이 경우 Allow 규칙이 우선 적용됩니다. 예시:
robots.txt: /private/ 차단합니다.그리고
robots.txt: /private/public.html 허용합니다..
Crawl-delay
별표(*)는 모든 문자열과 일치합니다. 예를 들어, robots.txt: /*.pdf 차단합니다. 모든 PDF 파일을 차단하고, Disallow: /images/*.jpg$ JPG 파일만 /images/ 디렉토리 아래에서만 차단합니다.
달러 기호는 줄의 끝과 일치합니다. 예를 들어, Disallow: /blog/$ /blog/ 디렉토리 자체에 대한 액세스를 차단하면서 /blog/article1/과 같은 주소에 대한 액세스를 허용합니다.
Sitemap 지시어로 사이트맵 URL 을 알려 줄 수 있습니다. 사이트 구조를 더 빨리 이해시키는 데 도움이 되며, 여러 개의 사이트맵도 함께 지정할 수 있습니다.
Sitemap: https://example.com/sitemap.xml Sitemap: https://example.com/sitemap_images.xml
Google이 검색 엔진의 자동 크롤링 속도 조정을 개선하고, 사용자 경험을 단순화하기 위한 노력의 일환으로 Search Console의 크롤링 속도 제한 도구에 대한 지원을 중단합니다.
Search Console의 크롤링 속도 제한 도구에 대한 지원 종료 예정
로그인 영역 차단
회원 전용 영역처럼 검색에 노출할 필요가 없는 경로는 robots.txt 로 크롤링 낭비를 줄일 수 있습니다. 예를 들어 /member/ 아래 전체를 막고 싶다면 Disallow: /member/ 를 씁니다.
Sitemap URL을 Sitemap 지시어를 사용하여 지정할 수 있습니다. 이를 통해 검색 엔진이 웹사이트의 구조를 더 쉽게 이해하고 크롤링 효율성을 개선하는 데 도움이 됩니다. 여러 개의 Sitemap을 지정할 수도 있습니다. 예시: Sitemap: https://example.com/sitemap.xml 그리고 Sitemap: https://example.com/sitemap_images.xml.
★
SEO를 강화하세요: sitemap.xml을 사용하여 Google 친화적인 사이트 구조를 구축하세요.
페이지네이션이나 정렬 파라미터가 붙은 URL 은 중복 콘텐츠처럼 보일 수 있습니다. 예를 들어 Disallow: /*?page=* 로 page 파라미터가 붙은 URL 을 막을 수는 있지만, 너무 강하게 막으면 필요한 페이지까지 검색에서 빠질 수 있습니다.
특정 크롤러 제어
특정 크롤러만 막고 싶다면 User-agent 섹션을 분리해 관리할 수 있습니다. 예를 들어 특정 봇이 과도한 부하를 준다면 그 봇에만 제한을 둘 수 있습니다.
robots.txt를 사용하면 검색 엔진이 이러한 페이지에 접근하는 것을 방지하고 불필요한 크롤링을 줄일 수 있습니다. 예를 들어, 멤버십 전용 콘텐츠가 /member/ 아래에 저장된 경우, "", Disallow: /member/ 블록은 해당 위치 아래의 모든 파일과 하위 디렉토리에 대한 액세스를 차단합니다.
3장. 자주 하는 실수와 주의점
중요 페이지 차단
상품 페이지나 서비스 소개 페이지 같은 핵심 경로를 실수로 막으면 검색 노출이 크게 흔들릴 수 있습니다. 수정 전후에는 반드시 테스트가 필요합니다.
파라미터화된 URL은 동일한 콘텐츠가 여러 URL 아래에서 접근 가능하도록 만들 수 있으며, 이는 중복 콘텐츠로 처리될 수 있습니다. 예를 들어, 페이지네이션을 위해 "page=", ?page= 매개변수를 사용하는 경우 example.com/blog?page=1 및 example.com/blog?page=2와 같이 다른 URL을 가진 동일한 콘텐츠가 있는 페이지가 나타날 수 있습니다.
다음과 같이 작성하면 Disallow: /*?page=*, 검색 엔진이 모든 페이지네이션 콘텐츠에 액세스하는 것을 차단하고 SEO에 영향을 미칠 수 있습니다.
대소문자
지시어와 경로는 대소문자를 구분합니다. 철자와 대문자 사용을 잘못 적으면 의도와 다르게 동작할 수 있습니다.
악성 크롤러
User-agent 지시어를 사용하면 서로 다른 크롤러에 대해 다른 규칙을 설정할 수 있습니다. 다음을 작성하면 User-agent: YandexBot 및 다음을 작성하면 Disallow: /, 다른 User-agent 섹션에 설정된 규칙이 있거나 다음 규칙에 따라 블로그 글을 크롤링할 검색 엔진 크롤러(크롤러)를 제외할 수 있습니다. User-agent: *.
보안 한계
특정 크롤러가 서버에 과도한 부하를 줄 때
특정 크롤러가 robots.txt를 무시하고 문제를 일으킬 때
지역별 콘텐츠를 검색 엔진 크롤러에게 숨기고 싶을 때, 해당 지역에서 사용되지 않는 검색 엔진의 크롤러에게
와일드카드 남용
와일드카드를 과하게 쓰면 의도하지 않은 URL 까지 막을 수 있습니다. 규칙이 넓게 퍼질수록 테스트가 더 중요해집니다.
검색엔진은 robots.txt 를 캐시하므로 수정 직후 바로 반영되지 않을 수 있습니다. 테스트 도구에서 확인되더라도 실제 적용까지 시간이 걸릴 수 있습니다.
4장. 작성과 검증
작성 도구
직접 텍스트 편집기로 작성해도 되지만, 온라인 생성 도구나 SEO 툴을 쓰면 문법 실수를 줄이기 쉽습니다. 간단한 사이트라면 생성 도구만으로도 충분한 경우가 많습니다.
Search Console 테스트
robots.txt 를 만든 뒤에는 Google Search Console 에서 테스트하는 것이 좋습니다. 특정 URL 이 크롤링 가능한지, 어떤 규칙이 적용되는지 확인하면 사고를 줄일 수 있습니다.
Allow 지시어는 Disallow로 차단된 위치의 일부만 허용할 때만 사용해야 합니다. 예를 들어, /private/를 차단하고 /private/public.html만 허용하려면 둘 다 사용합니다. robots.txt: /private/ 차단합니다. 그리고 robots.txt: /private/public.html 허용합니다..
수정과 재검토
robots.txt 는 루트에 공개된 파일이므로 브라우저에서 열어 바로 확인할 수 있습니다. 수정 후에는 다시 업로드하고, 캐시 반영 지연까지 고려해 테스트를 반복하는 편이 좋습니다.
User-agent, Disallow, Allow, 및 URL 경로 모두 대소문자를 구분합니다. 예를 들어, disallow: /images/ 는 Disallow: /images/ 와 같이 작동하지 않아 의도한 대로 작동하지 않습니다.
meta robots 와 차이
meta robots 는 개별 페이지 단위 제어에 적합합니다. robots.txt 가 경로 단위의 크롤링 지시라면, meta robots 는 페이지별 noindex, nofollow 제어에 강합니다.
noindex 와 nofollow
noindex 는 색인 제외, nofollow 는 링크 추적 제한을 의미합니다. 목적에 따라 robots.txt 와 조합해 더 세밀하게 제어할 수 있습니다.
X-Robots-Tag
PDF 나 이미지처럼 HTML 이 아닌 파일은 X-Robots-Tag HTTP 헤더로 제어할 수 있습니다. 서버 설정이 필요하지만 파일 단위 관리에는 유용합니다.
정리
robots.txt 는 SEO와 사이트 성능에 모두 중요한 기본 도구입니다. 다만 강제 차단이 아니라는 점, 보안 도구가 아니라는 점을 이해하고 써야 실수를 줄일 수 있습니다.
별표(*) 및 $와 같은 와일드카드는 경로 매칭을 더 유연하게 만들어 주지만, 과도하게 사용하면 의도하지 않은 페이지를 차단할 수 있습니다. 예를 들어, Disallow: /*image* 는 /images/ 디렉토리뿐만 아니라 /article/my-image.jpg와 같은 URL도 차단합니다.
부록
마지막으로 상황별 예시를 두 가지 남깁니다. 실제 적용 전에는 반드시 테스트 도구와 브라우저 확인을 함께 하십시오.
User-agent: Googlebot-Image Allow: /images/*.jpg Allow: /images/*.png Disallow: / User-agent: * Disallow: /images/
User-agent: AhrefsBot Crawl-delay: 10 User-agent: * Allow: /
이러한 주의사항을 따르고 robots.txt를 올바르게 구성하면 SEO를 개선하고 불필요한 위험을 피할 수 있습니다.
4장: robots.txt 생성 도구 및 검증 방법
이 장에서는 robots.txt를 효율적으로 생성, 테스트 및 수정하는 방법을 설명합니다. 이러한 단계를 따르면 의도하지 않은 실수를 방지하고 웹사이트 성능을 극대화할 수 있습니다.
4.1 robots.txt 생성 도구 사용하기
robots.txt를 수동으로 작성할 수 있지만, 온라인 도구를 사용하면 더 빠르고 오류가 적게 발생합니다. 이러한 도구는 필요한 지침을 입력하면 robots.txt 파일을 자동으로 생성하여 구문 오류 및 규칙 오류를 줄이는 데 도움이 됩니다.
대표적인 도구는 다음과 같습니다.
Google Search Console robots.txt 테스터:
Search Console에 내장된 도구로, robots.txt를 생성, 편집 및 테스트할 수 있습니다. 이미 Search Console을 사용하고 있다면 이것이 가장 쉬운 선택입니다.
SEO 검사 도구:
일부 SEO 도구는 robots.txt 생성 기능을 포함합니다. 다른 SEO 기능과 함께 사용할 수 있으므로 사이트를 보다 광범위하게 최적화할 때 편리합니다.
다른 온라인 robots.txt 생성기:
웹에서 robots.txt 생성기를 검색하면 많은 무료 도구를 찾을 수 있습니다. 이러한 도구는 간단한 robots.txt 파일을 만드는 데 적합합니다.
어떤 도구가 가장 좋은지는 귀하의 요구 사항과 웹사이트의 크기에 따라 달라집니다.
4.2 Google Search Console에서 robots.txt 테스트하기
robots.txt를 생성한 후에는 크롤러가 올바르게 해석하는지 확인하기 위해 테스트해야 합니다. Google Search Console은 특정 URL이 크롤링 가능한지, 파일에 오류가 있는지 보여주는 robots.txt 테스트 도구를 제공합니다.
테스트 과정은 다음과 같습니다.
Google Search Console을 열고 대상 웹사이트의 속성을 선택합니다.
왼쪽 메뉴에서 robots.txt 테스터를 선택합니다.
테스트할 URL을 입력하고 ‘Test’ 버튼을 클릭합니다.
URL이 크롤링 가능한지, 어떤 지침이 적용되고 있는지 검토합니다.
robots.txt를 변경할 때마다 이 도구를 사용하여 파일이 의도한 대로 작동하는지 확인하십시오.
4.3 robots.txt 검토 및 수정하기
robots.txt는 웹사이트의 루트 디렉토리에 위치하므로 브라우저에서 직접 열어 내용을 검토하고 필요한 경우 수정할 수 있습니다. 예를 들어, https://example.com/robots.txt에 액세스하면 파일이 표시됩니다.
수정 사항을 적용할 때 robots.txt를 텍스트 편집기에서 열고 필요한 변경 사항을 수행한 다음 서버에 업로드합니다. 검색 엔진이 캐시를 새로 고치기 때문에 변경 사항이 반영되는 데 약간의 시간이 걸릴 수 있습니다.
Google Search Console의 robots.txt 테스터는 편집 및 테스트를 동시에 수행할 수 있게 해주어 수정 사항 및 검증을 반복하는 데 더 쉽습니다.
이 단계를 따르면 robots.txt를 최적 상태로 유지하고 SEO와 사이트 성능을 모두 향상시킬 수 있습니다.
5장: robots.txt를 넘어선 크롤러 제어
meta robots 태그와의 차이점 및 각 사용 방법
meta robots 태그는 개별 페이지에 대해 크롤러를 제어하는 데 사용됩니다. robots.txt와 함께 사용하면 더 세밀한 제어가 가능합니다. noindex는 검색 엔진이 페이지를 색인하지 않도록 지시하고, nofollow은 링크를 따라가지 않도록 지시합니다. noindex를 이미 색인된 페이지에 추가하면 검색 결과에서 해당 페이지를 제거하는 데 도움이 될 수 있습니다.
noindex 및 nofollow과 함께 사용하기
noindex,follow와 같이 쉼표로 구분된 여러 지침을 지정할 수 있습니다.
X-Robots-Tag HTTP 헤더를 통한 제어
HTTP 응답 헤더에 X-Robots-Tag를 사용하여 PDF 및 이미지와 같은 HTML이 아닌 파일에 대한 크롤링을 제어할 수 있습니다. 이는 서버 측 구성이 필요합니다.
요약
robots.txt는 SEO와 웹사이트 성능 모두에 필수적인 도구입니다.
이 기사에 언급된 내용을 이해하고 robots.txt를 제대로 구성하면 웹사이트의 잠재력을 최대한 활용할 수 있습니다. robots.txt를 지속적으로 최신 상태로 유지하고 시간이 지남에 따라 최적화하는 것이 중요합니다.
부록: 고급 예제 포함 robots.txt 예제
특정 크롤러에 대해서만 특정 파일 유형을 허용해야 합니다:
User-agent: Googlebot-Image Allow: /images/*.jpg Allow: /images/*.png Disallow: / User-agent: * Disallow: /images/
특정 크롤러에 대한 접근 속도를 늦추세요:
User-agent: AhrefsBot Crawl-delay: 10 User-agent: * Allow: /
이 고급 패턴을 사용하여 웹사이트를 최적화하고 성공으로 이끌어 가세요.