robots.txt 테스터 (RFC 9309)
RFC 9309 규칙(그룹 선택, 최장 일치, * 와 $ 와일드카드)으로 robots.txt가 크롤러에게 URL을 허용하는지 차단하는지 테스트하고, 결정한 규칙을 보여 줍니다.
RFC 9309에 따라 가장 구체적인(가장 긴) 규칙이 우선하고, 동률이면 Allow가 이기며, *는 모든 문자에, $는 끝에 일치합니다. robots.txt는 크롤러에게 페이지를 가져가지 말라고 부탁할 뿐 검색 결과에서 숨기거나 페이지를 보호하지는 않습니다.
| URL | 결과 | 적용된 규칙 |
|---|---|---|
| /admin/login | 차단 | 2번째 줄: Disallow: /admin/ |
| /search?q=shoes | 차단 | 3번째 줄: Disallow: /search |
| /search/about | 허용 | 4번째 줄: Allow: /search/about |
| /files/report.pdf | 차단 | 5번째 줄: Disallow: /*.pdf$ |
| /files/report.pdf?download=1 | 허용 | 일치하는 규칙 없음 |
| https://example.com/blog/hello-world | 허용 | 일치하는 규칙 없음 |
robots.txt의 잘못 놓인 규칙 하나가 사이트 전체를 검색 엔진에서 숨기거나, 관리자 영역을 크롤링 가능하게 만들 수 있습니다. 이 테스터는 RFC 9309와 Google이 설명하는 대로 robots.txt를 URL 목록에 적용합니다. 지정한 크롤러의 그룹을 고르고(중복 그룹은 병합하고 *로 대체), *와 $ 와일드카드를 쓰는 가장 긴 Allow 또는 Disallow 규칙을 찾아 결정한 줄과 함께 허용 또는 차단을 알려 줍니다. 크롤러가 무시하는 줄도 표시합니다.
사용 방법
- robots.txt 내용을 붙여 넣으세요.
- 확인할 URL이나 경로를 한 줄에 하나씩 적으세요.
- Googlebot, Bingbot, Applebot 같은 크롤러 토큰을 입력하세요.
- 각 결과와 근거가 된 규칙을 읽고 경고를 고치세요.
계산식
Group: the one whose user-agent equals the crawler token (case-insensitive), else *. Rule: among Allow and Disallow paths that match the start of the URL path, the longest wins; on a tie, Allow wins.
*는 임의의 문자열에, 끝의 $는 "URL의 끝"을 뜻합니다. 경로에는 쿼리 문자열이 포함됩니다. ASCII가 아닌 문자는 퍼센트 인코딩해 비교하고, 일반 글자와 숫자의 이스케이프는 먼저 디코딩합니다(RFC 9309 §2.2.2). /robots.txt는 항상 허용됩니다.
예시
User-agent: *, Allow: /p, Disallow: /이면 URL /page는 허용입니다. 두 규칙이 모두 일치하지만 /p가 /보다 깁니다. Disallow: /*.php$이면 /filename.php는 차단되고 /filename.php?parameters는 허용됩니다. $는 URL이 거기서 끝나야 하기 때문입니다.
자주 묻는 질문
Disallow하면 Google에서 페이지가 사라지나요?
아니요. 크롤링만 막을 뿐이어서, 차단된 URL도 링크 때문에 내용 없이 색인될 수 있습니다. 검색 결과에서 빼려면 크롤링을 허용하고 noindex 로봇 메타 태그나 X-Robots-Tag 헤더를 쓰세요.
Googlebot-Image가 Googlebot 그룹을 따르는 이유는 무엇인가요?
Google은 일부 크롤러에 user-agent 토큰 두 개를 둡니다. 예를 들어 Googlebot-Image는 googlebot-image 그룹이 있으면 그것을, 없으면 googlebot 그룹을 따릅니다. 테스터는 그렇게 문서화된 Google 크롤러에만 이를 적용하고 나머지 이름은 *로 대체합니다. 옵션을 끄면 엄격한 RFC 9309 동작을 테스트할 수 있습니다.
경로는 대소문자를 구분하나요?
네. Disallow: /Folder는 /folder를 막지 않습니다. 다만 user-agent 이름은 대소문자를 구분하지 않고 비교합니다.
출처
최종 업데이트:
이 입력값이 담긴 페이지 주소: https://kakao.mobile/ko/tools/robots-txt-tester/
인용·퍼가기
kakaoCalc. (2026, November 8). robots.txt 테스터 (RFC 9309). https://kakao.mobile/ko/tools/robots-txt-tester/
“robots.txt 테스터 (RFC 9309).” kakaoCalc, 8 Nov. 2026, kakao.mobile/ko/tools/robots-txt-tester/.