robots.txt 생성기
robots.txt를 만듭니다. 크롤러 허용·차단, 검색엔진별 규칙, GPTBot·CCBot 같은 데이터셋 수집 봇 차단, crawl-delay, 사이트맵을 설정합니다. RFC 9309 기준.
이 파일을 사이트 루트(https://yourdomain/robots.txt)에 두세요. RFC 9309를 따릅니다. Google은 Crawl-delay를 무시하므로 크롤링 속도는 Search Console에서 설정하세요. robots.txt는 요청일 뿐 보안 장치가 아니며, 페이지에 대한 접근을 막지는 않습니다.
robots.txt는 웹 크롤러가 사이트의 어느 부분을 요청해도 되는지 알려 주는 파일입니다. 이 생성기는 로봇 배제 표준(RFC 9309)에 맞는 파일을 만듭니다. 기본 허용·차단 정책을 정하고, 특정 검색엔진이나 데이터셋·채팅 도우미용으로 페이지를 수집하는 크롤러를 막고, crawl-delay와 사이트맵 URL을 추가할 수 있습니다. 모든 처리는 브라우저에서 이루어집니다.
사용 방법
- 기본값으로 모두 허용할지 모두 차단할지 고르거나, 경로를 직접 지정하세요.
- 필요하면 특정 검색엔진, 데이터셋 수집 크롤러, 채팅 도우미 크롤러를 차단하세요.
- crawl-delay와 사이트맵 URL을 추가하세요.
- 파일을 사이트 루트에 /robots.txt로 복사하세요.
계산식
각 그룹은 User-agent 줄로 시작하고 그 뒤에 Allow와 Disallow 규칙이 옵니다. "Disallow: /"는 전부 차단, 비어 있는 "Disallow:"는 전부 허용입니다. Sitemap 줄은 전체에 적용되며 절대 URL을 씁니다.
예시
모두 차단 정책은 정확히 다음 내용을 만듭니다.
**User-agent: *
Disallow: /**
모든 크롤러에게 사이트 전체에 들어오지 말라고 알리는 내용입니다.
자주 묻는 질문
robots.txt로 페이지를 비공개로 할 수 있나요?
아니요. 예의 바른 크롤러에게 그 경로를 가져가지 말라고 부탁할 뿐 접근을 막지는 않으며, 다른 곳에서 링크되어 있으면 URL이 검색 결과에 나올 수도 있습니다. 진짜 비공개가 필요하면 인증이나 noindex를 쓰세요.
Google은 왜 Crawl-delay를 무시하나요?
Googlebot은 Crawl-delay 지시어를 지원하지 않습니다. 대신 Google Search Console에서 크롤링 속도를 설정하세요. Bing 등 일부는 이 지시어를 따릅니다.
내 페이지가 학습 데이터셋에 들어가지 않게 하려면 어떻게 하나요?
데이터셋 옵션을 켜면 GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot 등에 대한 Disallow 그룹이 추가됩니다. 별도의 도우미 옵션은 OAI-SearchBot, PerplexityBot 같은 크롤러도 막기 때문에 그 서비스의 답변에서 내 페이지가 빠질 수 있습니다. robots.txt를 따르는 것은 자발적이므로 자물쇠가 아니라 요청입니다.
출처
최종 업데이트:
이 입력값이 담긴 페이지 주소: https://kakao.mobile/ko/tools/robots-txt-generator/
인용·퍼가기
kakaoCalc. (2026, November 8). robots.txt 생성기. https://kakao.mobile/ko/tools/robots-txt-generator/
“robots.txt 생성기.” kakaoCalc, 8 Nov. 2026, kakao.mobile/ko/tools/robots-txt-generator/.