🤖 robots.txt 생성기

사용법

1. 대상 크롤러는 보통 *(모든 검색 로봇)으로 두면 돼요. 특정 로봇만 지정하려면 Googlebot, Bingbot, Yeti(네이버)처럼 이름을 적어요.
2. 차단할 경로에 수집하지 않았으면 하는 주소를 한 줄에 하나씩 적어요. 예: /admin/, /search. 비워 두면 모든 경로를 허용해요.
3. 차단한 폴더 안에서 일부만 열고 싶으면 허용할 경로에 적어요. 예: /admin/public/.
4. 사이트맵 주소는 https:// 로 시작하는 전체 주소로 적어요. 여러 개면 한 줄에 하나씩이에요.
5. 오른쪽 결과를 copy 해서 robots.txt 라는 이름의 텍스트 파일로 저장하고, 사이트 최상위(https://내도메인/robots.txt)에 올려요. 아래 "점검" 칸에 빨간 안내가 없는지 먼저 확인하세요.

robots.txt 는 무엇을 하는 파일인가요

robots.txt 는 검색엔진 로봇(크롤러)에게 "이 사이트에서 어디는 가져가도 되고 어디는 가져가지 말아 달라"고 알려 주는 안내문이에요. 구글 검색 센터 문서도 이 파일을 크롤링 요청의 수를 조절하는 용도로 설명하고, 웹페이지를 검색결과에서 숨기는 수단이 아니라고 분명히 밝혀요(robots.txt 소개 — Google 검색 센터). 다른 사이트가 그 페이지를 링크로 걸어 두면 막아 둔 주소도 검색결과에 주소만 덩그러니 나타날 수 있어요. 검색결과에서 확실히 빼려면 페이지에 noindex 메타 태그를 넣거나 비밀번호로 보호해야 해요. 오히려 noindex 를 넣은 페이지를 robots.txt 로 막아 버리면 로봇이 noindex 를 읽지 못해 효과가 없어져요.

한 줄씩 읽는 법

경로 값은 / 로 시작해야 하고 대소문자를 구분해요(User-agent 이름은 구분하지 않아요). 구글은 *(임의의 문자열)와 $(주소의 끝)도 지원해서, Disallow: /*.pdf$ 처럼 쓰면 pdf 로 끝나는 주소만 막아요. 모든 검색엔진이 와일드카드를 똑같이 해석한다는 보장은 없으니 복잡한 규칙은 피하는 것이 안전해요.

자주 쓰는 설정 예시

1) 모두 허용 + 사이트맵만 알리기 — 대부분의 블로그·소개 사이트는 이것으로 충분해요.

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

2) 관리자·검색결과 페이지 막기 — 관리 화면이나 내부 검색 결과처럼 검색에 필요 없는 주소를 막아 서버 부담과 크롤링 낭비를 줄여요.

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /admin/public/

Sitemap: https://example.com/sitemap.xml

3) 개발 중인 사이트 전체 차단 — 테스트 서버에서만 쓰세요. 실서비스에 올리면 검색 노출이 사라질 수 있어요. 이 도구는 "전체 차단"을 고르면 빨간 경고를 보여 줘요.

User-agent: *
Disallow: /

AI 크롤러 차단 줄이 뭔가요

옵션을 켜면 GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot 다섯 개 이름에 대해 Disallow: / 를 추가해요. 이들은 각 회사가 공개한 AI 학습·수집용 크롤러 이름이고 대부분 robots.txt 를 존중한다고 밝히고 있어요. 다만 이 파일은 강제력이 없는 요청이라 지키지 않는 로봇은 막을 수 없고, 크롤러 이름은 회사 사정으로 바뀌거나 추가될 수 있어서 정기적으로 공식 문서를 확인해야 해요. 일반 검색 노출은 Googlebot, Bingbot, 네이버 Yeti 같은 별도 이름으로 이루어지므로 이 다섯 개를 막는다고 일반 검색 노출이 바로 사라지는 것은 아니에요. 그래도 검색 결과 요약이나 AI 답변에 내 글이 인용되길 원하는지는 사이트 운영 방침에 따라 정하세요.

올리고 나서 꼭 확인할 것

• 브라우저에서 https://내도메인/robots.txt 를 열어 내용이 그대로 보이는지 확인해요. 파일이 없거나 404 면 로봇은 "제한 없음"으로 봐요.
• 하위 폴더(/blog/robots.txt)에 두면 적용되지 않아요. 도메인 최상위에만 둘 수 있고, 서브도메인마다 따로 필요해요.
• 구글 서치 콘솔과 네이버 서치어드바이저에서 사이트맵을 제출하고, 수집 요청이 차단되지 않는지 확인하세요. 서치어드바이저에는 robots.txt 검증·수집 요청 기능이 있어요.
• CSS, JS, 이미지 폴더를 막지 마세요. 구글이 화면을 그리는 데 필요하고, 이 도구도 /assets/ 같은 경로를 막으면 경고해요.
• 중요한 개인정보나 비공개 문서를 robots.txt 에 경로로 적으면 오히려 위치를 알려 주는 셈이에요. 접근 제한은 로그인·권한 설정으로 하세요.

자주 하는 실수

• 슬래시 빠뜨림: Disallow: admin 처럼 / 없이 쓰면 의도대로 동작하지 않아요.
• 전체 차단 방치: Disallow: / 를 테스트 때 넣고 실서비스에 그대로 올려서 검색에서 사라지는 경우가 가장 흔해요.
• noindex 를 robots.txt 에 씀: 구글은 이 줄을 지원하지 않아요.
• 상대 주소 사이트맵: Sitemap: /sitemap.xml 이 아니라 https://도메인/sitemap.xml 처럼 전체 주소여야 해요.
• 규칙이 충돌: 같은 경로에 Allow 와 Disallow 가 모두 걸리면 구글은 더 구체적인(긴) 규칙을 따라요. 헷갈리면 단순하게 쓰세요.

robots.txt 는 구글·네이버 등 주요 검색엔진이 지키는 관례이지만 법적 효력이나 접근 차단 기능은 없어요. 만든 내용은 입력한 브라우저 안에서만 처리되고 서버로 전송되지 않아요.

자주 묻는 질문

관련 도구