사용자가 AI에 우리 페이지 주소를 넣으면 robots.txt 차단이 적용되나요?

회사마다 답이 다릅니다

같은 "사용자가 요청해서 여는 접근"이라도 robots.txt 적용 여부는 회사 문서마다 다르게 적혀 있습니다.

• OpenAI 는 ChatGPT-User 에 대해 사용자가 시작한 행동이므로 robots.txt 규칙이 적용되지 않을 수 있다고 밝히고 있습니다.
• 구글은 사용자 요청 열람기(user-triggered fetcher)를 크롤러와 별개 범주로 두고, 이들은 대체로 robots.txt 규칙을 무시한다고 적었습니다.
• Anthropic 은 Claude-User 를 두어 사용자가 시작한 요청으로 어느 사이트에 접근할지 사이트 소유자가 제어할 수 있다고 안내하고, 자사 봇이 robots.txt 지시를 따른다고 밝혔습니다.

그래서 "AI 봇을 전부 막았다"는 한 문장으로는 지금 상태를 판정할 수 없습니다. 어느 회사의 어느 용도를 막았는지까지 내려가야 합니다.

접근을 세 가지 용도로 갈라 놓습니다

정책을 정하기 전에 robots.txt 와 접근 로그를 아래 세 줄로 정리합니다. 봇 이름이 아니라 용도가 기준입니다.

Google-Extended 는 별도의 User-Agent 문자열이 없고 robots.txt 제어용 토큰으로만 쓰입니다. 구글은 이 토큰이 Gemini 모델 학습과 그라운딩에 쓰이는 범위를 제어하며 구글 검색 포함 여부에는 영향을 주지 않는다고 밝히고 있습니다.

로그에서 어느 줄인지 표시합니다

세 용도는 User-Agent 문자열로 갈립니다. 접근 기록에서 이름을 뽑아 위 표의 어느 줄인지 적는 것이 첫 작업입니다.

• OpenAI 는 robots.txt 파일을 가져갈 때 사용자 에이전트에 robots.txt 표식을 덧붙일 수 있다고 밝혔습니다. 경로가 남지 않는 로그에서도 파일 요청과 본문 요청을 가를 수 있습니다.
• 구글의 사용자 요청 열람기는 공개된 IP 목록과 역방향 DNS 마스크로 대조합니다. 소유 주체에 따라 gae.googleusercontent.com 또는 google-proxy-...google.com 형태입니다.
• 구글 문서는 이 목록이 전부가 아니며 사용자 에이전트 문자열은 위장될 수 있다고 못 박고 있습니다. 이름만으로 판정하지 않습니다.

진짜 요청인지 가리는 절차는 AI 크롤러가 정말 우리 사이트에 왔는지 어떻게 확인하나요? 에 따로 정리했습니다.

정말 막아야 한다면 robots.txt 로는 부족합니다

사용자 요청 열람은 robots.txt 만으로 확실하게 막을 수 없습니다. 밖으로 나가면 안 되는 내용이라면 서버에서 인증을 걸어야 합니다.

차단에는 대가도 있습니다. Anthropic 은 Claude-User 를 막으면 사용자 질문에 우리 내용을 회수하지 못해 사용자 주도 검색에서 사이트 노출이 줄 수 있다고 적었습니다. 반대로 OpenAI 는 ChatGPT-User 가 검색 노출 여부를 정하는 데 쓰이지 않는다고 밝혔으므로, 검색에서 빠지는 것이 목적이라면 OAI-SearchBot 쪽을 써야 합니다.

용도를 나눠 적으면 이런 형태가 됩니다. 아래는 예시 값이며, 적용 전에 회사별 최신 문서에서 이름을 다시 확인하십시오.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-User
Disallow: /members/

용도별로 무엇을 열고 닫을지 고르는 기준은 OAI-SearchBot과 GPTBot 접근 정책 구분 에 정리했습니다.

바꾼 뒤 무엇을 확인하나요

1. /robots.txt 를 직접 열어 200 응답이 오는지, 의도한 규칙이 그대로 있는지 봅니다.
2. OpenAI 는 robots.txt 를 고친 뒤 검색 쪽 시스템에 반영되기까지 약 24시간이 걸릴 수 있다고 안내합니다. 당일 로그만 보고 실패로 판단하지 않습니다.
3. 며칠치 접근 로그에서 대상 사용자 에이전트의 요청 수가 바뀌었는지 봅니다.

여기까지로 확인되는 것은 우리가 보낸 신호가 파일에 반영됐다는 것과, 그 이름의 요청 수가 달라졌다는 것 두 가지입니다. 사용자 요청 열람은 원래 드물게 일어나서 요청 수 변화만으로는 판정이 어렵고, 우리 내용이 AI 답변에 실제로 인용됐는지는 접근 로그로 알 수 없습니다.