AI가 읽을 수 있는 사이트인지 무엇을 확인하나요?

점검을 시작하기 전에 무엇이 있어야 하나요

네 가지가 있으면 시작할 수 있습니다. 점검할 페이지 주소 목록, 사이트에 직접 요청을 보낼 수 있는 환경, robots.txt 와 서버·CDN 설정을 고칠 수 있는 담당자, 며칠치 접근 로그를 열어 볼 권한입니다.

세 번째가 자주 빠집니다. 고치는 권한이 robots.txt 파일·방화벽 규칙·CDN 설정으로 갈려 있는 경우가 많아서, 누가 어느 쪽을 고칠 수 있는지 먼저 적어 둡니다.

AI 쪽 접근을 모델 학습·검색 색인·사용자 요청 열람으로 가르는 기준은 사용자가 AI에 우리 페이지 주소를 넣으면 robots.txt 차단이 적용되나요?에 있습니다. 그 구분을 그대로 쓰고 여기서 다시 나누지 않습니다.

어떤 페이지를 고르고 무엇을 받아 보나요

사이트 전체를 돌리지 않습니다. AI 답변에 쓰일 만한 페이지부터 다섯 개 안쪽으로 고릅니다. 서비스·가격 안내, 자주 묻는 질문, 회사 사실이 모인 페이지 정도입니다.

고른 주소마다 네 가지를 받아 봅니다.

Google robots.txt 문서는 같은 파일이라도 응답 코드에 따라 효력이 달라진다고 적습니다. 429 를 뺀 4xx 는 유효한 파일이 없는 것으로 보아 수집 제한이 없다고 가정하고, 5xx 면 처음 12시간은 수집을 멈춘 뒤 이후 30일은 마지막으로 받아 간 정상 버전을 씁니다. 파일 내용만 읽어서는 어떤 규칙이 적용되는지 알 수 없습니다. 작성 점검 순서는 robots.txt 점검 체크리스트에 있습니다.

점검 순서와 기록 한 줄에 무엇을 적나요

1. /robots.txt 를 직접 받아 응답 코드와 용도별 줄을 적습니다.
2. 고른 주소마다 응답 코드를 받습니다. 관리 화면의 설정값이 아니라 공개된 응답을 봅니다.
3. 같은 주소의 원본 HTML 을 받아 그 페이지가 답하는 문장이 들어 있는지 찾습니다.
4. 접근 로그에서 지난 며칠 동안 어떤 이름이 그 주소를 가져갔고 무슨 응답을 받아 갔는지 셉니다.

앞의 두 단계는 요청 두 번으로 끝납니다. 아래 주소는 예시 값입니다.

curl -s -o /dev/null -w '%{http_code}\n' "https://example.com/robots.txt"
curl -s --compressed "https://example.com/pricing" | grep -c "설치비는 별도"

기록은 한 항목이 한 줄입니다. 대상 주소, 점검 항목, 받은 값, 판정, 점검일 다섯 칸을 채웁니다.

대상 주소 /pricing · 점검 항목 원본 HTML 의 답 문장 · 받은 값 응답 200, 문장 0건 · 판정 자바스크립트로 그려 넣는 중 · 점검일 2026-10-09

이 한 줄로 다음 작업이 갈립니다. 응답은 정상이고 문장만 없으니 robots.txt 는 손댈 필요가 없고, 답 문단을 서버가 보내는 HTML 에 넣는 일만 남습니다.

이 점검을 건너뛰면 무엇이 어긋나나요

• robots.txt 한 장만 읽고 다 열어 뒀다고 적습니다. 파일에서 이름을 허용해도 방화벽이나 CDN 이 그 요청을 막으면 읽히지 않습니다. OpenAI 문서는 검색 결과에 나오게 하려면 robots.txt 에서 OAI-SearchBot 을 허용하고 공개된 IP 대역의 요청도 함께 허용하라고 안내합니다. Anthropic 도 IP 차단은 robots.txt 조차 읽지 못하게 만든다고 적습니다.
• 로그에 이름이 없으면 접근이 없었다고 결론 냅니다. Google-Extended 는 별도의 HTTP 요청 사용자 에이전트 문자열이 없고 robots.txt 토큰으로만 쓰이므로, 이 이름으로는 로그에 아무것도 남지 않습니다. 반대로 이름은 요청하는 쪽이 적는 값이라 위장될 수 있다고 구글 문서가 경고합니다. 진위를 가리는 절차는 AI 크롤러가 정말 우리 사이트에 왔는지 어떻게 확인하나요?에 있습니다.
• 브라우저 화면으로 확인합니다. 개발자도구에 보이는 것은 자바스크립트가 실행된 뒤의 결과입니다. 구글 문서도 모든 봇이 자바스크립트를 실행할 수 있는 것은 아니라고 적습니다. 원본 HTML 기준으로 판정하는 이유는 답변 문장을 자바스크립트로 그리면 검색과 AI가 그 문장을 읽나요?에 있습니다.
• 점검일을 적지 않습니다. 구글은 robots.txt 를 보통 24시간까지 캐시하고, OpenAI 는 파일을 고친 뒤 검색 쪽 반영에 약 24시간이 걸릴 수 있다고 안내합니다. 고친 당일의 관측만 들고 실패로 판정하게 됩니다.

어디까지 하면 준비가 끝난 것인가요

1. 고른 주소마다 네 항목의 받은 값과 점검일이 적혀 있습니다. 조회하지 못한 항목은 빈칸이 아니라 미확인으로 적습니다. 조회하지 않은 것은 0건이 아닙니다.
2. 막혀 있는 항목마다 의도한 차단인지가 판정 칸에 적혀 있습니다.
3. 로그인이나 결제 뒤에만 보이는 내용은 점검 범위 밖으로 표시돼 있습니다.

여기까지로 확인되는 것은 공개된 주소가 정상으로 응답하고 그 페이지가 답하는 문장이 서버가 보낸 HTML 에 들어 있다는 두 가지입니다. 읽힐 수 있다는 것과 AI 답변이 우리 내용을 인용한다는 것은 다른 일이어서, 이 양식으로는 인용 여부가 확인되지 않습니다. 관측 방법은 예정 주제인 AI 답변의 언급·인용·유입은 어떻게 관측하나요에서 다룹니다.

지금 할 한 가지는 가격을 설명하는 페이지 한 개를 골라 네 항목을 적어 보는 것입니다. 한 주소만 채워도 robots.txt 를 고칠 일인지 서버 렌더링을 손볼 일인지 갈립니다.