검색엔진은 사이트를 어떻게 발견하고 색인하나요?

발견·수집·색인·결과 제공은 무엇이 다른가요?

네 단계는 각각 통과 조건이 다르고, 앞 단계를 통과해도 다음 단계가 따라오지 않습니다. 그래서 "검색에 안 나온다"는 한 문장은 서로 다른 네 가지 상태를 가리킵니다.

Google 검색 센터는 검색이 수집(crawling)·색인(indexing)·결과 제공(serving) 세 단계로 동작한다고 설명하고, 수집 단계 안에서 주소를 알아내는 과정을 따로 URL 발견(URL discovery)이라고 부릅니다. 모든 웹페이지의 중앙 등록처가 없기 때문에 검색엔진이 알고 있는 주소 목록을 계속 채워 나가야 한다는 것입니다. 그래서 실무에서 막히는 지점은 네 군데입니다.

• 발견: 주소의 존재를 알아냅니다. 이미 방문한 페이지, 알고 있는 페이지에서 뽑아낸 링크, 제출한 사이트맵이 경로입니다.
• 수집: 그 주소를 실제로 방문해 내용을 받아 옵니다. 이때 Google은 최신 Chrome으로 페이지를 렌더링하고 자바스크립트를 실행한다고 설명합니다.
• 색인: 받아 온 내용을 분석하고 대표 주소를 골라 데이터베이스에 저장합니다.
• 결과 제공: 검색어가 들어오면 색인에서 맞는 페이지를 골라 보여 줍니다.

SEO가 기술·콘텐츠·연결 세 축으로 이뤄진다는 이야기는 SEO란 무엇인가에 정리해 두었습니다. 이 글은 그 가운데 검색엔진 쪽에서 무슨 일이 일어나는지를 네 단계로 나눠 봅니다.

앞 단계를 통과해도 다음이 보장되지 않습니다

Google 문서는 단계마다 보장이 없다고 적습니다. 발견한 주소를 모두 수집하지는 않고, 처리한 페이지를 모두 색인하지도 않습니다. 색인된 뒤에도 내용이 검색어와 관련이 없거나 품질이 낮으면 결과에 보이지 않을 수 있다고 설명합니다.

네이버도 같은 구분을 둡니다. 서치어드바이저는 웹마스터도구의 수집요청을 설명하면서 "수집성공이 되더라도 네이버의 검색결과에 노출된다는 보장은 없습니다"라고 안내합니다.

Search Console은 이 차이를 단계마다 다른 문구로 보여 줍니다.

색인 보고서는 두 상태를 이렇게 가릅니다. Discovered - currently not indexed는 발견은 했지만 아직 수집하지 않은 상태이고, 사이트에 부담이 될 것으로 보여 수집을 미룬 경우가 일반적이라고 설명합니다. Crawled - currently not indexed는 수집은 했으나 색인하지 않은 상태이고, 앞으로 색인될 수도 있고 안 될 수도 있다고 적습니다.

한 페이지를 따라가 보면

사무실 이전 청소 서비스 페이지를 어제 새로 올렸다고 가정합니다. 같은 "검색에 안 나온다"가 네 번에 걸쳐 다른 뜻이 됩니다.

1. 어느 메뉴에서도 이 페이지로 가는 링크가 없고 사이트맵에도 들어 있지 않습니다. 발견 자체가 되지 않은 상태이고, URL 검사에 넣으면 주소를 본 적 없다고 나옵니다.
2. 서비스 목록 페이지에 링크를 걸었습니다. 발견은 되지만 방문 시점은 검색엔진이 정합니다. 네이버는 수집요청을 넣어도 우선순위에 따라 최소 1일에서 몇 주가 걸릴 수 있다고 안내합니다.
3. 방문은 받았는데 본문이 "최고의 품질로 만족을 드립니다" 한 줄입니다. 읽히기는 했으나 저장되지 않는 상태가 될 수 있습니다.
4. 색인은 됐는데 "사무실 이전 청소 비용"으로 검색하면 보이지 않습니다. 이것은 앞 세 단계가 아니라 결과 제공 단계의 문제이고, 손볼 대상은 접근 설정이 아니라 페이지에 적힌 내용입니다.

1번과 3번은 둘 다 "색인이 안 됐다"로 뭉쳐 부르기 쉽지만 할 일이 다릅니다. 1번은 링크나 사이트맵을 만드는 일이고, 3번은 본문을 쓰는 일입니다.

이 구분으로 할 수 있는 일과 할 수 없는 일

할 수 있는 일은 다음에 열어 볼 화면을 좁히는 것입니다. 수집에서 막혔다면 접근 쪽을 봅니다. 차단 설정은 robots.txt 점검 체크리스트, 주소 목록은 sitemap.xml 오류 원인과 해결 방법에 따로 정리했습니다. 색인에서 막혔다면 본문과 중복 여부를 봅니다.

할 수 없는 일은 세 가지입니다.

• 단계 통과를 일정으로 약속하기. 어떤 사이트를 얼마나 자주, 몇 페이지씩 수집할지는 검색엔진이 알고리즘으로 정합니다. 네이버는 수집요청 기능이 "수집 시스템에게 수집 대상 URL을 전달하는 도우미의 역할만을 담당"한다고 적습니다.
• 상태 문구로 원인까지 확정하기. 문구는 어디서 멈췄는지를 알려 주지만 왜 멈췄는지는 따로 확인해야 합니다.
• 보고서를 서로 바꿔 쓰기. Google은 색인 보고서가 특정 페이지의 색인 상태를 조사하는 용도가 아니며 개별 페이지는 URL 검사 도구로 확인한다고 명시합니다.

관측이 비어 있는 것을 사실이 없는 것으로 읽지 않는 것도 중요합니다. URL 검사의 참조 페이지 항목에 대해 Google은 값이 없어도 참조하는 페이지가 없다는 뜻은 아니라고 적습니다.

다음에 확인할 한 가지

중요한 페이지 하나를 골라 Search Console의 URL 검사에 넣고 발견·수집·색인 세 구역을 차례로 읽어 봅니다. 어느 구역에서 멈췄는지가 다음에 할 일을 결정합니다. 이 글은 단계를 가르는 데까지이고, 단계마다 무엇을 고치는지는 각 항목 글에서 다룹니다.