llms.txt 는 무엇을 하자는 제안인가
llms.txt 는 사이트가 AI 에이전트에게 읽히기 쉬운 안내문을 한곳에 모아 두자는 제안입니다. 2024년 9월 3일에 처음 공개됐고 2026년 8월 10일에 v2 로 개정됐습니다.
형식은 마크다운입니다. 사이트 루트의 /llms.txt 에 두거나 /docs/llms.txt 처럼 하위 경로에 두어 그 경로 아래 페이지만 설명할 수 있습니다. 규칙상 반드시 있어야 하는 것은 이름을 담은 H1 하나뿐이고, 그 아래에 한 문단짜리 요약 인용문과 ## 로 나눈 링크 목록을 덧붙입니다.
제안 문서는 이 파일이 robots.txt 와 목적이 다르다고 분명히 적어 두었습니다. robots.txt 는 자동화 도구에 어디까지 접근해도 되는지를 알리는 파일이고, llms.txt 는 에이전트가 사용자를 돕는 중에 필요할 때 꺼내 보는 자료입니다. 사이트 수집(Crawl) 허용 여부를 바꾸는 파일이 아닙니다.
검색이나 AI 답변에 나오기 위한 조건은 아닙니다
가장 자주 어긋나는 기대가 여기 있습니다. 이 파일만 올려 두면 AI 답변에 우리 사이트가 실린다는 기대입니다.
Google 검색 센터의 AI 기능 문서는 이 점을 직접 적었습니다. AI 개요(AI Overviews)와 AI 모드에 나오기 위해 새로운 기계 판독용 파일이나 AI 전용 텍스트 파일, 별도의 마크업을 만들 필요가 없다는 설명입니다. 같은 문서가 밝힌 조건은 하나입니다. 페이지가 색인(Index)되어 있고 스니펫과 함께 검색 결과에 나올 수 있는 상태여야 한다는 것입니다.
OpenAI 와 Anthropic 의 크롤러 문서도 같습니다. 두 문서가 사이트 운영자의 조작 수단으로 안내하는 것은 robots.txt 한 가지입니다. OpenAI 는 OAI-SearchBot, GPTBot, ChatGPT-User, OAI-AdsBot 을 용도별로 나누어 robots.txt 에서 따로 열고 닫으라고 안내하고, 검색 쪽은 robots.txt 를 고친 뒤 반영까지 약 24시간이 걸린다고 적었습니다. Anthropic 도 ClaudeBot, Claude-User, Claude-SearchBot 세 가지를 robots.txt 로 구분해 제어하라고 안내합니다.
두 문서 어디에도 llms.txt 를 읽는다는 설명은 없습니다. 이 파일을 두는 것과 AI 크롤러가 우리 페이지에 접근할 수 있는지는 별개의 문제입니다.
그래서 우리 사이트는 두어야 할까
파일을 두는 비용이 0 에 가까운지, 손으로 계속 관리해야 하는지가 실제 판단 기준입니다.
| 상황 | 판단 | 이유 |
|---|---|---|
| 개발자용 문서나 API 레퍼런스를 운영한다 | 둘 만하다 | 코딩 에이전트가 문서를 찾아 읽는 경로로 실제로 쓰인다 |
| 쓰는 문서 도구가 자동 생성해 준다 | 켜 두면 된다 | 손이 들지 않고 낡을 걱정도 적다 |
| 제품 소개와 블로그 위주의 마케팅 사이트다 | 급하지 않다 | 노출 조건은 수집 허용과 색인이지 이 파일이 아니다 |
| 손으로 만들어 매번 갱신해야 한다 | 미뤄도 된다 | 내용이 낡으면 잘못된 안내를 남기게 된다 |
마케팅 사이트라면 순서가 분명합니다. robots.txt 에서 검색봇과 AI 검색봇이 막혀 있지 않은지, 중요한 페이지가 색인되어 있는지, 본문이 이미지가 아닌 글자로 들어 있는지를 먼저 보는 편이 낫습니다.
만든다면 지켜야 할 최소 형식
규격은 짧습니다. H1 한 줄, 요약 인용문 한 문단, ## 로 묶은 링크 목록입니다. 각 링크에는 콜론을 붙여 설명을 덧붙일 수 있고, 덜 중요한 항목은 관례상 Optional 이라는 절에 모읍니다.
# 회사 이름
> 무엇을 하는 회사이고 이 파일이 무엇을 안내하는지 한 문단으로 적습니다.
## 문서
- [제품 소개](https://example.com/product.md): 기능과 요금 기준
- [도입 절차](https://example.com/onboarding.md): 신청부터 적용까지
## Optional
- [회사 연혁](https://example.com/about.md)제안은 본문 페이지의 마크다운 판본을 같은 주소에 .md 를 붙여 함께 제공하라고 권합니다. 링크가 HTML 페이지만 가리키면 파일을 둔 효과가 거의 없습니다.
만든 뒤 확인하는 방법
파일을 올렸다면 확인까지가 한 묶음입니다.
- 주소창에
/llms.txt를 직접 열어 200 으로 응답하는지,text/plain으로 내려오는지 봅니다. - 목록에 적은 링크를 하나씩 눌러 200 인지, 마크다운 판본이 실제로 있는지 확인합니다.
- robots.txt 에서 그 경로가 막혀 있지 않은지 봅니다. 목록에 적었어도 수집이 막혀 있으면 읽히지 않습니다.
- 제품이 바뀔 때 이 파일도 함께 고칠 담당과 주기를 정합니다. 갱신 담당이 없으면 두지 않는 편이 낫습니다.
- AI 학습과 근거 활용을 따로 제한하려면 Google-Extended 처럼 각 사업자가 문서로 밝힌 수단을 확인합니다.
싹 SAG 진단이 robots.txt 와 색인 상태를 가장 먼저 보여 주는 것도 같은 이유입니다. 새 파일을 늘리기 전에 이미 있는 통로가 열려 있는지부터 확인하는 편이 빠릅니다.
카카오톡 상담
텔레그램 상담