llms.txt 만들기 전 확인할 것: 구글 입장과 확인법

llms.txt는 사이트 맨 위 주소(/llms.txt)에 두는 마크다운 문서로, AI가 읽기 좋게 사이트의 소개와 대표 페이지 목록을 적어 둔 안내 파일이다. 구글은 AI 최적화 가이드에서 구글 검색은 이 파일을 무시한다고 밝혔고, 만들어도 검색 노출이나 순위에 도움도 해도 되지 않는다고 설명한다. 그러니 구글에 더 잘 보이려는 목적이라면 만들 이유가 없고, 다른 AI 서비스나 에이전트를 위해 사이트 안내서를 두고 싶을 때만 만들면 된다.

llms.txt란? 꼭 만들어야 할까

"AI 시대에는 llms.txt가 필수"라는 글을 보고 내 사이트에도 넣어야 하나 고민하는 사람이 많다. llms.txt는 새로 온 손님에게 건네는 매장 안내도와 비슷하다. 가게가 크면 안내도가 길을 줄여 주지만, 손님이 이미 간판과 길 안내판(링크와 사이트맵)으로 가게를 찾아온다면 안내도가 없어도 들어온다. 구글 검색도 이 파일 없이 색인된 페이지와 링크로 사이트를 이해한다. 다만 이 비유는 AI 서비스마다 파일을 실제로 읽는지가 다르다는 점까지 말해 주지는 않는다.

제안자는 제러미 하워드이고, llmstxt.org가 형식을 공개해 둔 관례다. 구글은 2026년 6월 15일 검색센터 업데이트 기록에 "llms.txt 파일에 대한 안내를 명확히 했다"고 남겼고, 가이드 원문은 "llms.txt 파일을 만들고 관리하는 것은 전혀 문제가 없다"고 하면서 "구글 검색은 이를 무시하므로 구글 검색의 노출이나 순위에 도움도 해도 되지 않는다"고 쓴다.

이 판단은 구글 검색에만 해당한다. 챗GPT나 클로드 같은 다른 서비스가 이 파일을 읽는지는 구글 문서가 말해 주지 않는다. 그래서 만들기 전에 "누구에게 읽히게 하려는지"를 먼저 정하는 편이 좋다.

상황	만들까
구글 검색 순위를 올리고 싶다	효과 없음. 색인과 내용 개선에 시간을 쓴다
개발 문서·API 문서 사이트라 AI 에이전트가 자주 읽는다	만들 만하다. 클라우드플레어 개발자 문서처럼 공개 사례가 있다
글이 몇 편 안 되는 블로그나 소개 사이트	선택 사항. 만들면 글이 바뀔 때마다 고쳐야 한다

llms.txt와 robots.txt 차이

두 파일은 이름이 비슷하지만 하는 일이 다르다. robots.txt는 크롤러가 어느 주소에 들어올 수 있는지를 정하는 접근 규칙이고, llms.txt는 읽을 만한 페이지를 소개하는 안내문이다. 그래서 llms.txt에 "수집하지 말라"고 적어도 AI 크롤러를 막지 못한다.

구분	robots.txt	llms.txt
역할	크롤러 접근 허용·차단	읽을 페이지 소개
형식	User-agent, Disallow 같은 규칙	제목, 요약, 링크 목록(마크다운)
구글 검색의 사용	크롤링 제어에 사용	사용하지 않음
AI 수집을 막을 수 있나	크롤러별로 막을 수 있음	막을 수 없음

구글의 AI 기능 안내에 따르면 robots.txt와 호스팅 설정에서 크롤링을 허용해야 하고, 구글의 AI 학습이나 근거 자료 활용을 제한하려면 Google-Extended를 쓴다. AI 크롤러 차단이 목적이면 llms.txt가 아니라 robots.txt의 AI 크롤러 허용·차단 설정을 고쳐야 한다. 차단 예시는 메타 크롤러 차단법에서 다뤘다.

llms.txt 만드는 법

llmstxt.org 규격에서 필수는 맨 위 제목(H1) 하나뿐이다. 그다음에 한 줄 요약(인용구), 필요하면 설명 단락, 소제목(H2)별 링크 목록을 순서대로 둔다. 링크 뒤에 콜론을 붙여 그 페이지가 무엇인지 적을 수 있고, 건너뛰어도 되는 부가 자료는 "Optional"이라는 H2에 모은다.

블로그 기준으로 쓰면 아래와 같다. 주소와 글 제목은 내 사이트에 맞게 바꾼다.

# 내 블로그 이름

> 마케팅 실무자를 위한 광고·검색 가이드 블로그입니다. 글은 한국어로 쓰고 기준일을 밝힙니다.

## 대표 가이드

- [서치콘솔 등록 방법](https://example.com/ko/blog/search-console): 소유권 확인부터 색인 요청까지
- [UTM 만드는 법](https://example.com/ko/blog/utm): 파라미터 규칙과 GA4 확인 위치

## Optional

- [전체 글 목록](https://example.com/ko/blog)

1. 메모장 같은 편집기에서 위 구조로 쓰고 이름을 llms.txt로 저장한다. 인코딩은 UTF-8로 한다.
2. 사이트 최상위 폴더에 올려 https://내도메인/llms.txt 주소로 열리게 한다. 워드프레스는 호스팅 파일 관리자에 올리거나, 올인원 SEO 플러그인의 llms.txt 생성 기능처럼 파일을 만들어 주는 플러그인을 쓴다.
3. 링크에는 지금 열리는 페이지만 넣는다. 지운 글이 남아 있으면 안내서가 오히려 틀린 정보를 준다.

llms.txt 제대로 올라갔는지 확인하는 법

주소가 열린다고 끝이 아니다. 아래 세 가지를 순서대로 본다.

1. 브라우저에서 /llms.txt 주소를 연다. 파일 내용이 그대로 보이면 성공이고, 사이트 꾸밈이 입혀진 오류 화면이나 404 문구가 보이면 파일이 올라가지 않은 것이다. 터미널에서는 curl -I 주소를 입력해 첫 줄이 200인지 본다.
2. 한글이 깨지지 않는지 본다. 응답 헤더의 Content-Type에 charset=utf-8이 있고 화면의 한글이 정상이면 된다.
3. 크롬 개발자도구의 Lighthouse에서 에이전트 브라우징 항목을 본다. 크롬 Lighthouse 안내에 따르면 이 항목은 llms.txt를 가져올 때 서버 오류가 나는지 검사한다. 서버가 404를 돌려주면 파일 제공이 선택 사항이라 실패가 아니라 해당 없음(N/A)으로 표시된다.

터미널에서 확인하는 예는 다음과 같다. 응답 첫 줄과 Content-Type 줄이 아래와 같으면 통과다.

curl -sI https://내도메인/llms.txt

HTTP/2 200
content-type: text/plain; charset=utf-8

응답 상태	Lighthouse 표시	할 일
200, 내용이 보임	서버 오류 없음	링크가 지금 열리는지 한 번 눌러 본다
404(파일 없음)	해당 없음(N/A)	안내 파일이 필요 없으면 그대로 둔다
서버 오류(5xx)	실패	호스팅 설정이나 플러그인 생성 오류를 고친다

그래서 Lighthouse에서 실패가 뜨는 경우는 파일이 없을 때가 아니라 주소가 서버 오류를 낼 때다. 이 검사는 내용이 좋은지 평가하지 않고 가져올 수 있는지만 본다.

자주 하는 실수

• 순위를 올리려고 만든다: 구글 검색은 이 파일을 무시한다. 효과를 기대하지 말고 구글 노출은 서치콘솔 색인 요청과 성능 보고서로 확인한다.
• 차단용으로 쓴다: llms.txt는 접근 규칙이 아니라서 수집을 막지 못한다. 막으려면 robots.txt를 쓴다.
• 한 번 만들고 방치한다: 삭제하거나 주소를 바꾼 글이 목록에 남으면 안내서가 틀린다. 글 구조를 바꿀 때 같이 고친다.
• PDF만 올려 두고 안내한다: 글자를 선택할 수 없는 PDF는 읽히지 않을 수 있으므로 PDF 색인 확인법부터 본다.

자주 묻는 질문

llms.txt와 llms-full.txt는 무엇이 다른가요?

llms.txt는 링크 목록 중심의 짧은 안내서이고, llms-full.txt는 문서 본문 전체를 한 파일에 담는 변형이다. 긴 문서 사이트가 아니면 llms.txt만으로 충분하다.

llms.txt 파일은 어디에 두나요?

사이트 최상위 주소(예: https://내도메인/llms.txt)에 두는 것이 기본이다. llmstxt.org 규격은 하위 경로에 둘 수도 있고, 그 파일은 자기 경로 아래 주소만 다룬다고 설명한다.

구글 AI 기능에 나오려면 어떻게 해야 하나요?

구글의 AI 기능 안내에 따르면 별도 AI 전용 파일이나 마크업은 필요 없고, 페이지가 색인되어 스니펫과 함께 검색에 나올 수 있으면 된다.