llms.txt 작성 가이드

llms.txt란 무엇인가

llms.txt는 사이트 루트(/llms.txt)에 배치하는 마크다운 형식 파일로, LLM(대형 언어 모델)이 사이트의 목적과 핵심 콘텐츠를 효율적으로 파악하도록 돕는다. 2024년 9월 Jeremy Howard(fast.ai 창립자)가 제안한 emerging 표준이다.

아직 확정된 업계 표준이 아니다. 현재 llmstxt.org를 통해 사양이 공개되어 있으며, 일부 AI 시스템과 LLM이 이 파일을 인식하기 시작했지만 모든 AI가 읽는다는 보장은 없다. 도입 비용이 낮고 잠재 가치가 있으므로 선제적으로 적용할 만하다.

llms.txt가 해결하는 문제

AI가 사이트를 크롤링하면 수백 개의 페이지 중 무엇이 핵심인지 판단하기 어렵다. 홈페이지, 이용약관, 오류 페이지, 내부 링크까지 모두 동등하게 수집된다. llms.txt는 LLM에게 "이 사이트에서 가장 중요한 콘텐츠는 여기 있다"고 직접 안내하는 역할을 한다.

사이트맵(sitemap.xml)이 페이지 목록을 제공한다면, llms.txt는 각 페이지의 의미와 중요도를 설명한다. 구조화 데이터(JSON-LD)가 개별 페이지의 의미를 정의한다면, llms.txt는 사이트 전체의 맥락을 제공한다.

robots.txt · sitemap.xml · llms.txt 비교

세 파일은 경쟁 관계가 아니라 보완 관계다. robots.txt로 AI 봇 접근을 허용하고, sitemap.xml로 페이지 목록을 제공하고, llms.txt로 핵심 콘텐츠를 안내하는 구조가 이상적이다.

llms.txt 표준 구조

llmstxt.org에서 정의한 표준 구조는 다음과 같다. H1 제목만 필수이며 나머지는 권장 사항이다.

# 사이트 이름

> 사이트 한 줄 설명 (BLUF 패턴으로 핵심 목적 명시)

## About
사이트 목적, 운영 주체, 주요 대상 독자, 라이선스 등

## Docs (또는 Index, Blog 등 섹션명 자유)
- [페이지 제목](https://example.com/page-url): 한 줄 설명
- [페이지 제목](https://example.com/page-url): 한 줄 설명

## Optional
- [부가 정보 페이지](https://example.com/misc): 이 섹션은 LLM이 생략 가능

각 항목 설명:

• H1: 사이트 또는 프로젝트명
• 블록쿼트(>): 사이트의 핵심 목적을 한 문장으로
• H2 섹션: 콘텐츠 카테고리. 섹션명은 자유롭게 정의
• 링크 목록: URL + 한 줄 설명. LLM이 각 페이지 목적을 파악하는 근거가 됨
• Optional 섹션: 중요도가 낮은 보조 콘텐츠. LLM이 컨텍스트 한계 시 생략 가능

Alleo 위키 적용 예시

실제 Alleo 위키(alleo.kroffle.com)에 적용한 llms.txt 예시:

# Alleo 검색 최적화 위키

> Alleo는 AEO(Answer Engine Optimization)와 GEO(Generative Engine Optimization) 실행을 돕는 한국어 검색 최적화 위키다. ChatGPT, Perplexity, Google AI Overviews 등 AI 답변 엔진에 콘텐츠가 인용되는 방법을 다룬다.

## About
- 운영: ALLEO (kroffle.com)
- 대상: 마케터, SEO 담당자, 스타트업 창업자
- 라이선스: 콘텐츠 인용 시 출처 명시 권장

## 핵심 개념
- [AEO란?](https://alleo.kroffle.com/wiki/what-is-aeo): AI 답변 엔진 최적화의 정의와 필요성
- [GEO란?](https://alleo.kroffle.com/wiki/what-is-geo): 생성형 AI 최적화의 정의와 Princeton 연구 기반 전략
- [GEO 마스터 가이드](https://alleo.kroffle.com/wiki/geo-master-guide): 5대 영역 체크리스트

## 기술 설정
- [robots.txt AI 봇 허용](https://alleo.kroffle.com/wiki/robots-txt-ai-bot): AI 크롤러 허용을 위한 robots.txt 설정법
- [llms.txt 작성 가이드](https://alleo.kroffle.com/wiki/llms-txt): 이 문서
- [JSON-LD 기본](https://alleo.kroffle.com/wiki/json-ld-basics): 구조화 데이터 삽입법

## Optional
- [AI Visibility Score](https://alleo.kroffle.com/wiki/ai-visibility-score): AI 답변 노출 측정 지표
- [AI Share of Voice](https://alleo.kroffle.com/wiki/ai-share-of-voice): 경쟁사 대비 AI 인용 점유율

적용 5단계

1단계: 핵심 콘텐츠 목록화

사이트에서 LLM이 반드시 알아야 할 페이지를 10~30개 선별한다. 모든 페이지를 나열하면 오히려 효과가 떨어진다.

2단계: llms.txt 작성

위 표준 구조에 따라 마크다운으로 작성한다. 각 링크에 한 줄 설명을 반드시 포함한다.

3단계: 사이트 루트에 배치

https://yourdomain.com/llms.txt로 접근 가능해야 한다. 정적 파일로 서빙하거나, Next.js 등 프레임워크에서 라우트로 생성한다.

// Next.js App Router: app/llms.txt/route.ts
export async function GET() {
  const content = `# My Site\n\n> 사이트 설명...`;
  return new Response(content, {
    headers: { 'Content-Type': 'text/plain' },
  });
}

4단계: 빌드 시 자동 생성 (선택)

콘텐츠가 자주 업데이트되는 사이트는 빌드 파이프라인에서 자동으로 llms.txt를 갱신하도록 설정한다.

5단계: llms-full.txt 추가 (선택)

핵심 콘텐츠 본문을 마크다운으로 직접 포함하는 llms-full.txt를 별도 생성할 수 있다. LLM이 URL을 방문하지 않고도 콘텐츠를 파악할 수 있어 더 효율적이지만, 파일 크기가 커진다.

llms.txt vs llms-full.txt

검증 방법

배포 후 다음 방법으로 확인한다.

1. 브라우저에서 https://yourdomain.com/llms.txt 직접 접속해 콘텐츠 확인
2. Claude나 ChatGPT에 "llmstxt.org의 가이드라인에 따라 [도메인]의 llms.txt를 읽고 사이트 목적을 설명해줘"라고 질문해 LLM 인식 여부 테스트
3. robots.txt가 /llms.txt를 차단하지 않는지 확인

한국 시장 적용

한국 사이트의 llms.txt 도입율은 2026년 현재 매우 낮다. 선점 효과를 기대할 수 있다.

• 언어: 한국어로 작성 가능하지만, 글로벌 AI 시스템 대상이라면 영어+한국어 병기를 권장한다.
• Next.js/Vercel 환경: app/llms.txt/route.ts로 동적 생성하거나 public/llms.txt에 정적 파일 배치.
• WordPress: 플러그인 없이 루트에 파일 업로드하거나, functions.php에서 가상 경로 생성.
• Cafe24: FTP로 루트 디렉토리에 llms.txt 업로드.

자주 묻는 질문

모든 LLM이 llms.txt를 읽나요? 아니다. 2026년 현재 일부 AI 시스템만 llms.txt를 인식한다. llmstxt.org에서 제안한 emerging convention이며 아직 업계 표준으로 확정되지 않았다. 하지만 파일 하나 배치하는 비용이 낮기 때문에 도입을 권장한다.

sitemap.xml과 어떻게 다른가요? sitemap.xml은 페이지 URL 목록을 XML 형식으로 제공해 검색 엔진이 모든 페이지를 발견하도록 돕는다. llms.txt는 핵심 페이지를 선별해 마크다운으로 설명함으로써 LLM이 사이트의 맥락을 빠르게 파악하도록 돕는다. 역할이 다르므로 둘 다 운영하는 것이 좋다.

작은 블로그도 만들어야 하나요? 만들면 좋지만 우선순위는 낮다. robots.txt AI 봇 허용, 구조화 데이터(JSON-LD) 적용을 먼저 하고, llms.txt는 그다음 단계로 도입하는 것을 권장한다.

robots.txt도 없는 사이트인데 llms.txt 먼저 만들어도 되나요? robots.txt가 없으면 기본적으로 모든 봇 접근이 허용된 것으로 해석된다. 따라서 robots.txt 없이도 llms.txt를 배치할 수 있다. 다만 AI 봇을 명시적으로 허용하고 싶다면 robots.txt를 함께 만드는 것을 권장한다.

관련 출처

• llms.txt 공식 사양: https://llmstxt.org/
• Jeremy Howard 원본 제안 (2024년 9월): https://llmstxt.org/