📕체크리스트⭐️ Pillar
AI 봇별 robots.txt 매트릭스 — 종합 비교 및 설정 가이드
최종 업데이트:
체크리스트 목표
주요 AI 답변 엔진과 LLM 학습 봇 6종의 정책·robots.txt 설정·권장 시나리오를 한 화면에서 비교하고, 시나리오별로 즉시 복사 가능한 robots.txt 템플릿을 제공하는 통합 참조 가이드다.
💡
Summary
AI 봇은 크게 두 종류다: ① 독립 크롤러 (GPTBot·ClaudeBot·PerplexityBot·CCBot) — robots.txt로 차단 가능. ② 정책 토큰 (Google-Extended·Applebot-Extended) — 봇이 아니므로 IP 차단 불가, robots.txt 토큰 설정만 가능. 한국 SMB 권장 설정: 학습용 봇(GPTBot·ClaudeBot·Google-Extended·Applebot-Extended·CCBot)은 차단, 답변 인용·검색 봇(ChatGPT-User·OAI-SearchBot·Claude-User·PerplexityBot)은 허용.
진척도0%
0 / 10 항목 완료운영 체크리스트
체크리스트는 브라우저를 새로고침하면 초기화될 수 있습니다.
이 페이지를 참조하는 항목
관련 항목
📘개념Pillar
Anthropic 봇 완전 가이드 (ClaudeBot · Claude-User · Claude-SearchBot)
Anthropic은 학습(ClaudeBot)·사용자 브라우징(Claude-User)·검색 인덱스(Claude-SearchBot) 3종의 봇을 운영하며, robots.txt로 각각 독립적으로 통제할 수 있고, Anthropic은 robots.txt를 공식적으로 준수한다고 명시하고 있다.
📘개념Pillar
Applebot-Extended 완전 가이드 — Apple Intelligence 학습 통제 토큰
Applebot-Extended는 독립적인 크롤러가 아닌 robots.txt 정책 토큰으로, Applebot이 수집한 콘텐츠를 Apple Intelligence 등 Apple의 생성형 AI 모델 학습에 사용할지 여부를 통제하며, 차단해도 Applebot 크롤링과 Siri·Spotlight 인덱스에는 영향이 없다.
📘개념Pillar
CCBot (Common Crawl) 완전 가이드
CCBot은 비영리 단체 Common Crawl이 운영하는 오픈 웹 아카이브 크롤러로, 수집 데이터는 공개 배포되어 다수 AI 연구자와 기업이 LLM 학습에 활용해 왔으며(학술 논문 기반), robots.txt로 미래 수집을 차단할 수 있으나 기존 수집 데이터에는 영향이 없다.
📘개념Pillar
Google-Extended 완전 가이드 — 봇이 아닌 정책 토큰
Google-Extended는 독립적인 크롤러가 아니라 robots.txt 제어 토큰으로, Googlebot이 이미 수집한 데이터를 Gemini 모델 학습 및 Vertex AI 그라운딩에 사용할지 여부만 통제하며, Google 검색 노출이나 순위에는 영향을 주지 않는다.
📙How-to
llms.txt 작성 가이드
llms.txt는 사이트 콘텐츠를 LLM이 효율적으로 이해하도록 돕는 마크다운 형식 메타데이터 파일로, 사이트 루트(/)에 배치하는 AI 친화적 사이트 가이드다.
📘개념Pillar
OpenAI 봇 완전 가이드 (GPTBot · ChatGPT-User · OAI-SearchBot · OAI-AdsBot)
OpenAI는 학습(GPTBot)·사용자 브라우징(ChatGPT-User)·검색 인덱스(OAI-SearchBot)·광고 검증(OAI-AdsBot) 4가지 목적별로 분리된 봇을 운영하며, robots.txt로 각각 독립적으로 통제할 수 있다.
📘개념Pillar
Perplexity 봇 완전 가이드 (PerplexityBot · Perplexity-User)
Perplexity는 검색 인덱스용 PerplexityBot과 사용자 요청 기반 Perplexity-User 2종의 봇을 운영하며, PerplexityBot은 robots.txt를 준수하지만 Perplexity-User는 robots.txt를 일반적으로 무시한다고 공식 문서에 명시되어 있다.
📙How-toPillar
AI Citation Tracking 방법론
AI Citation Tracking은 ChatGPT·Perplexity·Claude·Gemini 등 AI 답변 엔진이 자사 콘텐츠를 인용하는 횟수와 맥락을 체계적으로 측정하는 방법론으로, AEO·GEO 성과 검증의 기본 인프라다.
📙How-to
robots.txt에 AI 봇 허용하는 방법
AI 봇 허용은 GPTBot·ClaudeBot·PerplexityBot 등 주요 AI 크롤러의 사이트 접근을 robots.txt에서 명시해 생성형 AI 답변 인용에 자사 콘텐츠를 노출시키는 기술 설정이다.
이런 항목도 있어요
📙How-to
robots.txt에 AI 봇 허용하는 방법
AI 봇 허용은 GPTBot·ClaudeBot·PerplexityBot 등 주요 AI 크롤러의 사이트 접근을 robots.txt에서 명시해 생성형 AI 답변 인용에 자사 콘텐츠를 노출시키는 기술 설정이다.
📘개념Pillar
Anthropic 봇 완전 가이드 (ClaudeBot · Claude-User · Claude-SearchBot)
Anthropic은 학습(ClaudeBot)·사용자 브라우징(Claude-User)·검색 인덱스(Claude-SearchBot) 3종의 봇을 운영하며, robots.txt로 각각 독립적으로 통제할 수 있고, Anthropic은 robots.txt를 공식적으로 준수한다고 명시하고 있다.
📘개념Pillar
Applebot-Extended 완전 가이드 — Apple Intelligence 학습 통제 토큰
Applebot-Extended는 독립적인 크롤러가 아닌 robots.txt 정책 토큰으로, Applebot이 수집한 콘텐츠를 Apple Intelligence 등 Apple의 생성형 AI 모델 학습에 사용할지 여부를 통제하며, 차단해도 Applebot 크롤링과 Siri·Spotlight 인덱스에는 영향이 없다.
📘개념Pillar
Google-Extended 완전 가이드 — 봇이 아닌 정책 토큰
Google-Extended는 독립적인 크롤러가 아니라 robots.txt 제어 토큰으로, Googlebot이 이미 수집한 데이터를 Gemini 모델 학습 및 Vertex AI 그라운딩에 사용할지 여부만 통제하며, Google 검색 노출이나 순위에는 영향을 주지 않는다.
이 페이지가 도움이 됐나요?