Applebot-Extended 완전 가이드 — Apple Intelligence 학습 통제 토큰
Applebot-Extended란
Applebot-Extended는 Google-Extended와 동일한 구조의 robots.txt 정책 토큰이다. 독립적인 크롤러가 아니며, 별도의 User-Agent 문자열도 없다. Applebot(Apple의 기본 크롤러)이 수집한 콘텐츠를 Apple의 생성형 AI 모델 학습에 사용할 수 있는지 여부를 통제하는 신호다.
TL;DR
Applebot-Extended = Apple Intelligence(생성형 AI) 학습 동의 여부를 통제하는 토큰. 봇이 아니므로 IP 차단 무의미. 차단해도 Siri·Spotlight 인덱스와 검색 노출에는 영향 없음. Google-Extended와 구조·효과가 동일.
Applebot vs Applebot-Extended
| 항목 | Applebot | Applebot-Extended |
|---|---|---|
| 종류 | 독립 크롤러 | robots.txt 정책 토큰 |
| 자체 User-Agent | ✅ 있음 | ❌ 없음 (Applebot UA 재사용) |
| 주 용도 | Siri·Spotlight·Safari 검색 인덱스, Apple 파운데이션 모델 학습 | 생성형 AI 모델 학습 동의 통제 |
| 차단 효과 | Siri·Spotlight 인덱스에서 제외 | 생성형 AI 학습만 제한, 인덱스 유지 |
| 설정 방법 | User-agent: Applebot | User-agent: Applebot-Extended |
Apple 공식 문서(support.apple.com/en-us/119829, 2026년 6월 확인)는 "Applebot-Extended는 웹페이지를 직접 크롤하지 않으며, 크롤된 데이터를 어떻게 활용할지만 통제한다"고 명시한다.
Applebot-Extended가 통제하는 범위
Apple 공식 문서에 따르면 Applebot-Extended는 다음을 통제한다:
- Apple 생성형 AI 모델 학습: Applebot이 수집한 콘텐츠를 Apple Intelligence 등 생성형 AI 기능 학습에 사용하는 것
차단해도 영향 없는 것:
- Applebot의 일반 크롤링 (계속 진행됨)
- Siri, Spotlight, Safari 검색 결과 노출
- Siri Knowledge 기능에의 포함
robots.txt 예시 3종
시나리오 A. 완전 허용 (기본 상태)
# 별도 설정 불필요.
# Applebot이 평소대로 크롤하고 Apple Intelligence 학습에도 사용됨.
시나리오 B. Apple Intelligence 학습만 차단 (Siri·Spotlight 노출 유지)
# Apple 생성형 AI 모델 학습 차단
User-agent: Applebot-Extended
Disallow: /
# Applebot은 계속 크롤 → Siri·Spotlight 노출 유지
시나리오 C. 특정 경로만 차단
# /private/ 경로만 Apple Intelligence 학습 제외
User-agent: Applebot-Extended
Disallow: /private/
Google-Extended와의 비교
두 토큰은 구조와 동작 방식이 거의 동일하다. 차이는 통제하는 회사와 AI 제품뿐이다.
| 항목 | Google-Extended | Applebot-Extended |
|---|---|---|
| 운영사 | Apple | |
| 통제 대상 AI | Gemini 모델, Vertex AI | Apple Intelligence |
| 차단 시 검색 영향 | 없음 | 없음 |
| 토큰 구조 | 동일 | 동일 |
| 공식 문서 | Google Search Central | Apple Support |
두 토큰을 함께 차단하면 Google과 Apple의 생성형 AI 학습에서 모두 제외된다.
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
권장 시나리오
대부분의 한국 SMB: 시나리오 B 권장. Siri·Spotlight 노출에 영향 없이 Apple Intelligence 학습 데이터 제공을 제한한다. 한국에서 Apple Intelligence 서비스 범위는 변동이 있으므로 Apple 공식 발표를 주기적으로 확인할 것을 권장한다.
Apple 생태계 노출 최우선: 시나리오 A. Applebot 자체 차단만 피하면 Siri·Spotlight는 정상 동작한다. Applebot-Extended 허용은 추가 선택사항이다.
검증 방법
Applebot-Extended는 별도 User-Agent가 없으므로 서버 로그에서 직접 식별할 수 없다. Applebot 일반 트래픽은 서버 로그에서 Applebot 키워드로 확인 가능하다.
# 서버 로그에서 Applebot 트래픽 확인
grep -i "Applebot" /var/log/nginx/access.log | awk '{print $4, $7}' | tail -20
자주 묻는 질문
Q. Applebot-Extended를 IP로 차단할 수 있나요?
A. 의미 없다. Applebot-Extended는 별도 봇이 아니라 정책 토큰이다. Applebot IP를 차단하면 Siri·Spotlight 인덱스 전체가 영향을 받는다. Applebot-Extended만 선별 IP 차단하는 방법은 없다.
Q. 한국에서 Apple Intelligence가 활성화되어 있나요?
A. Apple Intelligence의 한국어 지원 및 출시 범위는 Apple 공식 발표 기준으로 확인해야 한다. 이 글은 Apple 공식 문서에 명시된 기능과 동작 방식만 기술하며, 특정 지역 서비스 가용성에 대한 보장은 하지 않는다.
Q. Applebot-Extended를 차단하면 Siri에서 사라지나요?
A. 그렇지 않다. Apple 공식 문서는 "Applebot-Extended 차단이 표준 Applebot 크롤링과 검색 결과 포함을 막지 않는다"고 명시한다. Siri·Spotlight 결과는 Applebot이 담당하며, Applebot-Extended와 별개다.
참고
- Apple 공식 Applebot 문서: https://support.apple.com/en-us/119829 (2026년 6월 확인)