Google-Extended 완전 가이드 — 봇이 아닌 정책 토큰
Google-Extended란
Google-Extended는 많은 사람들이 오해하는 개념이다. 봇이 아니다. 독자적인 User-Agent 문자열도, 별도의 크롤러도 없다. Google-Extended는 robots.txt에 기재하는 **정책 토큰(control token)**으로, Googlebot이 이미 수집한 콘텐츠를 Google의 AI 제품 학습에 사용할 수 있는지 여부만 통제한다.
이 구분이 중요한 이유: Google-Extended를 차단하더라도 Googlebot의 크롤링 자체는 계속된다. Google 검색 결과 순위나 노출에도 영향이 없다.
TL;DR
Google-Extended = Gemini 모델 학습 + Vertex AI 그라운딩 사용 동의 여부를 통제하는 robots.txt 토큰. 봇이 아니므로 별도 IP 차단은 의미 없다. 차단해도 Google 검색·AI Overviews 노출에는 영향 없다.
봇 vs 토큰 — 결정적 차이
| 항목 | 일반 AI 봇 (GPTBot 등) | Google-Extended |
|---|---|---|
| 종류 | 독립 크롤러 | robots.txt 정책 토큰 |
| 자체 User-Agent | ✅ 있음 | ❌ 없음 (Googlebot UA 재사용) |
| IP 범위 | 봇별 공개 | Googlebot IP 범위와 동일 |
| 차단 방법 | robots.txt 또는 IP 차단 | robots.txt 토큰 설정만 |
| 차단 효과 | 크롤링 자체를 막음 | 크롤링은 유지, 학습 사용만 제한 |
Google-Extended가 통제하는 범위
Google 공식 문서(developers.google.com/search/docs/crawling-indexing/google-common-crawlers, 2026년 4월 업데이트)에 따르면, Google-Extended는 다음 두 가지 사용을 통제한다:
- Gemini 모델 학습: Google이 수집한 사이트 콘텐츠를 Gemini 계열 AI 모델 학습 데이터로 사용하는 것
- Vertex AI 그라운딩: Vertex AI 기반 서비스에서 사이트 콘텐츠를 답변 근거(grounding)로 활용하는 것
Google 공식 문서는 명시적으로 다음을 밝히고 있다:
"Google-Extended는 사이트가 Google 검색에 포함되는 것에 영향을 주지 않으며, Google 검색의 순위 신호로도 사용되지 않습니다."
Google 크롤러 역할 분리
Google은 다양한 크롤러를 운영하며 각각 목적이 다르다.
| 크롤러 / 토큰 | 종류 | 주 용도 |
|---|---|---|
| Googlebot | 크롤러 | Google 검색, Discover, 이미지, 뉴스 등 |
| Googlebot-Image | 크롤러 | Google 이미지 검색 |
| Google-CloudVertexBot | 크롤러 | Vertex AI Agents 크롤링 |
| Google-Extended | 토큰 | Gemini 학습·Vertex AI 그라운딩 동의 |
Google-Extended를 차단하더라도 Googlebot, Googlebot-Image 등 다른 크롤러의 동작은 그대로 유지된다.
AI Overviews와 Google-Extended의 관계
많은 웹마스터가 "Google-Extended를 차단하면 AI Overviews에서 사라지나?"라고 묻는다. Google 공식 문서는 이에 대해 명시적인 설명을 하지 않는다. 그러나 AI Overviews는 Google 검색 인덱스를 기반으로 동작하며, 인덱스는 Googlebot이 담당한다. Google-Extended 토큰은 Googlebot의 크롤링에 영향을 주지 않으므로, AI Overviews 노출에 직접 영향을 준다고 보기 어렵다.
⚠️ 주의 Google은 Google-Extended와 AI Overviews의 관계를 공식적으로 명확히 밝히지 않았다. 위 내용은 공식 문서의 범위 안에서 합리적으로 해석한 것이다.
robots.txt 예시 3종
시나리오 A. 완전 허용 (기본 상태 — 아무것도 안 해도 됨)
# 별도 설정 불필요.
# Googlebot은 평소대로 크롤하고 Gemini 학습에도 사용됨.
시나리오 B. Gemini 학습만 차단 (Google 검색·AI Overviews 노출 유지)
# Gemini 학습 및 Vertex AI 그라운딩 차단
User-agent: Google-Extended
Disallow: /
# Googlebot은 계속 크롤 → 검색 노출 유지
시나리오 C. 특정 경로만 Gemini 학습 차단
# /private/ 경로만 Gemini 학습 제외
User-agent: Google-Extended
Disallow: /private/
# 나머지 경로는 Gemini 학습에도 사용 허용
권장 시나리오
대부분의 한국 SMB: 시나리오 B 권장. Google 검색 노출에는 영향이 없으면서 콘텐츠가 Gemini 학습에 무제한으로 사용되는 것을 제한한다.
Google 검색 노출이 최우선인 경우: 시나리오 A 또는 B 모두 동일한 효과. Google-Extended는 검색 순위에 영향이 없다.
전략적 AI 학습 기여: 시나리오 A. 양질의 한국어 콘텐츠를 Gemini 학습에 기여하는 것이 장기적으로 AI 답변에서 권위 있는 출처로 인정받는 데 유리할 수 있다는 업계 관찰이 있다.
검증 방법
Google-Extended는 별도 User-Agent가 없으므로 서버 로그에서 직접 식별할 수 없다. 설정 적용 여부는 Google의 robots.txt 테스트 도구나 Google Search Console로 확인한다.
# Google Search Console → URL 검사 → robots.txt 규칙 확인
# 또는 Google Search Central의 robots.txt 테스트 도구 활용
자주 묻는 질문
Q. Google-Extended를 IP로 차단할 수 있나요?
A. 의미 없다. Google-Extended는 별도 봇이 아니라 정책 토큰이다. Googlebot IP를 차단하면 Googlebot 크롤링 전체가 막혀 Google 검색에서 사라진다. Google-Extended만 선별 IP 차단하는 방법은 없다.
Q. Google-Extended 차단이 AI Overviews 노출에 영향을 주나요?
A. Google 공식 문서는 "Google 검색 포함과 순위에 영향이 없다"고 명시한다. AI Overviews는 검색 인덱스 기반이므로 Google-Extended 차단이 AI Overviews 노출에 직접 영향을 준다는 근거는 현재로서는 없다.
Q. Google-Extended와 Applebot-Extended는 같은 방식인가요?
A. 구조적으로 동일하다. 두 토큰 모두 크롤러가 아닌 robots.txt 정책 토큰이며, 각 회사의 AI 모델 학습 사용 여부를 통제한다. 설정 방법도 동일한 패턴이다.
Q. Google-Extended를 차단하면 Bard/Gemini 답변에서 사라지나요?
A. Google 공식 문서는 이에 대해 명시적으로 밝히지 않는다. Gemini의 실시간 웹 검색 기능은 Googlebot 인덱스를 기반으로 하며, Google-Extended는 이 채널과 직접 연결되지 않는다.
참고
- Google 공식 Common Crawlers 문서: https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers (2026년 4월 업데이트, 2026년 6월 확인)