크롤 뎁스 (Crawl Depth)

정의

크롤 뎁스(Crawl Depth) 또는 클릭 깊이(Click Depth)는 웹사이트 홈페이지(깊이 0)에서 특정 페이지에 도달하기까지 필요한 최소 클릭 수를 의미한다.

홈페이지에서 링크를 따라 1번 클릭하면 깊이 1, 2번이면 깊이 2다. 구글봇을 포함한 검색엔진 크롤러는 홈에서부터 링크를 따라 탐색하므로, 깊이가 깊어질수록 봇이 해당 페이지에 도달하기 어려워진다. 또한 페이지랭크는 링크를 통해 전달되므로, 홈에서 멀수록 권위도 줄어든다.

요약

크롤 뎁스 핵심: ①홈 = 깊이 0, 1클릭 = 깊이 1 → ②권장 최대 3–4깊이 → ③5+ 깊이 페이지는 색인 위험 → ④Screaming Frog Crawl Depth 리포트로 현황 진단 → ⑤개선법: 사이트맵 명시 + 헤더/푸터 링크 + 카테고리 구조 단순화 + 내부 링크 보강.

크롤 뎁스 측정 방법

기본 계산

홈페이지 (깊이 0)
└── 카테고리 페이지 (깊이 1)
    └── 서브카테고리 페이지 (깊이 2)
        └── 개별 포스트/상품 (깊이 3)
            └── 관련 글/옵션 페이지 (깊이 4)

진단 도구

Screaming Frog: 사이트 전체를 크롤한 뒤 "Crawl Depth" 컬럼에서 각 페이지의 깊이를 확인할 수 있다. 깊이 5+ 페이지가 중요한 콘텐츠라면 즉시 구조 개선이 필요하다.

Ahrefs Site Audit: 사이트 감사 기능에서 클릭 깊이별 페이지 분포를 시각화한다.

권장 크롤 뎁스

구글의 John Mueller는 "홈에서 3–4클릭 이내에 중요한 페이지가 있어야 한다"고 여러 차례 권고했다.

깊이	페이지 예시	권고
0	홈페이지	최고 권위
1	주요 카테고리	이상적
2	서브카테고리	이상적
3	개별 콘텐츠/상품	양호
4	연관 콘텐츠	허용 범위
5+	매우 깊은 페이지	색인 위험

크롤 뎁스의 SEO 영향

1. 인덱싱 우선순위

구글봇은 크롤 버짓이 소진되면 깊은 페이지까지 도달하지 못하고 크롤을 종료한다. 중요한 페이지가 깊이 6이라면 구글이 해당 페이지를 발견하지 못해 색인되지 않을 수 있다. 자세히는 인덱싱 커버리지 진단 참조.

2. 페이지랭크 전달 효율

페이지랭크는 내부 링크를 통해 전달된다. 링크를 통과할 때마다 전달 권위가 감소한다. 홈에서 5단계 떨어진 페이지는 홈의 권위를 매우 적게 받는다. 자세히는 페이지랭크 참조.

3. 크롤 버짓 낭비

깊이가 깊을수록 봇이 해당 페이지에 도달하기 위해 여러 중간 페이지를 거쳐야 한다. 이는 크롤 버짓 낭비로 이어진다. 자세히는 크롤 버짓 참조.

4. AI 봇 발견 가능성

GPTBot, ClaudeBot 등 AI 크롤러도 링크를 따라 탐색한다. 깊이가 깊은 페이지는 AI 봇이 발견하지 못해 AI 답변 학습 데이터에 포함되지 않을 수 있다. 자세히는 robots.txt에 AI 봇 허용하는 방법 참조.

크롤 뎁스 줄이는 5가지 방법

1. XML 사이트맵에 모든 중요 페이지 명시

사이트맵에 포함된 URL은 구글봇이 크롤 깊이와 관계없이 직접 발견할 수 있다. 깊이 5+ 페이지도 사이트맵에 포함되면 인덱싱 가능성이 높아진다. 단, 사이트맵은 링크 권위를 전달하지는 않으므로 구조 개선도 병행해야 한다.

2. 헤더·글로벌 내비게이션에 핵심 페이지 링크

모든 페이지의 헤더 메뉴에 포함된 페이지는 어디서든 1클릭으로 도달할 수 있어 깊이가 1이 된다. 핵심 카테고리·랜딩 페이지는 글로벌 내비게이션에 포함하는 것이 유리하다. 자세히는 사이트 아키텍처 참조.

3. 푸터 링크 활용

헤더에 포함하기 어려운 부가 페이지(서비스 소개, 파트너, 주요 가이드)를 푸터에 링크하면 전체 사이트에서 접근 가능해져 깊이가 1이 된다.

4. 내부 링크 보강

기존 콘텐츠에서 깊이가 깊은 페이지로 내부 링크를 추가하면 해당 페이지의 실효 깊이가 감소한다. 자세히는 내부 링크 전략 참조.

5. 카테고리 계층 단순화

4–5단계 카테고리 구조를 2–3단계로 단순화한다. 불필요한 서브카테고리를 병합하거나 제거하면 하위 페이지의 깊이가 전반적으로 낮아진다.

페이지네이션과 크롤 뎁스

페이지네이션은 크롤 뎁스 문제를 심화시키는 주요 원인이다.

/blog/           (깊이 1 — 블로그 목록 1페이지)
/blog/page/2/    (깊이 2 — 블로그 목록 2페이지)
/blog/page/3/    (깊이 3 — 블로그 목록 3페이지)
   ...
/blog/page/20/   (깊이 20 — 블로그 목록 20페이지)

20페이지 블로그 목록이 있다면 20페이지에만 있는 글은 깊이가 20이 넘는다. 이 글들은 구글봇이 발견하지 못할 가능성이 높다.

대응 방법:

XML 사이트맵에 모든 개별 포스트 URL을 직접 포함
카테고리·태그로 분류해 각 카테고리 페이지에서 관련 글에 직접 링크
관련 글·추천 글 위젯으로 깊은 페이지를 다른 페이지에서 직접 링크

자세히는 페이지네이션 참조.

한국 시장 적용

카페24·아임웹의 크롤 뎁스

카페24와 아임웹은 기본적으로 상품 카테고리 구조가 자동으로 생성된다. 상품 수가 많은 쇼핑몰에서는 상품이 깊이 4–5에 위치하는 경우가 많다. 이 경우 XML 사이트맵을 적극 활용하고, 메인 페이지에서 인기 상품·신상품으로 직접 링크하는 것이 효과적이다.

워드프레스 카테고리 구조

워드프레스는 카테고리·태그·아카이브 페이지가 자동 생성되어 복잡한 깊이 구조를 만들 수 있다. 카테고리를 3단계 이하로 유지하고, 자주 업데이트되는 콘텐츠는 메인 페이지 또는 상위 카테고리에서 직접 링크하는 것이 권장된다.

한국 사이트의 흔한 깊이 문제

모바일 메뉴에서만 접근 가능한 페이지를 데스크탑 HTML 소스에는 숨기는 경우, 구글봇이 해당 링크를 발견하지 못해 깊이가 의도보다 깊어질 수 있다. 반응형 디자인에서 모바일·데스크탑 모두 동일한 HTML 구조를 사용하는 것이 안전하다.

자주 묻는 질문

Q. 사이트맵에 있는 페이지는 크롤 뎁스가 관계없나요?
A. 사이트맵에 URL을 포함하면 구글봇이 직접 발견할 수 있어 색인 가능성이 높아진다. 그러나 사이트맵은 링크 권위(페이지랭크)를 전달하지 않는다. 색인을 위해서는 사이트맵을, 권위 전달을 위해서는 내부 링크 구조 개선을 병행해야 한다.

Q. 크롤 뎁스 3과 4 중 어느 기준을 따라야 하나요?
A. 중요도에 따라 다르게 적용한다. 핵심 랜딩 페이지·Pillar 콘텐츠는 깊이 1–2를 목표로 한다. 개별 포스트·상품은 깊이 3이면 충분하다. 깊이 4도 허용 범위지만, 5 이상은 구조 개선이 권장된다.

Q. 크롤 뎁스가 줄면 바로 순위가 오르나요?
A. 직접적이고 즉각적인 효과보다는 색인 커버리지 개선과 페이지랭크 전달 효율 향상이 먼저 나타난다. 이전에 미색인되었던 페이지가 색인되면서 해당 페이지의 랭킹이 개선되는 간접 효과가 수주~수개월에 걸쳐 나타난다.

Q. 모든 페이지가 깊이 3 이하여야 한다는 규칙이 있나요?
A. 구글의 공식 규칙은 아니다. "3–4클릭"은 John Mueller의 권고 사항이며 절대 기준은 아니다. 대형 쇼핑몰이나 수만 페이지의 콘텐츠 사이트에서는 깊이 5–6도 불가피하다. 이 경우 XML 사이트맵과 내부 링크로 보완한다.

Q. 페이지네이션 깊이는 어떻게 관리해야 하나요?
A. 페이지네이션 URL 자체의 깊이보다 페이지네이션 내의 개별 콘텐츠(포스트, 상품)의 접근성이 더 중요하다. 모든 포스트를 XML 사이트맵에 직접 포함하고, 카테고리/태그 페이지가 포스트로 직접 링크하도록 구조를 설계한다.