Noindex (노인덱스)

정의

noindex는 웹 페이지가 검색엔진 인덱스(색인)에 등록되지 않도록 지시하는 크롤링 제어 메커니즘이다. robots meta 태그 또는 HTTP 응답 헤더를 통해 전달된다.

noindex는 크롤링과 인덱싱을 분리한다. 봇은 페이지를 계속 방문(크롤링)하면서 noindex 지시를 읽고, 그 페이지를 검색 결과에 표시하지 않는다. robots.txt로 페이지 접근을 완전히 차단하면 noindex 지시 자체를 읽지 못하므로 결과가 다르다. 자세히는 크롤링 vs 인덱싱 참조.

요약

noindex 핵심: ①<meta name="robots" content="noindex"/> → <head> 삽입 → ②봇이 크롤링은 하되 인덱싱 제외 → ③robots.txt로 차단하면 noindex를 읽지 못해 효과 없음 → ④적합 대상: 감사 페이지·로그인·내부 검색 결과·파라미터 페이지 → ⑤페이지 완전 삭제는 410 응답 코드가 더 확실하다.

noindex 적합 대상 7가지

1. 감사·완료 페이지

결제 완료, 폼 제출 완료 같은 트랜잭션 후속 페이지. 검색에 노출되면 무의미한 사용자 경험을 제공하고 크롤 예산을 낭비한다.

2. 로그인·회원가입 페이지

인증 필요 서비스의 로그인/회원가입 페이지는 비인증 방문자에게 가치 없다. noindex로 크롤 예산을 실제 콘텐츠 페이지에 집중한다.

3. 내부 검색 결과 페이지

/search?q=키워드 형태의 사이트 내 검색 결과 페이지. 무한한 URL 조합이 발생해 크롤 예산을 소진하고, 구글은 이런 페이지를 품질이 낮은 자동 생성 페이지로 평가할 수 있다.

4. URL 파라미터 중복 페이지

캐노니컬 태그로 처리했음에도 크롤링이 계속되는 파라미터 변형 URL은 noindex를 추가 적용할 수 있다. 자세히는 URL 파라미터 참조.

5. 얇은 콘텐츠 페이지

카테고리 필터가 만들어내는 수백 개의 얇은 목록 페이지, 태그 아카이브 페이지 등. 고유 가치가 없는 페이지는 noindex해 전체 사이트의 인덱싱 품질을 높인다. 자세히는 콘텐츠 가지치기 참조.

6. 스테이징·테스트 환경

프로덕션 배포 전 staging.example.com 등 테스트 서버가 실수로 구글에 인덱싱되지 않도록 noindex 처리한다.

7. 개인정보·내부 문서

공개하지 않아야 하는 내부 문서가 실수로 크롤 가능한 경우. 다만 이 경우는 인증 보호가 우선이고 noindex는 보조 수단이다.

noindex 구현 방법

HTML meta 태그 (가장 일반적)

<head>
  <meta name="robots" content="noindex" />
</head>

크롤링도 막으려면:

<meta name="robots" content="noindex, nofollow" />

특정 봇만 제어:

<meta name="googlebot" content="noindex" />

HTTP 헤더 (비-HTML 리소스에 활용)

PDF, 이미지, JavaScript 파일 등:

X-Robots-Tag: noindex

noindex vs nofollow 차이

noindex: 이 페이지를 인덱스에서 제외. 페이지 내 링크는 여전히 따라감.
nofollow: 이 페이지 내 링크를 따라가지 않음. 페이지 자체는 인덱싱될 수 있음.
noindex, nofollow: 인덱싱 제외 + 링크 미추적 동시 적용.

noindex와 robots.txt 차이

[COMPARISON_TABLE: noindex vs robots.txt 차이]

noindex (meta/헤더)

봇 방문: ✅ 허용
인덱싱: ❌ 제외
링크 추적: 별도 설정 가능
PageRank: 전달 가능 (nofollow 없으면)
적합 상황: 접근은 허용하되 검색 노출 제외

robots.txt Disallow

봇 방문: ❌ 차단
인덱싱: 회색 지대 (차단되면 noindex 읽지 못함)
링크 추적: ❌ 차단
PageRank: 전달 안 됨
적합 상황: 크롤 예산 보호, 민감한 리소스 완전 차단

중요: robots.txt로 차단된 페이지는 noindex 지시를 읽지 못한다. 인덱싱만 제외하려면 반드시 크롤링은 허용한 상태에서 noindex meta 태그를 사용해야 한다.

자세히는 robots.txt와 AI 봇 참조.

noindex 제거 후 재인덱싱

noindex를 제거한 후 구글이 페이지를 재인덱싱하는 데는 시간이 걸린다. 빠르게 처리하려면:

Google Search Console 내 "URL 검사 → 색인 생성 요청"을 수행한다
XML 사이트맵에 해당 URL을 포함해 제출한다
내부 링크에서 해당 페이지로 링크가 있는지 확인한다

자세히는 인덱싱 커버리지 참조.

한국 시장 적용

네이버 검색 noindex 지원

네이버 검색봇(Yeti)은 <meta name="robots" content="noindex"/>를 지원한다. 그러나 네이버 검색 노출을 제어하는 더 확실한 방법은 네이버 서치어드바이저에서 URL 차단 기능을 사용하는 것이다.

한국 이커머스 noindex 사례

한국 이커머스 사이트에서 흔한 noindex 적용 사례:

정렬 필터 URL (?sort=price, ?sort=latest)
장바구니·주문 완료 페이지
회원 전용 마이페이지
상품 재고 없음 임시 페이지 (재입고 예정이면 noindex, 영구 단종이면 410)

CMS별 구현

WordPress에서 Yoast SEO 또는 RankMath 플러그인의 "검색 노출" 설정으로 페이지별 noindex를 설정한다. Next.js는 generateMetadata()에서 robots: { index: false }로 설정한다.

자주 묻는 질문

Q. noindex를 설정한 페이지는 바로 검색에서 사라지나요?
A. 아니다. 구글이 다음에 해당 페이지를 크롤링할 때 noindex를 읽고 나서야 인덱스에서 제거한다. 이 과정은 며칠에서 수주가 걸릴 수 있다. 빠른 제거가 필요하면 Google Search Console의 "URL 삭제" 기능을 임시 조치로 사용하고, 근본적으로는 noindex 또는 410 응답을 유지해야 한다.

Q. 중요한 페이지에 실수로 noindex를 설정하면 어떻게 되나요?
A. 구글이 다음 크롤링 시 인덱스에서 제거한다. 발견 즉시 noindex를 제거하고 Google Search Console에서 재색인을 요청한다. 기존 순위 회복에는 수주가 걸릴 수 있다. 배포 전 스테이징에서 noindex 실수를 방지하는 QA 체크리스트를 유지하는 것이 중요하다.

Q. noindex 페이지에서 다른 페이지로의 링크도 무시되나요?
A. noindex만 설정하면 링크는 여전히 추적된다(PageRank가 전달될 수 있음). 링크 추적도 막으려면 noindex, nofollow를 함께 사용한다. 단, 대부분의 noindex 대상 페이지(감사 페이지, 로그인 페이지)에서 외부 링크가 없으므로 실제로는 noindex 단독 사용이 일반적이다.

Q. 페이지를 아예 없애려면 noindex보다 더 좋은 방법이 있나요?
A. 페이지를 영구적으로 삭제한다면 410(Gone) HTTP 상태 코드가 가장 확실하다. 구글은 410을 보고 해당 URL이 영구적으로 사라졌음을 인식하고 인덱스에서 빠르게 제거한다. noindex는 페이지가 살아있지만 검색에 노출하지 않을 때, 410은 페이지 자체를 삭제할 때 사용한다.

Q. noindex와 캐노니컬 태그를 같은 페이지에 함께 써도 되나요?
A. 권장하지 않는다. 캐노니컬은 "이 URL을 대표로 처리해달라"는 인덱싱 요청이고, noindex는 "인덱싱하지 말라"는 요청이므로 서로 모순된다. 구글은 이 경우 noindex를 우선 처리하는 경향이 있지만, 혼란을 주어 예상치 못한 결과가 나올 수 있다. 한 페이지에는 둘 중 하나만 사용한다.