로그 파일 분석 — AI 봇 크롤 패턴 추적

정의

로그 파일 분석은 서버 액세스 로그에서 봇 크롤링 패턴을 파악하는 기술 SEO 작업이다.

AI 봇 크롤 확인이 중요한 이유

robots.txt에서 AI 봇을 허용해도, 실제로 봇이 방문하는지는 로그에서만 확인할 수 있다. CDN/WAF가 봇을 차단하거나, 봇이 아직 사이트를 발견하지 못한 경우가 있다.

확인해야 할 AI 봇 User-Agent

GPTBot        → OpenAI 학습
OAI-SearchBot → ChatGPT Search
ClaudeBot     → Anthropic 학습
PerplexityBot → Perplexity 검색
Bytespider    → ByteDance AI
Google-Extended → (Googlebot UA 내 하위 토큰이므로 직접 구분 어려움)

로그 분석 방법

기본 명령어 (Linux/Mac)

# GPTBot 방문 확인
grep "GPTBot" /var/log/nginx/access.log | wc -l

# AI 봇별 방문 횟수
grep -oP '(GPTBot|ClaudeBot|PerplexityBot|OAI-SearchBot|Bytespider)' access.log | sort | uniq -c | sort -rn

# 특정 봇이 크롤링한 URL 목록
grep "ClaudeBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

도구 활용

• Screaming Frog Log Analyser: GUI 기반, 봇별 필터링
• Kibana/ELK: 대규모 로그 실시간 모니터링
• Google BigQuery: Cloud 로그 분석

AI 봇 크롤 패턴에서 확인할 것

1. 방문 여부: 봇이 실제로 오는가?
2. 빈도: 얼마나 자주 오는가?
3. 경로: 어떤 페이지를 크롤링하는가?
4. 응답 코드: 200(정상), 403(차단), 503(서버 오류)?
5. JS 렌더링: 봇이 JS 리소스를 요청하는가?

관련 출처

• Screaming Frog. SEO Log File Analyser. https://www.screamingfrog.co.uk/log-file-analyser/