Screaming Frog
최종 업데이트:
도구 소개
Screaming Frog는 웹사이트를 크롤링해 기술적 SEO 문제를 발견하는 데스크톱 크롤러 도구다.
한 줄 요약
Screaming Frog SEO Spider는 웹사이트를 직접 크롤링해 깨진 링크, 중복 콘텐츠, 메타태그 오류 등 기술적 SEO 문제를 일괄 탐지하는 데스크톱 도구다. 500 URL까지 무료로 사용할 수 있어 소규모 사이트에도 접근 장벽이 낮다. 무료(500 URL 제한) 또는 £259/년(무제한)으로 이용할 수 있다.
개요
Screaming Frog는 웹사이트를 크롤링해 기술적 SEO 문제를 발견하는 데스크톱 크롤러 도구다.
2010년 영국 에이전시 Screaming Frog가 개발한 SEO Spider는 기술적 SEO 감사(audit)의 업계 표준 도구로 자리 잡았다. 서버 사이드에서 실행되는 클라우드 기반 도구와 달리 사용자의 PC에서 직접 크롤링하기 때문에 방화벽 내부 스테이징 환경이나 인증이 필요한 페이지도 분석할 수 있다. Windows, macOS, Ubuntu를 모두 지원한다.
주요 기능
깨진 링크·리다이렉트 탐지
404 오류, 301·302 리다이렉트 체인, 리다이렉트 루프를 일괄 탐지한다. 내부 링크와 외부 링크를 모두 검사하며, 깨진 링크의 발견 위치(소스 URL)까지 함께 리포트한다.
메타태그 일괄 분석
타이틀 태그, 메타 디스크립션, H1·H2 태그를 페이지별로 추출한다. 중복, 누락, 글자 수 초과 여부를 필터링해 대규모 사이트의 메타데이터를 체계적으로 정비할 수 있다.
중복 콘텐츠 탐지
동일하거나 유사한 콘텐츠를 가진 URL을 식별한다. Canonical 태그 설정 오류와 URL 파라미터로 발생하는 중복 페이지 문제를 빠르게 파악한다.
robots.txt 및 Sitemap 검증
robots.txt 규칙을 해석해 차단된 URL 목록을 확인하고, XML Sitemap과 실제 크롤링 결과를 대조해 색인 누락 원인을 파악한다.
JavaScript 렌더링 크롤링
내장 크롬 렌더러를 사용해 SPA(Single Page Application)와 JS 기반 콘텐츠를 렌더링 후 크롤링한다. JS로 동적으로 생성되는 콘텐츠의 색인 가능 여부를 확인하는 데 필수적이다.
Core Web Vitals 연동
Google PageSpeed Insights API와 연동해 크롤링 결과에 CWV 데이터를 추가한다. Lighthouse 점수와 함께 페이지별 성능 데이터를 한 번에 내보낼 수 있다.
플랜별 주요 차이
| 플랜 | 가격 | URL 제한 | 주요 특징 |
|---|---|---|---|
| 무료 | 무료 | 500 URL | 소규모 사이트·체험용 |
| 유료 라이선스 | £259/년 | 무제한 | JS 렌더링, API 연동, 스케줄 크롤링 |
라이선스는 1년 단위로 갱신되며 한 번에 최대 5개 기기에서 사용할 수 있다. £259는 부가세 별도 금액이다.
AEO·SEO 관점에서의 Screaming Frog 활용
색인 상태 정비
Google이 페이지를 색인하지 못하면 AI Overviews의 인용 대상에서도 제외된다. Screaming Frog로 noindex 태그, Canonical 오류, 크롤링 차단 설정을 정기적으로 점검해 색인 가능한 페이지 수를 최대화하는 것이 AEO의 전제 조건이다.
구조화 데이터 검증
Custom Extraction 기능으로 페이지 내 구조화 데이터(JSON-LD, Microdata)를 추출하고 스키마 마크업이 올바르게 적용되어 있는지 확인한다. FAQ, HowTo, Article 스키마는 AI 답변 생성 시 참조 빈도가 높다.
사이트 아키텍처 최적화
내부 링크 구조를 시각화해 클릭 뎁스(Click Depth)가 깊은 페이지를 파악하고 링크 재배치 우선순위를 설정한다. 얕은 클릭 뎁스를 가진 페이지는 크롤 예산(Crawl Budget) 관점에서 유리하다.
한국 시장에서의 활용
서버 위치와 관계없이 국내 사이트를 직접 크롤링하므로 한국 서버 기반 사이트도 동일하게 분석할 수 있다. 네이버 검색 최적화에도 기술적 SEO 기반(색인, 중복 콘텐츠, 구조화 데이터)이 동일하게 적용된다.
자주 묻는 질문
Q. 무료 버전으로 실무에 활용할 수 있나요? A. 500 URL 이하의 소규모 사이트라면 무료 버전으로 충분하다. 500 URL을 초과하는 사이트는 유료 라이선스(£259/년)가 필요하다. 대부분의 실무자는 크롤링 규모와 API 연동 기능을 위해 유료 라이선스를 사용한다.
Q. Screaming Frog와 Ahrefs Site Audit의 차이는 무엇인가요? A. Screaming Frog는 로컬 환경에서 실행해 스테이징 서버나 인증 필요 페이지도 크롤링할 수 있고 데이터 커스터마이징 자유도가 높다. Ahrefs Site Audit은 클라우드 기반으로 스케줄 크롤링과 팀 협업에 편리하다. 두 도구를 병행하는 실무자도 많다.
Q. 얼마나 자주 크롤링해야 하나요? A. 콘텐츠 업데이트가 잦은 사이트는 월 1회, 안정적인 사이트는 분기 1회를 권장한다. 대규모 리뉴얼이나 마이그레이션 전후에는 반드시 크롤링 감사를 실행해야 한다.
관련 출처
- Screaming Frog 공식 사이트: https://www.screamingfrog.co.uk/seo-spider/
- Screaming Frog (2024). SEO Spider User Guide. https://www.screamingfrog.co.uk/seo-spider/user-guide/
- Google (2024). How Google Search works: Crawling and indexing. https://developers.google.com/search/docs/fundamentals/how-search-works