RAG 작동 원리

정의

RAG는 검색과 생성을 결합해 AI 답변 정확성을 높이는 핵심 기술이다.

TL;DR

RAG(Retrieval-Augmented Generation)는 LLM이 답변을 생성할 때 외부 지식베이스에서 관련 문서를 먼저 검색한 뒤 그 내용을 참고해 답변을 생성하는 구조다. Perplexity, Google AI Overviews, ChatGPT Browse 모드가 이 방식으로 작동한다. 콘텐츠 작성자 입장에서는 RAG 구조가 어떤 콘텐츠를 선택하는지 이해해야 AEO 최적화가 가능하다.

RAG의 등장 배경

순수 LLM(Large Language Model)에는 두 가지 근본적인 한계가 있다. 첫 번째는 지식 단절(Knowledge Cutoff) 문제다. 학습이 완료된 시점 이후의 정보는 알지 못한다. 두 번째는 환각(Hallucination) 문제다. 학습 데이터에 없는 내용을 그럴듯하게 지어내는 경향이 있다.

2020년 Meta AI Research(Lewis et al.)가 발표한 RAG 논문은 이 두 문제를 해결하는 방법으로 검색(Retrieval)과 생성(Generation)을 결합하는 방식을 제안했다. 이후 RAG는 ChatGPT Browse, Perplexity, Google AI Overviews 같은 실시간 AI 검색 엔진의 핵심 아키텍처가 됐다.

RAG 3단계 작동 메커니즘

RAG는 크게 세 단계로 작동한다. 도서관 사서에 비유하면 이해하기 쉽다.

1단계: 검색 (Retrieval) — 사서가 관련 책을 찾는다

사용자 질문이 입력되면 시스템은 벡터 임베딩(vector embedding)으로 질문을 수치화하고, 이 벡터와 의미적으로 가장 가까운 문서 청크(chunk)를 지식베이스에서 검색한다. 단순한 키워드 매칭이 아니라 의미적 유사성(semantic similarity)을 기준으로 한다.

예를 들어 "AEO를 어떻게 시작하나요?"라는 질문에 "AEO"라는 단어가 없어도 "AI 답변 엔진 최적화 방법"을 다룬 문서가 검색될 수 있다.

2단계: 증강 (Augmentation) — 사서가 책을 펼쳐 사서에게 전달한다

검색된 문서 청크들을 LLM의 프롬프트에 컨텍스트로 추가한다. "다음 자료를 참고해 질문에 답하라"는 형태로 LLM에게 전달된다. 이 단계에서 어떤 문서가 선택되느냐가 AI 답변의 질과 인용 여부를 결정한다.

3단계: 생성 (Generation) — 사서가 책을 읽고 답변을 작성한다

LLM은 주어진 컨텍스트를 바탕으로 답변을 생성한다. 이 과정에서 인용 출처를 표시하기도 한다. Perplexity의 각주, Google AI Overviews의 출처 링크가 이 단계의 결과물이다.

답변 엔진별 RAG 활용 방식

모든 AI 답변 엔진이 동일한 RAG를 사용하는 것은 아니다. 각 플랫폼의 특성을 이해하는 것이 AEO 전략 수립에 도움이 된다.

Perplexity: 실시간 웹 검색 결과를 RAG의 검색 소스로 사용한다. 최신 콘텐츠가 유리하며, 인용 출처가 명확하게 표시된다. Perplexity 인용 최적화는 별도 항목에서 자세히 다룬다.

Google AI Overviews: Google 검색 인덱스를 기반으로 RAG를 구현한다. 전통적인 구글 SEO와 높은 연관성이 있으며, 구조화 데이터(스키마)가 콘텐츠 선택에 영향을 미친다. Google AI Overviews 최적화는 별도 항목에서 다룬다.

ChatGPT Browse / GPT-4o: 선택적으로 웹 검색을 수행한다. 기본적으로는 학습 데이터에 의존하며, Browse 모드에서만 RAG 방식으로 작동한다. ChatGPT 인용 최적화는 별도 항목에서 다룬다.

콘텐츠 작성자가 알아야 할 RAG의 함의

RAG 구조를 이해하면 왜 특정 콘텐츠 전략이 AEO에 효과적인지 이해할 수 있다.

1. 청크 단위 작성이 중요하다

RAG 시스템은 문서 전체가 아니라 청크(보통 256–512 토큰 단위) 단위로 문서를 처리한다. 각 섹션이 독립적으로도 의미 있는 답변을 포함하도록 작성해야 한다. 긴 서론 없이 핵심 내용을 앞에 배치하는 BLUF 방식이 이 이유에서도 효과적이다.

2. 명확한 답변 블록이 선택 가능성을 높인다

RAG 검색 단계에서 의미적 유사성이 높은 청크가 선택된다. 질문 형태의 소제목(H2, H3) 아래에 직접적인 답변을 배치하면, 사용자 질문과의 의미적 유사성이 높아져 선택될 가능성이 높아진다.

3. 스키마 마크업이 RAG 접근성을 높인다

구조화 데이터(JSON-LD)는 RAG 시스템이 콘텐츠의 의미와 구조를 파악하는 데 도움을 준다. FAQPage 스키마는 FAQ 섹션이 직접적인 질문-답변 쌍으로 인식되도록 한다.

4. 짧고 명확한 정의가 인용되기 쉽다

RAG가 답변 생성 시 인용하는 정의는 대개 문서의 첫 단락이나 명확하게 구분된 정의 섹션에서 온다. BLUF 패턴으로 작성된 50자 이내의 명확한 정의가 인용될 가능성이 높은 이유다.

RAG와 AEO의 관계

AEO(답변 엔진 최적화)는 사실상 RAG 시스템에 최적화하는 작업이다. AI 답변 엔진이 어떤 콘텐츠를 검색하고, 선택하고, 인용하는지 이해하면 AEO 전략이 더 명확해진다.

한국 시장 맥락

한국어 RAG 성능은 영어 대비 낮은 편이다. LLM 학습 데이터에서 한국어 비중이 낮고, 의미 검색(semantic search)에 사용되는 임베딩 모델들도 한국어 최적화가 덜 된 경우가 있다. 이는 한국어 콘텐츠 작성자에게 기회가 된다. 명확한 구조와 좋은 스키마를 갖춘 한국어 콘텐츠는 경쟁이 낮은 환경에서 AI에 인용될 가능성이 높다.

자주 묻는 질문

Q. RAG와 파인튜닝(fine-tuning)은 어떻게 다른가요? A. 파인튜닝은 모델 자체를 특정 도메인 데이터로 재학습시키는 방법이다. RAG는 모델을 변경하지 않고 외부 지식베이스에서 실시간으로 정보를 검색해 사용하는 방법이다. RAG는 최신 정보 반영이 쉽고 비용이 낮다. 파인튜닝은 특정 말투나 전문 용어에 더 잘 적응하지만, 업데이트가 어렵고 비용이 높다.

Q. 내 콘텐츠가 RAG에 선택되려면 어떻게 해야 하나요? A. 세 가지가 중요하다. 첫째, 크롤링 가능해야 한다(robots.txt 설정 확인). 둘째, 질문에 명확하게 답하는 구조여야 한다(BLUF + FAQ). 셋째, 신뢰할 수 있는 출처로 인식돼야 한다(E-E-A-T, 외부 인용). 이 세 조건이 AEO 최적화의 핵심이기도 하다.

Q. Perplexity와 ChatGPT는 같은 방식으로 RAG를 사용하나요? A. 아니다. Perplexity는 항상 실시간 웹 검색을 사용한다. ChatGPT는 기본 모드에서는 학습 데이터에만 의존하며, Browse 모드를 활성화해야 실시간 웹 검색을 수행한다. 두 플랫폼에서 인용 가능성을 높이는 전략에도 차이가 있다.

Q. RAG 시스템은 얼마나 자주 웹을 재색인하나요? A. 플랫폼마다 다르다. Perplexity는 거의 실시간으로 웹을 검색한다. Google AI Overviews는 Google의 기존 크롤링 주기(중요 사이트는 수일~수 주)를 따른다. 따라서 콘텐츠를 업데이트한 후 Perplexity보다 Google AI Overviews에 반영되는 데 더 오래 걸릴 수 있다.

관련 출처

• Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020. https://arxiv.org/abs/2005.11401
• Aggarwal, S., et al. (2024). GEO: Generative Engine Optimization. KDD 2024. https://arxiv.org/abs/2311.09735
• Semrush (2026). AI SEO Statistics. https://www.semrush.com/blog/ai-seo-statistics/