AI / LLM

RAG 구현 가이드 — 검색 증강 생성의 실전 적용

외부 데이터로 LLM 응답을 강화하는 RAG 패턴 구현 방법을 정리한다. 임베딩 생성, 벡터 DB 선택(Pinecone·Chroma·pgvector), 청킹 전략, 리랭킹과 평가 메트릭을 포함한다.

2026-02-12

한 줄 요약: RAG(검색 증강 생성)는 LLM이 외부 지식을 참조해 정확한 답변을 생성하는 아키텍처로, 할루시네이션을 줄이고 최신 정보를 반영하는 가장 실용적인 방법이다.

파인튜닝 없이 LLM에 도메인 지식을 주입하는 가장 효율적인 방법이 RAG다. 문서를 벡터로 변환하고, 질문과 관련된 문서를 검색해 LLM 프롬프트에 넣는 구조다. 이 가이드는 RAG 파이프라인의 설계부터 프로덕션 최적화까지 정리한다.

RAG란?

RAG(Retrieval-Augmented Generation)은 LLM이 답변할 때 외부 데이터를 검색해서 참조하는 패턴입니다. 모델을 재학습하지 않고도 최신 정보나 내부 문서 기반 답변이 가능해집니다.

RAG 파이프라인은 크게 3단계로 구성된다. 1) 인덱싱: 문서를 청크로 분할하고, 각 청크를 임베딩 모델로 벡터로 변환해 벡터 DB에 저장한다. 2) 검색: 사용자 질문을 벡터로 변환하고, 코사인 유사도로 관련 청크를 검색한다. 3) 생성: 검색된 청크를 LLM 프롬프트의 컨텍스트로 넣어 답변을 생성한다.

LangChain으로 기본 RAG 구현
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings
from langchain_chroma import Chroma

# 1. 문서 분할
splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
chunks = splitter.split_documents(documents)

# 2. 벡터 DB에 저장
vectorstore = Chroma.from_documents(chunks, OpenAIEmbeddings())

# 3. 검색 + 생성
retriever = vectorstore.as_retriever(search_kwargs={"k": 5})
chain = RetrievalQA.from_chain_type(llm=ChatOpenAI(), retriever=retriever)
result = chain.invoke("API 인증은 어떻게 구현하나요?")

청크 크기는 RAG 성능에 큰 영향을 미친다. 너무 작으면(200토큰 이하) 문맥이 손실되고, 너무 크면(2000토큰 이상) 노이즈가 섞인다. 일반적으로 500~1000 토큰이 최적이며, 코드 문서는 함수 단위, 기술 문서는 섹션 단위로 분할하는 것이 효과적이다.

기본 아키텍처

RAG의 흐름: 문서 → 청킹 → 임베딩 → 벡터 DB 저장 → 질문 시 유사 문서 검색 → LLM에 컨텍스트로 전달 → 답변 생성. 벡터 DB로는 Pinecone, Weaviate, Chroma 등을 사용합니다.

실전 팁

RAG 품질을 높이는 핵심: 청킹 전략(너무 크면 노이즈, 너무 작으면 맥락 손실), 하이브리드 검색(벡터 + 키워드), 리랭킹(검색 결과 재정렬).

벡터 DB 선택 가이드

Pinecone: 완전 관리형, 스케일링 자동화, 필터링 강력. 프로덕션 SaaS에 적합. Chroma: 로컬 개발에 최적, 임베디드 모드로 별도 서버 없이 사용 가능. pgvector: PostgreSQL 확장, 기존 DB 인프라에 벡터 검색 추가. Weaviate: 하이브리드 검색(벡터+키워드) 기본 지원.

RAG 성능 최적화 전략

하이브리드 검색: 벡터 유사도만으로는 키워드 매칭이 약하다. BM25(키워드 검색) + 벡터 검색을 결합하면 정확도가 15~30% 향상된다. 리랭킹: 초기 검색 결과를 Cross-Encoder 모델로 재정렬하면 상위 문서의 관련성이 높아진다. 쿼리 확장: 사용자 질문을 LLM으로 재작성하거나, 여러 각도의 쿼리를 생성해 검색 커버리지를 넓힌다.

주의: RAG는 검색 품질에 전적으로 의존한다. '가비지 인, 가비지 아웃' — 소스 문서가 부정확하거나 오래됐으면 LLM 답변도 부정확하다. 문서 최신성 관리와 인덱스 갱신 주기를 반드시 설계해야 한다.

RAG검색증강벡터DB임베딩LLM