RAG — 모델을 재훈련하지 않고 \"참고자료\"를 붙여주는 방법

파인튜닝 vs RAG — 근본적 차이

파인튜닝: 모델의 가중치를 바꾼다 (머릿속 지식을 바꿈)
RAG:     모델의 가중치는 안 바꾼다 (참고자료를 줄 뿐)

비유:

파인튜닝 = 의사한테 새로운 질병을 가르침 (교육, 시간 오래 걸림)
RAG      = 의사한테 환자 차트를 건네줌 (참고, 즉시)

작동 원리

사용자: "우리 회사 휴가 정책이 어떻게 돼?"

[1단계 — 검색 (Retrieval)]
  → 회사 문서 DB에서 "휴가 정책" 관련 문서를 검색
  → "연차 15일, 반차 가능, 3일 전 신청..." 문서를 찾음

[2단계 — 프롬프트 조립]
  → "아래 참고자료를 바탕으로 질문에 답해줘.
     참고자료: 연차 15일, 반차 가능, 3일 전 신청...
     질문: 우리 회사 휴가 정책이 어떻게 돼?"

[3단계 — 생성 (Generation)]
  → model(프롬프트) → "우리 회사 연차는 15일이고, 반차도 가능합니다. 3일 전에 신청해야 합니다."

모델의 가중치는 1도 안 바뀌었다. 그냥 프롬프트에 참고자료를 끼워넣은 것뿐이다.

가장 간단한 RAG 코드

# 이게 RAG의 본질이다. 진짜 이게 전부.

from transformers import pipeline

# 1. 모델 (가중치 변경 없음)
qa = pipeline("question-answering")

# 2. 외부 문서 (검색 결과라고 가정)
context = """우리 회사 휴가 정책:

- 연차: 15일

- 반차: 가능

- 신청: 3일 전까지

- 승인: 팀장"""

# 3. 질문 + 참고자료를 합쳐서 모델에 전달
result = qa(question="연차가 며칠이야?", context=context)
print(result)
# → {'answer': '15일', 'score': 0.98}

이게 RAG다. 모델을 훈련시키지 않았다. 참고자료를 같이 넘겼을 뿐이다.

실전 RAG — 문서가 많을 때

문서가 수천 개면 전부 프롬프트에 넣을 수 없다. 그래서 벡터 검색으로 관련 문서만 골라낸다:

# pip install sentence-transformers chromadb
from sentence_transformers import SentenceTransformer
import chromadb

# 1. 임베딩 모델로 문서를 벡터로 변환
embedder = SentenceTransformer("all-MiniLM-L6-v2")

# 2. 벡터 DB에 문서 저장
client = chromadb.Client()
collection = client.create_collection("company_docs")

docs = [
    "연차는 15일이다. 반차 사용 가능.",
    "출장비는 1일 10만원 한도.",
    "재택근무는 주 2회까지 가능.",
]
collection.add(
    documents=docs,
    ids=[f"doc_{i}" for i in range(len(docs))]
)

# 3. 질문과 가장 비슷한 문서 검색
results = collection.query(query_texts=["휴가가 며칠이야?"], n_results=1)
print(results["documents"])
# → [['연차는 15일이다. 반차 사용 가능.']]

# 4. 검색된 문서를 프롬프트에 첨부 → 모델에 전달

파인튜닝 vs LoRA vs RAG

RAG의 가장 큰 장점: 데이터가 바뀌면 문서만 업데이트하면 된다. 모델을 재훈련할 필요가 없다.