RAG

RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 AI 가 답하기 전에 관련 자료를 먼저 찾아 읽고, 그 자료를 근거로 답하게 하는 방법이에요. 외워서 푸는 시험 대신, 참고서를 펴 놓고 푸는 오픈북 시험과 같아요.

RAG 는 어떻게 동작해요?

1. 미리 준비 — 회사 자료를 작은 조각으로 자르고, 조각마다 뜻을 숫자로 바꿔(임베딩) 저장해 둬요.
2. 찾기 — 질문이 오면 질문도 숫자로 바꿔, 뜻이 가장 가까운 조각을 몇 개 골라요.
3. 붙이기 — 고른 조각을 질문과 함께 프롬프트에 넣어요. "아래 자료만 근거로 답해"라는 지시도 같이 넣어요.
4. 답하기 — LLM이 붙여 준 자료를 읽고 답을 써요.

정말 답이 달라지는지 직접 만들어 봤어요

2026년 10월 29일, 퓨쳐인프라 요금 페이지에서 문장 5개를 뽑아 아주 작은 자료집을 만들었어요. 그리고 이렇게 물었어요.

퓨쳐인프라 Nano 서버를 한 달 내내 켜 두면 얼마예요? 트래픽은 얼마나 쓸 수 있어요?

먼저 임베딩 모델(baai/bge-m3)로 질문과 문장 5개의 가까운 정도를 쟀어요. 1에 가까울수록 뜻이 비슷해요.

위 두 문장을 붙여서 다시 물었어요. 결과는 이랬어요.

자료 없이 물으면 모델은 추측하거나 모른다고 해요. 자료를 붙이면 둘 다 요금표와 같은 값을 말했어요. 붙인 자료 때문에 보낸 토큰은 29개에서 143개로 늘었어요. 그런데 요금은 오히려 줄었어요. 자료 없이 길게 추측한 답은 3원, 자료를 보고 짧게 답한 쪽은 1원이었어요(Gemini 기준).

RAG 를 만들려면 무엇이 필요해요?

파인튜닝과 뭐가 달라요?

둘은 경쟁 관계가 아니에요. 지식은 RAG 로, 말투는 파인튜닝으로 나눠 쓰는 경우가 많아요.

자주 하는 오해

• RAG 를 쓰면 할루시네이션이 없어진다 — 줄어들 뿐이에요. 엉뚱한 조각을 찾아오면 그걸 근거로 틀릴 수 있어요(할루시네이션).
• 문서를 통째로 넣으면 된다 — 한 번에 읽는 양(컨텍스트 윈도우)에 한도가 있고, 길수록 값도 올라요. 필요한 조각만 골라 넣는 게 RAG 의 핵심이에요.
• 벡터 DB 가 꼭 있어야 한다 — 자료가 적으면 키워드 검색만으로도 돼요. 뜻 검색과 키워드 검색을 섞으면 더 잘 찾는 경우가 많아요.

퓨쳐인프라에서는

세컨브레인은 AI 가 기억할 자료를 저장하고, 뜻(벡터)과 글자(키워드) 둘 다로 찾아 주는 저장소예요. Claude·ChatGPT 같은 AI 를 붙이면 필요한 기록만 골라 읽어요. RAG 의 "자료 저장·검색" 부분을 맡는 셈이에요.

답을 쓰는 LLM 과 임베딩 모델은 AI 라우터에서 키 하나로 불러요. 2026년 10월 29일 목록에 임베딩 모델이 36개 있었어요. 사용료는 충전 지갑에서 쓴 만큼 빠지고, 응답마다 원화 요금이 같이 와요.

자주 묻는 질문

RAG 는 무엇의 줄임말이에요?

Retrieval-Augmented Generation 이에요. 찾기(Retrieval)로 보강한(Augmented) 생성(Generation)이라는 뜻이에요.

RAG 챗봇을 만들려면 개발을 해야 하나요?

기본 흐름은 짧은 코드로도 돼요. 자료 정리·자르기·검색 품질을 맞추는 데 시간이 더 들어요.

RAG 에 넣을 자료는 어떻게 골라요?

고객이 자주 묻는 것부터 넣으세요. 날짜가 지난 자료는 빼거나 날짜를 같이 적어 두는 게 좋아요.

RAG 를 쓰면 비용이 많이 늘어요?

붙인 자료만큼 입력 토큰이 늘어요. 다만 답이 짧아지면 출력 토큰이 줄어 전체 요금은 비슷하거나 줄 수 있어요. 이번 예시에서는 3원이 1원이 됐어요.

관련 용어

임베딩 · LLM · 할루시네이션 · 파인튜닝 · 컨텍스트 윈도우 · MCP