RAG 구축 가이드: 사내 문서 검색과 답변 검수
사내 문서를 검색해 출처와 함께 답하는 RAG의 수집, 권한, 검색과 평가 과정을 설명합니다.
RAG(검색 증강 생성)는 질문에 맞는 사내 문서를 찾아 답변의 근거로 제공하는 구조입니다. 휴가 규정, 고객 계약, 과거 상담처럼 출처와 적용 조건을 확인해야 하는 업무에 적합합니다. 저장한 대화를 검색에 연결하면 이전 상담도 참조할 수 있습니다. 검색할 자료와 권한·갱신 경로를 갖추는 것이 출발점입니다.
원문 수집
- 본문·제목·버전·권한
색인 저장
- 청크 분할 → 임베딩
- 검색 저장소
허용 문서 검색
- 사용자 확인·권한 필터
- 벡터·키워드 혼합검색
문맥 구성
- 리랭킹
- 허용된 본문·출처
답변 확인
- 근거에 따른 답변
- 인용·버전 대조
앞의 두 단계는 문서를 색인할 때, 뒤의 세 단계는 질문이 들어올 때 실행됩니다.
이 글의 규정·질문·코드는 구축 원리를 보여주는 가상 예시입니다. “연차는 누구에게 신청하나요?”라는 질문이 어떤 문서를 거쳐 어떤 결과가 되는지 단계별로 연결합니다.
1. 문서 수집: 본문과 출처를 함께 가져오기
PDF는 페이지별 텍스트를 추출하고, 위키는 제목·섹션·원문 링크를 함께 가져옵니다. 스캔 PDF는 OCR 결과의 표·숫자·문장 순서를 확인합니다. 추출된 문자열에 “제외 대상” 행이 빠지면 이후 검색이 정확해도 잘못된 답을 만들 수 있습니다.
| 수집 항목 | 저장 예 | 쓰는 이유 |
|---|---|---|
| 원문 ID·섹션 | leave / 신청 | 개정 때 같은 문서를 찾아 교체 |
| 버전·적용일 | v2 / 2026-10-01 | 현재 적용할 규정 선택 |
| 원문 위치 | /docs/leave#apply | 답변에서 조항으로 이동 |
| 접근 그룹 | staff | 검색 대상 제한 |
| 본문·수집 상태 | 연차 신청은 팀장에게 제출합니다 / 정상 | 추출 실패와 근거 없음 구분 |
파일 이름보다 원문 ID를 기준으로 관리하면 제목이 바뀌어도 같은 자료의 변경을 추적할 수 있습니다. 수집 담당자는 원문과 추출본을 대조하고, 실패 문서는 재수집 대상으로 남깁니다.
2. 청크: 답에 필요한 조건이 함께 검색되도록 나누기
청크는 검색하는 문서 조각입니다. “연차 신청은 팀장에게 제출한다”와 “입사 첫해는 별도 기준을 적용한다”가 갈라지면 예외를 빼고 답할 수 있습니다. 제목·조항 경계를 먼저 보존하고 긴 조항만 다시 나눕니다. 고정 길이는 문자 기준인지 토큰 기준인지 명시합니다.
| 분할 방식 | 적합한 자료 | 결과를 검사할 부분 |
|---|---|---|
| 고정 길이·일부 겹침 | 구조가 일정하지 않은 텍스트 | 문장·표 경계가 끊겼는가 |
| 제목·조항별 | 규정·HTML·Markdown | 제목과 적용 예외가 함께 있는가 |
| 의미 전환별 | 문맥이 긴 설명 문서 | 분할 모델의 비용과 결과 일관성 |
| 부모·자식 | 긴 매뉴얼·보고서 | 작은 청크로 찾은 뒤 상위 문단을 얼마나 붙일까 |
부모·자식 방식은 세부 청크로 검색하고 상위 절을 답변 문맥에 넣습니다. 문맥을 확장할 때도 권한과 버전을 다시 적용합니다. 청크 크기는 대표 질문에서 정답 조항이 빠지는 비율과 답변 길이를 비교해 정합니다.
3. 임베딩과 저장소: 표현이 다른 질문을 연결하기
임베딩 모델은 텍스트를 같은 차원의 숫자 벡터로 바꿉니다. 질문과 문서를 같은 모델로 변환한 뒤 코사인 유사도 등으로 가까운 벡터를 찾습니다. 예를 들어 “쉬는 날 신청”과 “연차 신청 절차”처럼 단어가 달라도 관련 문서를 후보로 가져오는 역할입니다. 모델을 바꾸면 좌표의 의미도 달라지므로 모델 식별자·차원·색인 버전을 함께 관리하고 재임베딩합니다.
저장 단위는 chunk_id + 본문 + 벡터 + 원문 메타데이터입니다. 임베딩을 외부 서비스에서 계산한다면 그 단계에서 문서가 전송됩니다. 문서 반출 조건에 맞춰 로컬 모델 또는 허용된 API를 선택합니다.
| 저장 방식 | 선택할 상황 | 운영에서 정할 것 |
|---|---|---|
| Chroma 등 자체 운영 저장소 | 소규모 시험과 직접 운영 | 영속 저장·백업·필터·복원 |
| Qdrant 등 자체 운영 또는 관리형 | 필터와 벡터 검색을 함께 설계 | 권한 필터·색인 교체·확장 |
| Pinecone 등 관리형 | 인프라 운영을 줄일 필요 | 데이터 위치·사용량 요금·제한 |
벡터 개수만으로 이전 시점을 정하기보다, 실제 질문 수와 필터 조건에서 지연·메모리·운영 부담을 측정합니다.
실제 벡터 DB에는 무엇을 저장할까요?
Qdrant를 선택했다면 컬렉션의 벡터 차원·거리 함수를 임베딩 모델에 맞춥니다. 아래는 4차원·코사인 거리의 company_docs 컬렉션을 준비한 뒤 저장할 요청 본문입니다. 원문 식별자는 payload에 두고 포인트에는 정수 ID를 부여했습니다. 요청 경로는 PUT /collections/company_docs/points?wait=true입니다.
{
"points": [{
"id": 1, "vector": [1, 2, 0, 0],
"payload": {
"doc_id": "leave", "version": "v2", "section": "신청",
"chunk_id": "leave:v2:0", "groups": ["staff"],
"source": "/docs/leave#apply", "text": "연차 신청은 팀장에게 제출합니다."
}
}]
}검색은 POST /collections/company_docs/points/query에 질문 벡터와 서버에서 가져온 사용자 그룹 필터를 보냅니다. with_payload로 반환한 본문·출처를 답변 문맥에 연결합니다.
{
"query": [1, 1, 0, 0], "limit": 5, "with_payload": true,
"filter": {"must": [{"key": "groups", "match": {"any": ["staff"]}}]}
}형식은 Qdrant 포인트 저장과 Query API를 2026-10-28에 확인했습니다. 뒤의 로컬 코드는 이 저장·검색 흐름을 메모리에서 검사하므로 서버 설치 없이 따라갈 수 있습니다.
4. 혼합검색과 리랭킹: 후보를 넓히고 다시 고르기
- 벡터 검색은 의미가 가까운 문서를, 키워드 검색은 제품 코드·조항 번호처럼 정확히 일치하는 문서를 찾는 데 씁니다.
- 두 목록의 점수 범위가 다르면 점수를 그대로 더하는 대신 순위를 합칠 수 있습니다.
- 리랭킹은 합쳐진 후보 각각을 질문과 다시 비교해 최종 문맥을 고릅니다.
RRF(Reciprocal Rank Fusion)는 각 목록의 순위에 1 / (k + 순위)를 부여해 합치는 방식입니다. BM25는 단어 빈도와 문서 길이 등을 반영하는 키워드 검색 방식이며, 아래 작은 예제에서는 단순 단어 일치 점수로 그 자리를 구현합니다.
Cross-Encoder는 질문과 청크를 함께 입력받아 관련성을 계산하는 모델입니다. 리랭킹을 적용하기 전에 초기 검색 후보에 정답 문서가 들어오는지 확인합니다. 후보 수·최종 청크 수·추가 지연을 비교해 적용 범위를 정합니다. 서로 비슷한 조각만 몰리면 MMR처럼 관련성과 다양성을 함께 고려하는 검색도 시험합니다.
5. 로컬 코드: 분할·벡터 검색부터 인용까지 연결하기
다음 Python 코드는 표준 라이브러리만 씁니다. 개념 사전으로 작은 벡터를 계산하고, 키워드 순위와 합친 뒤 규칙으로 재정렬합니다. 학습 임베딩·BM25·Cross-Encoder를 도입할 때 교체할 위치가 각각 embed, lexical, rerank입니다. 답변은 선택된 원문을 발췌하므로 검색 결과와 출처 연결을 직접 확인할 수 있습니다.
import json
import math
import re
CONCEPTS = [
("연차", "휴가", "쉬는"),
("신청", "제출"),
("급여", "보수"),
("출장", "이동"),
]
def embed(text):
return [sum(text.count(word) for word in group) for group in CONCEPTS]
def cosine(a, b):
denominator = math.sqrt(sum(x*x for x in a) * sum(y*y for y in b))
return sum(x*y for x, y in zip(a, b)) / denominator if denominator else 0
def chunks(documents):
result = []
for doc in documents:
for i, paragraph in enumerate(doc["text"].split("\n\n")):
if paragraph.strip():
result.append({**doc, "chunk_id": f'{doc["doc_id"]}:{doc["version"]}:{i}',
"text": paragraph, "vector": embed(paragraph)})
return result
DOCUMENTS = [
{"doc_id": "leave", "version": "v2", "section": "신청", "updated": "2026-10-01", "groups": ["staff"],
"source": "/docs/leave#apply", "text": "연차 신청은 팀장에게 제출합니다."},
{"doc_id": "travel", "version": "v1", "section": "신청", "updated": "2026-09-01", "groups": ["staff"],
"source": "/docs/travel", "text": "출장 신청은 총무팀에 제출합니다."},
{"doc_id": "salary", "version": "v1", "section": "변경", "updated": "2026-09-01", "groups": ["hr"],
"source": "/docs/salary", "text": "급여 변경 신청은 인사팀에 제출합니다."},
]
# 저장소에 넣을 레코드의 JSON 직렬화·복원을 검사합니다.
index = json.loads(json.dumps(chunks(DOCUMENTS), ensure_ascii=False))
def allowed(row, groups):
return bool(set(row["groups"]) & set(groups))
def lexical(query, text):
terms = re.findall(r"[가-힣A-Za-z0-9]+", query)
return sum(term in text for term in terms)
def retrieve(query, groups, rows, top_k=2):
visible = [row for row in rows if allowed(row, groups)]
query_vector = embed(query)
vector_rank = sorted(
[r for r in visible if cosine(query_vector, r["vector"]) > 0],
key=lambda r: cosine(query_vector, r["vector"]), reverse=True)
word_rank = sorted(
[r for r in visible if lexical(query, r["text"]) > 0],
key=lambda r: lexical(query, r["text"]), reverse=True)
fused = {}
by_id = {row["chunk_id"]: row for row in visible}
for ranking in (vector_rank, word_rank):
for rank, row in enumerate(ranking, start=1):
cid = row["chunk_id"]
fused[cid] = fused.get(cid, 0) + 1 / (60 + rank)
candidates = [by_id[cid] for cid in sorted(fused, key=fused.get, reverse=True)]
topics = [i for i in (0, 2, 3) if query_vector[i] > 0]
if topics:
candidates = [r for r in candidates if any(r["vector"][i] > 0 for i in topics)]
return rerank(query, candidates)[:top_k]
def rerank(query, candidates):
# 작은 사전의 휴가 질문에는 휴가 조항을 우선합니다.
needs_leave = any(word in query for word in CONCEPTS[0])
return sorted(candidates, key=lambda r: (
int(needs_leave and any(w in r["text"] for w in CONCEPTS[0])),
cosine(embed(query), r["vector"]) + lexical(query, r["text"])
), reverse=True)
def local_generator(query, context):
# 학습 모델 대신 첫 근거를 발췌하는 로컬 어댑터입니다.
return {"text": context[0]["text"], "used_ids": [context[0]["chunk_id"]]}
def answer(query, groups, rows, generate=local_generator):
hits = retrieve(query, groups, rows, top_k=1)
if not hits:
return {"status": "no_evidence", "text": "해당 근거를 찾지 못했습니다.", "citations": []}
context = [{key: hit[key] for key in
("doc_id", "version", "section", "updated", "source", "chunk_id", "text")}
for hit in hits]
generated = generate(query, context)
by_id = {hit["chunk_id"]: hit for hit in context}
if not generated["used_ids"] or any(cid not in by_id for cid in generated["used_ids"]):
return {"status": "invalid_citation", "text": "인용할 근거를 다시 확인합니다.", "citations": []}
citations = [{k: v for k, v in by_id[cid].items() if k != "text"}
for cid in generated["used_ids"]]
return {"status": "answered", "text": generated["text"], "citations": citations}
result = answer("휴가 신청", ["staff"], index)
assert result["citations"][0]["doc_id"] == "leave"
assert "팀장" in result["text"]
assert cosine(embed("휴가"), embed("연차")) == 1
assert all(hit["doc_id"] != "salary" for hit in retrieve("급여 신청", ["staff"], index))
assert answer("급여", ["staff"], index)["status"] == "no_evidence"
assert answer("급여 신청", ["staff"], index)["status"] == "no_evidence"
bad_generator = lambda query, context: {"text": "근거 밖 답변", "used_ids": ["unknown"]}
assert answer("연차", ["staff"], index, bad_generator)["status"] == "invalid_citation"
print(json.dumps(result, ensure_ascii=False))
assert answer("연차", [], index)["citations"] == []
assert answer("구내식당", ["staff"], index)["status"] == "no_evidence"“휴가 신청”은 사전의 “연차”와 같은 개념 축에 연결됩니다. 최종 결과는 “연차 신청은 팀장에게 제출합니다.”와 “leave:v2:0”의 출처입니다.
실제 답변 모델을 연결할 때는 본문과 출처를 담은 context를 받고 답변과 인용 ID를 반환하도록 local_generator를 교체합니다.
6. 권한과 인용: 답변을 보여주기 전에도 대조하기
일반 직원 계정 · staff
- 질문: 급여 신청
- 검색 결과: 급여 문서 제외
- 답변: 해당 근거를 찾지 못했습니다.
- 인용: 없음
인사 담당 계정 · hr
- 질문: 급여 신청
- 검색 결과: 급여 문서 포함
- 답변: 급여 변경 신청은 인사팀에 제출합니다.
- 인용: salary:v1:0
검색 권한은 요청자가 쓴 부서명이 아니라 인증된 사내 계정의 그룹에서 가져옵니다. 검색 저장소의 필터를 먼저 적용하고, 부모 문단 확장·리랭킹·모델 입력에도 허용된 내용만 보냅니다. 링크와 문서 제목도 같은 권한 범위에서 표시합니다. 기간을 지정한 질문은 문서의 수정일과 적용일을 구분해 필터링하고, 부서 조건은 인증된 계정의 소속과 대조합니다. 답변 캐시에는 사용자 권한 범위와 색인 버전을 키로 포함합니다.
문맥에 [leave:v2:0]처럼 출처 ID를 붙이고 “주장마다 근거 ID를 표시하라”는 형식을 사용하면 원문과 답변을 대조하기 쉽습니다. 서버는 인용 ID가 검색 결과에 있는지, 문서 버전이 아직 유효한지 확인합니다. 인용 ID가 유효해도 답변이 “입사 첫해” 같은 조건을 제대로 옮겼는지는 내용 평가로 확인합니다. RAG 답변 평가에서 질문별 검수 방법을 이어 볼 수 있습니다.
7. 갱신과 삭제: 최신 원문이 검색되게 유지하기
문서 변경 이벤트나 주기 수집으로 원문 ID·수정 시각·본문 해시를 비교합니다. 새 버전의 청크와 벡터를 만든 뒤 활성 색인을 교체하고 이전 청크를 제거합니다. 갱신이 실패하면 이전 버전 사용 상태를 표시합니다. 문서 담당자는 실패 원인을 확인하고 해당 단계부터 다시 처리합니다. 삭제와 권한 철회는 검색 저장소·부모 문맥·캐시까지 반영합니다.
updated = {**DOCUMENTS[0], "version": "v3", "updated": "2026-10-28",
"text": "연차 신청은 인사 포털에서 제출합니다."}
# 원문 ID에 해당하는 이전 청크를 빼고 새 버전을 넣습니다.
index = [row for row in index if row["doc_id"] != updated["doc_id"]] + chunks([updated])
revised = answer("휴가 신청", ["staff"], index)
assert revised["citations"][0]["version"] == "v3"
assert "인사 포털" in revised["text"]
assert not any(row["doc_id"] == "leave" and row["version"] == "v2" for row in index)
index = [row for row in index if row["doc_id"] != "leave"]
assert answer("연차", ["staff"], index)["status"] == "no_evidence"지금 방식
이전 규정 · v2
- 질문: 휴가 신청
- 답변: 연차 신청은 팀장에게 제출합니다.
- 인용: leave:v2:0
바꾼 뒤
개정 규정 · v3
- 질문: 휴가 신청
- 답변: 연차 신청은 인사 포털에서 제출합니다.
- 인용: leave:v3:0
이 코드는 메모리 목록을 교체합니다. 운영 저장소에서는 새 색인 준비와 활성화, 이전 색인 정리를 분리하고, 동시 질의가 구·신 버전을 섞어 읽지 않도록 버전별 색인 또는 트랜잭션을 사용합니다.
8. 평가와 비용: 실패한 단계부터 고치기
질문마다 정답 조항·사용자 그룹·기대 답변 또는 보류 여부를 붙여 평가 자료를 만듭니다.
| 시험 질문 | 이런 결과가 나오면 | 점검할 단계 |
|---|---|---|
| staff의 급여 질문 | 비공개 급여 본문·제목이 전달됨 | 권한 필터 |
| v2→v3 개정 후 같은 질문 | 이전 규정으로 답함 | 색인 갱신, 답변 캐시 제거 |
| 연차 신청 방법 | 최신 신청 조항이 top-k에서 빠짐 | 수집·청크·검색 순위 |
| 자료에 없는 식당 운영시간 | 근거 없이 답을 만듦 | 생성·보류 기준 |
| 예외 대상자의 휴가 질문 | 적용 예외가 빠짐 | 청크·답변 내용 |
검색에 정답이 없으면 수집·분할·검색을, 근거는 맞는데 답이 틀리면 문맥 구성·생성·인용을 점검합니다.
답변의 근거 충실도, 질문 관련성, 정답 문서 검색률을 나눠 보고 지연·비용도 같은 표본에서 잽니다. 자동 평가 도구의 점수와 담당자의 원문 대조를 함께 사용합니다. 평가 항목 구분은 Microsoft의 RAG 평가 문서를 참고할 수 있습니다.
월 운영비에는 문서 수집·초기 임베딩, 변경분 재임베딩, 검색 저장소, 리랭킹, 답변 입력·출력과 검수 시간이 들어갑니다. 실제 문서량·갱신 횟수·질의 수를 넣어 자체 운영과 관리형을 비교합니다. 로보텍스트는 문서 구조와 권한을 정리하고 검색·출처·갱신·평가까지 이어지는 흐름을 설계합니다. 검색할 문서 종류와 대표 질문을 hello@robotext.co.kr로 알려 주세요.
관련 글: 클라우드와 로컬 AI 비교 · 맥미니 AI 서버 구축
로보텍스트와 업무에 적용하기
실제 문서로 자동화할 범위를 정해보세요
- 문의에 적어주실 내용
- 문서 종류, 월 처리량, 사람이 확인해야 할 항목. 가린 예시나 업무 설명이면 충분합니다.
- 함께 정할 내용
- 추출·분류 흐름, 검수 기준과 기존 시스템 연결 범위을 정리합니다.
hello@robotext.co.kr