RAG 정확도 평가: 사내 문서 AI의 검색과 답변을 따로 검사하기

문서 AI의 오답은 ‘정답 문서를 못 찾았는가’와 ‘찾은 내용을 잘못 설명했는가’부터 나누세요. 검색에 실패했다면 문서 수집·분할·검색 조건을, 근거를 찾고도 틀렸다면 답변 지시와 조건 보존을 먼저 고칩니다. 이 구분이 있어야 모델 교체와 프롬프트 수정 중 어디에 시간을 쓸지 판단할 수 있습니다.

RAG는 관련 문서를 찾아 모델에 전달하는 방식입니다. 전체 구성은 사내 문서 RAG 구축 가이드에서 볼 수 있습니다. 이 글은 이미 문서를 넣어 시험 중인데 구버전, 누락, 틀린 인용이 나오는 팀을 위한 평가 방법입니다.

답변을 읽기 전에 확인할 세 단계

같은 ‘금액이 틀렸다’는 결과라도 출발점은 다릅니다. PDF의 표가 잘못 읽혔을 수도 있고, 최신 문서가 검색되지 않았거나, 정확한 숫자를 받아 놓고 모델이 다르게 썼을 수도 있습니다. 담당자는 질문, 검색된 원문, 모델에 전달된 근거, 최종 답변을 한 묶음으로 비교합니다.

Microsoft의 RAG 평가 문서는 검색 평가와 응답 평가를 구분하고, 근거 일치·질문 관련성·답변 완전성 등을 살펴보도록 설명합니다. 이 관점을 업무에 적용하면 ‘답이 자연스러운가’보다 ‘필요한 근거로 필요한 내용을 답했는가’를 검사할 수 있습니다. 공식 RAG 평가 문서

정답표는 답변 문장보다 필수 항목으로 만듭니다

업무 담당자는 대표 질문마다 정답 문서와 반드시 들어갈 항목을 적습니다. 모델 답변의 표현이 조금 달라도 금액·대상·조건이 맞으면 통과시킬 수 있습니다. 반면 핵심 예외를 빠뜨린 답변은 문장이 매끄러워도 실패로 표시합니다. 기술 담당자는 해당 문서가 언제 수집·색인됐는지 연결합니다.

아래 규정과 질문은 평가 설계를 위한 가상 샘플입니다. 실제 규정과 바꿔 넣어 사용하세요.

정답표에는 숫자와 함께 그 숫자가 적용되는 대상·기간도 적습니다. 제출 방법을 묻는 질문에는 영수증과 프로젝트 번호를 필수 항목으로 넣습니다. 질문별로 필요한 항목을 정하면 핵심 조건의 누락과 불필요하게 긴 답변을 구별할 수 있습니다.

시작용 20문항을 서로 다른 실패 유형에 배분하기

다음 20문항은 평가 세트를 만드는 시작 양식입니다. 실제 업무에서는 자주 묻는 질문과 틀렸을 때 손실이 큰 질문을 추가합니다. 비슷한 문장만 여러 개 넣기보다 최신 기준·과거 기준·조건·답 없음이 각각 드러나게 구성하세요.

15~18번처럼 답이 없는 질문도 정답표가 필요합니다. 관련 없는 조항을 붙이는 대신, 현재 문서에서 확인되는 범위와 추가로 필요한 규정 종류를 답하도록 정합니다. 담당 부서 정보가 문서에 있다면 그 경로를 안내하고, 없다면 임의의 이름이나 연락처를 만들지 않도록 검수합니다.

검색 결과와 최종 답변을 한 줄씩 대조합니다

개발 담당자는 평가 실행마다 문서·색인·모델·질문 버전을 고정합니다. 검색 결과 전체에 정답이 있다는 것과 실제 모델에 전달한 일부 근거에 정답이 있다는 것은 다릅니다. 최종 전달 문맥까지 확인해야 문맥 길이 제한이나 후처리에서 빠진 조항을 찾을 수 있습니다.

1. 원문이 제대로 들어왔나

   금액·표·시행일이 색인 내용에 없으면 문서 읽기와 수집부터 고칩니다.

2. 정답 조항이 전달됐나

   색인에는 있지만 전달 근거에 없으면 검색·필터·분할·정렬을 살핍니다.

3. 근거를 정확히 설명했나

   올바른 조항을 받고도 조건을 빠뜨리면 생성 지시와 모델을 비교합니다.

4. 같은 평가표로 재검사

   고친 질문뿐 아니라 최신·과거·답 없음 질문도 다시 검사합니다.

검색 상위 결과를 무조건 늘리면 정답 근거가 추가될 수도 있지만, 오래된 비슷한 문서가 함께 들어갈 수도 있습니다. 변경한 조건 하나씩 평가하고 답변 품질·지연·비용을 같이 기록하세요. 오래된 문서는 과거 시점 질문에 필요할 수 있으므로, 최신 규정 질의와 과거 규정 질의에서 선택 방식이 달라지게 설계합니다.

평가표의 평균 뒤에 중요한 실패를 숨기지 않습니다

총 20개 중 몇 개를 맞혔는지만 보지 마세요. 예를 들어 답변 표현의 작은 차이와 잘못된 정산 한도는 영향이 다릅니다. 업무 담당자는 사람의 검수 없이 사용해서는 안 되는 오류를 미리 정합니다. 해당 오류가 남은 업무는 담당자가 검수한 결과만 사용하도록 운영합니다. 개선 전후에는 같은 문항의 판정과 실패 이유를 비교합니다.

자동 평가 도구는 반복 검사에 유용하지만, 업무별 정답과 예외는 담당자가 정해야 합니다. Anthropic도 평가에서 최종 환경의 상태를 확인하고 코드·모델·사람 평가를 조합하는 접근을 설명합니다. RAG에서도 ‘찾았습니다’라는 문장보다 실제 인용 문서와 답의 내용을 확인하는 방식으로 적용할 수 있습니다. 평가 설계 원문

규정이 바뀌면 같은 질문으로 다시 검사합니다

문서 관리자는 새 규정의 문서 ID·시행일·기존 규정의 유효 기간을 정리합니다. 개발 담당자는 수집과 색인 반영을 확인하고 위 질문표를 다시 실행합니다. 업무 담당자는 최신 기준 질문이 새 규정을, 과거 질문이 당시 규정을 가리키는지 검수합니다. 평가 실행 시각과 사용한 색인 버전을 남겨야 반영 지연과 모델 오류를 구분할 수 있습니다.

운영 중 새 오답이 들어오면 질문과 기대 항목을 평가표에 추가합니다. 원문과 검색 로그에는 내부 정보가 포함되므로 열람 범위와 보관 기간도 정하세요. 권한 문제로 제외된 문서를 검색 실패로 집계하지 않도록 사용자 역할과 허용된 정답 범위를 함께 기록합니다.

로보텍스트는 오답을 수정 가능한 작업으로 바꿉니다

로보텍스트는 문서의 읽기·버전 정리, 검색과 인용, 답변 검수 과정을 연결합니다. 실제 질문에서 정답 문서와 필수 답변 항목을 정리하고, 검색 전후의 근거와 최종 답변을 대조할 수 있게 설계합니다. 오답을 수집·검색·생성 문제로 나눠 수정한 뒤, 문서 갱신과 모델 변경에서도 같은 평가표로 확인합니다.

문서는 있는데 AI가 틀리게 답한다면 hello@robotext.co.kr로 RAG 평가 문의를 보내주세요. 잘못 답한 질문과 기대했던 답의 항목을 알려주시면, 검색과 답변 중 어디부터 점검할지 정리하겠습니다. 첫 문의에는 문서 종류와 가린 예시만으로도 문제를 설명할 수 있습니다.

관련 글: RAG 구축 흐름 · 프롬프트 작성 실무 · AI 실행 전 승인 설계