RAG란? 사내 문서 AI가 틀리는 이유와 검색 품질 점검법
사내 문서를 연결했는데도 AI가 틀린다면 검색과 청킹부터 확인해야 합니다. 문서 10개와 테스트 질문으로 RAG 품질을 점검하는 방법을 정리했습니다.
사내 규정 PDF를 연결했는데 AI가 없는 조항을 답한다면, 먼저 어떤 문서를 찾았는지 확인해 보세요. 정확한 문서를 찾지 못한 상태에서는 좋은 모델을 사용해도 답에 필요한 근거가 부족할 수 있습니다.
RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 질문과 관련된 문서를 먼저 찾고, 찾은 내용을 근거로 답을 생성하는 구조입니다. 점검할 때도 이 두 단계를 나누어 보세요. 정답 문서를 찾았는지 먼저 확인한 뒤, 그 문서에 맞게 답했는지 살펴봅니다.
10분 점검 — 문서 10개와 질문 10개로 시작하세요
검색과 답변 중 어디에서 문제가 생겼는지 보려면 정답을 미리 알고 있어야 합니다. 처음부터 모든 사내 문서를 넣기보다, 담당자가 내용과 정답을 아는 문서 10개로 시작해 보세요.
- 휴가 규정, 경비 지침, 제품 FAQ처럼 답이 명확한 문서 10개를 준비합니다.
- 문서마다 실제 질문 1개씩을 적습니다.
- 각 질문의 정답 문서명과 조항을 기록합니다.
- RAG가 가져온 검색 결과와 최종 답변을 따로 저장합니다.
- 틀렸다면 검색 실패인지 생성 실패인지 구분합니다.
[질문] 출장 숙박비 상한은 얼마인가요?
[정답 문서] 출장비 규정 3장 8조
[검색 성공 조건] 3장 8조가 검색 결과 상위에 포함됨
[답변 성공 조건] 지역별 상한을 구분하고 출처를 표시함
[실패 조건] 문서에 없는 금액을 만들거나 과거 규정을 사용함저장한 검색 결과에 정답 문서가 들어 있는지 먼저 보세요. 그다음 최종 답변을 조항과 대조하면, 문서를 찾지 못한 것인지 찾고도 잘못 답한 것인지 구분할 수 있습니다.
RAG는 어떤 순서로 답을 만드는가
RAG는 크게 색인과 질의 두 단계로 동작합니다.
문서를 준비하는 색인 단계
- 문서를 수집하고 접근 권한을 확인합니다.
- 문서를 검색 가능한 크기로 나눕니다. 이를 청킹이라고 합니다.
- 각 청크를 의미를 나타내는 벡터로 변환합니다.
- 원문 위치·문서명·권한 정보와 함께 저장합니다.
사용자가 질문하는 질의 단계
- 질문과 관련된 청크를 찾습니다.
- 필요하면 키워드 검색과 의미 검색 결과를 다시 정렬합니다.
- 찾은 자료와 질문을 모델에 함께 전달합니다.
- 모델이 답과 출처를 만듭니다.
검색 결과에 정답 문서가 없다면 문서를 찾는 단계를 점검해야 합니다. 생성 모델만 바꿔서는 이 문제를 해결할 수 없습니다. 검색은 성공했는데 답이 틀렸다면 지시문, 컨텍스트 구성 또는 모델이 근거를 사용하는 방식을 확인하세요.
나쁜 청킹과 좋은 청킹 비교
표·목록·제목을 무시하고 글자 수만으로 자르면 의미가 끊길 수 있습니다.
나쁜 예시
청크 1: 국내 출장 숙박비는 1박 기준 서울·광역시는
청크 2: 120,000원, 그 외 지역은 90,000원이며 사전 승인이...검색 결과에 청크 1만 들어오면, 모델이 받은 자료에는 금액이 없습니다. 제목과 금액, 예외 조건을 함께 볼 수 있도록 묶으면 아래와 같습니다.
개선 예시
[제목] 국내 출장 숙박비
[적용 대상] 전 임직원
[기준] 서울·광역시 1박 120,000원 / 그 외 지역 90,000원
[예외] 상한 초과 시 사전 승인 필요
[출처] 출장비 규정 3장 8조문서를 나눌 때는 함께 읽어야 의미가 통하는 부분이 어디인지 살펴보세요. 규정은 조항 단위, FAQ는 질문과 답 단위, 제품 매뉴얼은 제목과 절차 단위부터 시험할 수 있습니다. 구체적인 조정 방법은 RAG 청킹 실전 가이드에서 다룹니다.
테스트 질문 결과를 읽는 방법
| 검색 결과 | 최종 답변 | 먼저 확인할 곳 |
|---|---|---|
| 정답 문서 없음 | 오답 | 청킹·검색어·메타데이터 |
| 정답 문서 있음 | 오답 | 지시문·컨텍스트 순서·모델 |
| 오래된 문서 우선 | 부분 오답 | 최신성 필터·문서 버전 |
| 권한 없는 문서 검색 | 답과 무관하게 실패 | 접근 제어·색인 범위 |
| 정답 문서와 답 모두 정상 | 성공 | 유사 질문으로 반복 확인 |
질문 10개 각각에 정답 문서와 출처가 표시되는지 확인하세요. 이것이 이 점검에서 기대하는 결과입니다.
답변이 자연스럽게 읽혀도 출처를 열어 보면 내용이 다르거나, 같은 질문의 표현을 조금 바꿨을 때 다른 규정을 가져온다면 실패 징후로 봐야 합니다.
결과를 기록할 때도 답변 점수와 검색 점수를 나누어 두세요. 다음에 청킹이나 지시문을 바꿀 때 어느 단계의 결과를 비교할지 정할 수 있습니다. 평가 방법은 AI 평가 실전 가이드에서 참고할 수 있습니다.
RAG를 바로 도입하지 않아도 되는 경우
- 문서가 몇 개뿐이고 변경이 거의 없다면 필요한 부분을 직접 첨부하는 방식이 더 단순할 수 있습니다.
- 문서보다 작업 절차 실행이 핵심이라면 RAG보다 AI 에이전트 구조가 중심이 될 수 있습니다.
- 특정 말투나 출력 형식을 반복하는 것이 목적이라면 검색보다 프롬프트·예시·미세조정을 먼저 검토할 수 있습니다.
- 원문 권한을 검색 단계에 적용할 수 없다면 민감한 문서 색인을 미루는 편이 안전합니다.
변하는 문서에서 근거를 찾아 답해야 하는 업무라면 RAG 도입을 검토할 수 있습니다. 위 조건에 해당하는지 먼저 살펴보고, 문서 검색이 필요한 일인지 판단하세요.
자주 묻는 질문
Q1. 벡터 데이터베이스가 꼭 필요한가요? 작은 자료는 파일 검색이나 기존 검색 시스템으로 시작할 수 있습니다. 문서량·권한·검색 방식이 복잡해질 때 별도 벡터 저장소를 검토하세요.
Q2. 청크 크기는 몇 자가 정답인가요? 고정된 정답은 없습니다. 문서 구조와 질문 유형에 따라 다르므로 정답 질문 세트로 여러 크기를 비교해야 합니다.
Q3. RAG를 쓰면 환각이 없어지나요? 아닙니다. 근거를 제공해 오류를 줄일 수 있지만 검색 실패나 근거 오독은 남습니다. 자료에 없으면 모른다고 답하는 규칙과 평가가 필요합니다.
Q4. 문서를 갱신하면 자동으로 반영되나요? 제품 구성에 따라 다릅니다. 변경 감지, 재색인, 이전 버전 제거가 실제로 동작하는지 확인해야 합니다.
Q5. 사내 권한은 어떻게 적용하나요? 사용자가 원문을 볼 권한이 있는지 검색 전에 확인하고, 검색 결과에도 같은 권한 필터를 적용해야 합니다.
공식 자료와 확인 기준일
- Google Cloud — Vertex AI RAG Engine quickstart
- OpenAI — File Search guide
- Microsoft — Azure AI Search RAG 개요
- NIST — AI Risk Management Framework
확인 기준일: 2026-08-30
참고 링크 재확인: 2026-10-01. Microsoft RAG 문서의 연결 주소와 라벨을 갱신했습니다.