RAG 청킹 실전 — 표·PDF·매뉴얼을 나누는 방법

RAG에서 모델을 바꿔도 답이 좋아지지 않는다면 문서가 어떻게 나뉘었는지 확인하세요. 제목과 표가 끊기거나 예외 조항이 다음 청크로 떨어지면 검색기가 정답의 절반만 가져올 수 있습니다.

청킹에는 모든 문서에 통하는 하나의 숫자가 없습니다. 먼저 사용자가 어떤 질문을 하고 정답이 문서 어디에 모여 있는지를 기준으로 경계를 잡아야 합니다.

문서 종류별 시작 단위

고정 길이로 나눠 시작하더라도 제목·목록·코드·표가 중간에서 끊기지 않는지 먼저 확인하세요.

문제가 생기기 쉬운 형태

[청크 A] 제12조 경조 휴가. 직원은 다음 기준에 따라 휴가를 사용할 수 있다.
[청크 B] 배우자 출산 10일, 본인 결혼 5일... 단, 계약직 적용은 별표 2에 따른다.

질문과 관련된 숫자 또는 예외가 다른 청크에 있어 일부만 검색될 수 있습니다.

개선 형태

[문서] 인사규정
[조항] 제12조 경조 휴가
[적용 대상] 정규직 / 계약직은 별표 2 확인
[기준] 배우자 출산 10일, 본인 결혼 5일
[예외·연결] 계약직 적용 기준 → 별표 2
[시행일] 문서에 적힌 시행일

관련 조항을 무조건 한 청크로 합치기보다 연결 메타데이터를 남기고 검색 시 함께 가져오는 방법도 검토할 수 있습니다.

PDF는 화면에서 표처럼 보여도 추출 결과에서는 열 순서가 섞이거나 머리글이 사라질 수 있습니다.

원본 추출이 틀렸다면 청크 크기를 바꿔도 해결되지 않습니다. OCR·파싱 결과를 먼저 검증하세요.

document_id=hr-policy-2026
title=인사규정
section=제12조 경조 휴가
effective_date=[시행일]
department=HR
access_group=all-employees
version=current
source_page=18

문서명·부서·시행일·버전·권한 그룹은 검색 품질과 보안에 모두 영향을 줍니다. 오래된 버전을 제거하지 않고 current 표시만 추가하면 검색 결과에 이전 문서가 섞일 수 있으므로 실제 제외 규칙을 확인하세요.

기대 결과는 질문 표현이 조금 달라도 같은 조항과 최신 문서가 검색되는 것입니다.

실패 징후는 상위 결과가 지나치게 비슷한 짧은 청크로 채워지거나, 제목만 있고 답이 없거나, 권한 없는 문서가 나타나는 것입니다.

전체 평가 구조는 RAG 검색 품질 점검법과 AI 평가 실전을 함께 사용하세요.

Q1. 청크 크기는 토큰 몇 개가 좋나요? 문서와 질문에 따라 다릅니다. 고정값을 정답처럼 사용하지 말고 평가 질문으로 여러 안을 비교하세요.

Q2. 겹침을 크게 하면 안전한가요? 맥락 보존에는 도움이 될 수 있지만 중복 검색과 비용이 늘 수 있습니다. 필요한 경계에서만 비교하세요.

Q3. 표는 행마다 나누면 되나요? 열 이름·단위·표 제목이 없으면 행의 의미가 사라질 수 있습니다. 한 행만 검색돼도 해석 가능한 구조인지 확인하세요.

Q4. 문서가 바뀔 때 전부 다시 색인해야 하나요? 시스템에 따라 변경된 문서만 처리할 수 있습니다. 이전 버전 제거와 새 버전 반영이 함께 이뤄지는지 시험하세요.

확인 기준일: 2026-08-30

참고 링크 재확인: 2026-10-01. Microsoft RAG 문서의 연결 주소와 라벨을 갱신했습니다.