AI 평가(Evals) 실전 — 답변 20개로 정확도 검사하는 법

“직접 써보니 꽤 잘 되던데요”라는 말만으로 AI 기능을 배포하면, 모델이나 프롬프트를 바꾼 뒤 품질이 떨어져도 알아차리기 어렵습니다. 평가(Evals)에서는 같은 질문·같은 기준·같은 절차로 답변을 확인하고, 바꾸기 전 결과와 비교합니다.

처음에는 실제 업무 질문 20개와 5점 채점표로 시작해 보세요. 지금 답변의 상태를 기록해 두면 다음 변경과 비교할 첫 기준선이 됩니다. 이 개수로 모든 업무를 검증할 수 있다는 뜻은 아니며, 위험과 업무 유형에 따라 범위를 늘려야 합니다.

결론 — 질문 20개와 실패 기준부터 만드세요

평가를 시작할 때 필요한 것은 세 가지입니다.

1. 평가 질문 20개: 실제 사용자가 자주 묻는 질문과 실패하기 쉬운 질문을 섞습니다.
2. 확인할 근거: 정답 문서, 필수 포함 항목 또는 금지 항목을 적습니다.
3. 통과 기준: 평균 점수뿐 아니라 즉시 실패로 처리할 조건을 정합니다.

예를 들어 사내 규정 답변 AI라면 “평균 4점 이상”만 정하지 마세요. 다른 직원의 개인정보를 노출하거나, 근거에 없는 휴가 일수를 만들어 내면 평균과 관계없이 실패로 처리해야 합니다.

평가 질문 20개를 만드는 방법

질문은 쉬운 것만 모으면 안 됩니다. 아래 비율은 시작용 예시이며 서비스 특성에 맞게 조정하세요.

질문 유형	개수 예시	확인 목적
자주 들어오는 정상 질문	8개	기본 정확도
표현만 바꾼 유사 질문	4개	일관성
자료에 답이 없는 질문	3개	모른다고 답하는지
오래되거나 충돌하는 정보	3개	최신 문서 우선순위
개인정보·권한 경계 질문	2개	안전성

다음 형식으로 스프레드시트에 저장하면 모델이나 프롬프트가 바뀔 때 그대로 재사용할 수 있습니다.

[질문] 계약직도 경조 휴가를 사용할 수 있나요?
[근거 문서] 인사규정 4장 12조
[필수 포함] 적용 대상, 휴가 일수, 신청 절차
[금지] 문서에 없는 예외 조건을 임의로 추가
[자료에 없을 때] 담당 부서 확인 안내

질문을 임의로 만들기보다 상담 기록이나 실제 검색어에서 개인정보를 제거한 뒤 가져오는 편이 좋습니다. 운영 입력을 그대로 복사하면 민감정보가 평가 파일에 남을 수 있으므로 이름·전화번호·계약번호는 가명으로 바꾸세요.

바로 쓰는 5점 평가표

답의 사실이 맞는지, 근거로 확인할 수 있는지, 질문을 바꿔도 기준이 유지되는지 따로 살펴보세요. 아래 표는 정확성·근거성·일관성을 나누어 채점하기 위한 기준입니다.

점수	정확성	근거성	일관성
5	핵심 사실이 모두 맞음	주장마다 확인 가능한 근거가 있음	유사 질문에도 기준이 유지됨
4	사소한 누락만 있음	핵심 결론의 근거가 있음	표현 차이는 있지만 결론이 같음
3	보완이 필요한 누락이 있음	일부 주장의 근거가 약함	질문 표현에 따라 세부 답이 흔들림
2	중요한 오류가 있음	근거와 답이 부분적으로 충돌	같은 질문에 결론이 달라짐
1	사용할 수 없는 답	근거를 만들거나 엉뚱한 자료 사용	반복할 때 결과를 신뢰하기 어려움

채점 예시

질문이 “경조 휴가는 며칠인가요?“이고 규정에 관계별 일수가 다르게 적혀 있다면, 관계를 묻지 않고 하나의 숫자로 단정한 답은 정확성 점수를 낮춰야 합니다. 반대로 “관계에 따라 다르므로 대상을 알려 달라”고 되묻고 관련 조항을 제시한다면 높은 점수를 줄 수 있습니다.

평가자가 두 명 이상이라면 먼저 같은 답변 5개를 함께 채점하세요. 점수가 계속 다르면 모델보다 채점표의 문장이 모호한 것일 수 있습니다.

기대 결과·실패 징후·확인 방법

기대 결과

• 틀린 답이 어떤 질문 유형에서 반복되는지 보입니다.
• 모델이나 프롬프트 변경 전후를 같은 기준으로 비교할 수 있습니다.
• “좋다·나쁘다” 대신 수정할 항목을 정할 수 있습니다.

실패 징후

• 좋은 예시만 골라 평균을 높입니다.
• 평가 질문이 실제 사용과 무관합니다.
• LLM 심판의 점수를 사람 확인 없이 정답처럼 사용합니다.
• 평균 점수만 보고 개인정보 노출 같은 치명적 실패를 놓칩니다.

확인 방법

1. 실패 답변 5개를 사람이 다시 읽습니다.
2. 평가 질문과 근거 문서가 최신인지 확인합니다.
3. 자동 점수와 사람 점수가 크게 다른 항목을 따로 표시합니다.
4. 수정 후 같은 20개 질문을 다시 실행해 회귀 여부를 비교합니다.

자동 평가·사람 평가·LLM 심판을 나누는 기준

• 규칙 기반 자동 평가: JSON 형식, 필수 단어, 금지어처럼 기계적으로 확인 가능한 항목에 씁니다.
• 사람 평가: 업무 판단, 말투, 설득력처럼 맥락이 필요한 항목에 씁니다.
• LLM 심판: 많은 답변을 같은 루브릭으로 1차 분류할 때 사용할 수 있지만, 표본을 사람 평가와 비교해야 합니다.

처음에는 형식 오류를 코드로 잡고, 사실과 표현 품질은 사람이 확인하는 방식으로 역할을 나누세요. LLM 심판을 쓴다면 그 점수도 사람 평가와 비교해야 합니다. 자세한 평가표 확장 방법은 AI 답변 5점 평가표 만들기에서 이어서 다룹니다.

모델·프롬프트 변경 전후 운영 루틴

1. 기존 버전으로 20개 질문을 실행해 기준선을 저장합니다.
2. 새 모델 또는 새 프롬프트로 같은 질문을 실행합니다.
3. 전체 평균과 함께 질문별 하락 항목을 비교합니다.
4. 치명적 실패 조건이 한 건이라도 발생했는지 확인합니다.
5. 통과한 버전만 배포하고 결과 파일과 설정을 함께 보관합니다.

평가 세트가 모델 학습이나 프롬프트 조정에 그대로 노출되면 시험 문제를 외운 것처럼 점수만 좋아질 수 있습니다. 조정용 질문과 최종 확인용 질문을 일부 분리해 두세요.

자주 묻는 질문

Q1. 평가 질문은 반드시 20개여야 하나요? 아닙니다. 20개는 작게 시작하기 위한 기준입니다. 위험이 높거나 업무 유형이 많다면 질문 수와 평가자를 늘려야 합니다.

Q2. 정답이 하나가 아닌 글쓰기 결과는 어떻게 평가하나요? 사실 정확성, 필수 내용, 금지 표현, 독자 적합성처럼 관찰 가능한 항목으로 루브릭을 나눕니다.

Q3. LLM 심판만 사용해도 되나요? 초기 분류에는 유용하지만 심판 모델도 편향될 수 있습니다. 정기적으로 사람 채점과 비교해 기준을 보정하세요.

Q4. 평균 점수는 높은데 한두 개가 크게 틀립니다. 개인정보 노출, 법률·재무 오답, 근거 조작처럼 영향이 큰 항목은 평균과 별도의 즉시 실패 조건으로 관리합니다.

Q5. RAG 평가는 무엇을 따로 봐야 하나요? 검색기가 정답 문서를 찾았는지와, 생성 모델이 찾은 문서를 정확히 사용했는지를 분리해 평가해야 합니다. RAG 검색 품질 점검법을 함께 참고하세요.

공식 자료와 확인 기준일

• OpenAI — Evaluation best practices
• OpenAI — Evals guide
• Google Cloud — Generative AI evaluation overview
• NIST — AI Risk Management Framework

확인 기준일: 2026-08-30