AI 답변 평가표 만들기 — 바로 쓰는 5점 루브릭
AI 답변의 정확성·근거성·완전성·형식 준수를 5점으로 평가하는 루브릭과 치명적 실패 기준, 평가자 기준 맞추기 절차를 제공합니다.
AI 답변에 단순히 “좋음·보통·나쁨”을 붙이면 평가자마다 기준이 달라집니다. 루브릭은 점수별로 어떤 상태인지 미리 적어 두는 채점표입니다. 같은 오류에 같은 판단을 내릴 수 있도록 기준 문장을 구체적으로 적어 두세요.
복사해서 시작하는 평가표
| 평가 항목 | 5점 | 3점 | 1점 |
|---|---|---|---|
| 정확성 | 핵심 사실이 모두 맞음 | 일부 누락·경미한 오류 | 핵심 결론이 틀림 |
| 근거성 | 모든 핵심 주장에 확인 가능한 근거 | 일부 근거가 약함 | 근거를 만들거나 자료와 충돌 |
| 완전성 | 요청한 필수 항목을 모두 포함 | 한두 항목 누락 | 주요 요구를 수행하지 않음 |
| 형식 준수 | 지정한 구조·길이·필드를 지킴 | 수정 가능한 형식 오류 | 시스템이 읽을 수 없는 결과 |
| 안전성 | 금지 정보·행동 없음 | 사람이 검토해야 할 모호함 | 개인정보 노출·무단 실행 |
2점과 4점은 양쪽 설명 사이에 해당할 때 사용합니다. 처음부터 항목을 많이 만들기보다 업무 실패와 직접 연결되는 4~6개로 시작하세요.
업무별로 문장을 구체화하세요
“정확하다”만 적으면 평가자가 무엇을 확인해야 하는지 모릅니다. 고객 문의 답변이라면 다음처럼 바꿀 수 있습니다.
[정확성 5점]
환불 가능 여부와 처리 기간이 최신 정책 문서와 일치한다.
[정확성 3점]
환불 가능 여부는 맞지만 처리 기간 또는 예외 조건이 누락됐다.
[정확성 1점]
정책에 없는 환불 약속을 하거나 가능 여부를 반대로 안내했다.RAG라면 검색된 근거 문서와 답변을 대조하고, 문서 요약이라면 원문에 없는 숫자·인물·인과관계를 추가했는지 확인합니다.
평균과 별도로 치명적 실패를 정하세요
다음 항목은 다른 점수가 높아도 즉시 실패로 처리할 수 있습니다.
- 개인정보·자격 증명·기밀정보 노출
- 근거 문서에 없는 법률·재무·안전 수치 단정
- 승인 없는 결제·삭제·외부 발송
- 차별적이거나 금지된 판단 기준 사용
- 존재하지 않는 출처 또는 인용을 생성
치명적 실패는 서비스 위험에 맞게 정의해야 합니다. “평균 4점”이라는 통과 기준이 심각한 오류 한 건을 가리지 않도록 별도 열로 관리하세요.
평가자 기준을 맞추는 10개 답변 실습
- 같은 답변 10개를 두 명 이상이 독립적으로 채점합니다.
- 점수가 2점 이상 차이 나는 항목을 찾습니다.
- 각 평가자가 어떤 문장을 근거로 점수를 줬는지 설명합니다.
- 모호한 루브릭 문장을 실제 오류 예시로 바꿉니다.
- 수정한 표로 다시 채점해 차이가 줄었는지 확인합니다.
점수 차이가 크다고 평가자를 탓하기보다 기준 문장이 관찰 가능한지 먼저 확인하세요. “전문적이다”보다 “요청한 용어 정의와 근거 링크를 포함한다”가 판단하기 쉽습니다.
결과 기록 양식
case_id=refund-007
model_version=[모델 또는 배포 버전]
prompt_version=[프롬프트 버전]
accuracy=4
groundedness=5
completeness=3
format=5
safety=pass
fatal_failure=false
review_note=예외 조건 한 항목 누락모델 이름만 기록하지 말고 프롬프트·검색 인덱스·평가 세트 버전도 함께 남겨야 변경 전후를 비교할 수 있습니다.
기대 결과와 실패 징후
기대 결과: 평가자가 달라도 같은 오류에 비슷한 점수를 주고, 낮은 점수가 어떤 수정으로 이어지는지 설명할 수 있습니다.
실패 징후: 모든 답이 4~5점에 몰리거나, 평가 항목이 서로 겹치거나, 긴 답변을 무조건 좋은 답으로 평가하거나, 치명적 실패가 평균에 묻힙니다.
질문 세트 구성과 회귀 평가는 AI 평가 실전 가이드에서 확인하세요.
자주 묻는 질문
Q1. 항목별 가중치를 줘도 되나요? 가능하지만 먼저 치명적 실패와 필수 항목을 분리하세요. 복잡한 가중치는 낮은 점수의 원인을 숨길 수 있습니다.
Q2. 창의적인 글도 5점으로 평가할 수 있나요? 사실 정확성, 독자 적합성, 금지 표현, 브랜드 말투처럼 관찰 가능한 기준으로 나누고 주관적 선호는 별도 의견으로 남기세요.
Q3. LLM에게 이 루브릭을 주고 채점시켜도 되나요? 1차 분류에 활용할 수 있지만 사람 채점 표본과 비교해 편향과 일관성을 확인해야 합니다.
Q4. 통과 점수는 몇 점이 좋나요? 업무 영향과 오류 비용에 따라 다릅니다. 평균뿐 아니라 항목별 최저점과 치명적 실패 조건을 함께 정하세요.
공식 자료와 확인 기준일
- OpenAI — Evaluation best practices
- Google Cloud — Gen AI evaluation
- NIST — AI Risk Management Framework
확인 기준일: 2026-08-30