AI 변경 전후 비교 — 질문 20개로 회귀 테스트하기
모델이나 프롬프트를 바꿀 때 기존 답변 품질이 나빠지는지 확인하도록 질문 20개 구성, 비교 조건 고정, 반복 평가, 변경 전후 기록과 적용·보류 기준을 제공합니다.
고객 문의 답변을 짧게 만들려고 프롬프트를 수정했다면 환불 예외 조건이 빠지지 않았는지 확인해 보세요. 읽기가 편해지고 평균 점수가 올라도, 특정 문의의 답은 이전보다 위험해질 수 있습니다.
회귀 테스트에서는 변경 후 원래 잘 처리하던 질문을 여전히 제대로 처리하는지 검사합니다. AI 평가 실전에서 만든 질문과 5점 루브릭으로 이전 결과와 대조한 뒤, 적용하거나 보류할 변경을 정해 보세요.
먼저 무엇을 바꾸는지 한 줄로 적으세요
다음은 가상 고객센터의 답변 프롬프트를 비교하는 예시입니다. 특정 모델의 실제 성능 시험이 아닙니다.
변경 목적: 고객 답변의 불필요한 반복 줄이기
변경 대상: 답변 길이와 구성 지시
유지 대상: 모델, 환불 정책, 검색 결과, 도구 권한
필수 조건: 환불 가능 여부·기간·예외 조건·근거 유지모델, 검색 방식, 프롬프트를 한 번에 바꾸면 결과가 달라진 이유를 찾기 어렵습니다. 먼저 한 요소를 비교하고, 여러 변경을 함께 반영해야 한다면 어떤 조합인지 기록합니다.
평가 목표를 관찰 가능한 조건으로 정의하는 방식은 Anthropic의 평가 설계 가이드에서도 다룹니다. “더 좋은 답” 대신 무엇을 빠뜨리지 않아야 하는지 먼저 적으세요.
질문 20개는 정상 문의와 실패하기 쉬운 문의로 나누세요
아래 구성은 작은 팀이 시작하기 위한 편집 예시입니다. 질문 20개로 전체 사용자 분포를 대표하거나 희귀한 사고가 없음을 입증할 수는 없습니다.
| 질문 유형 | 개수 | 확인하려는 행동 |
|---|---|---|
| 자주 들어오는 정상 문의 | 8 | 기본 안내와 필수 항목 유지 |
| 예외 조건이 있는 문의 | 4 | 단서·제한·예외 누락 방지 |
| 정보가 부족한 문의 | 3 | 추측 대신 추가 질문 |
| 자료 밖의 문의 | 3 | 근거 없는 약속과 답변 방지 |
| 권한·민감정보 경계 문의 | 2 | 비공개 정보와 금지 행동 차단 |
각 질문에는 답안 문장 하나보다 반드시 포함할 사실, 해서는 안 되는 행동, 근거 자료를 붙입니다. 표현이 달라도 요구를 충족하면 통과할 수 있어야 합니다.
case_id=refund-exception-01
질문=사용한 제품도 환불할 수 있나요?
근거=가상 환불 정책 v1 / 사용 제품 예외 조항
필수=사용 상태와 예외 사유를 확인하는 질문
금지=정책 확인 없이 무조건 환불을 약속
채점=정확성·근거성·완전성·형식 / 치명적 실패 별도사용한 제품의 실제 환불 권리를 설명하는 법률 예시가 아닙니다. 독자는 자기 서비스의 검토된 정책을 근거 자료로 사용해야 합니다.
비교 조건을 고정하고 A와 B를 실행하세요
- 평가 질문·근거 문서·채점표에 각각 버전을 부여합니다.
- 현재 운영 버전을 A, 변경 후보를 B로 기록합니다.
- 프롬프트만 비교한다면 같은 모델과 같은 검색 결과를 제공합니다.
- 대화 이력이 서로 섞이지 않도록 질문별로 실행 환경을 분리합니다.
- 같은 질문의 A·B 결과를 한 쌍으로 저장합니다.
- 반복 실행의 순서를 번갈아 배치해 실행 시점 차이를 줄입니다.
예를 들어 질문마다 A와 B를 각각 3회 실행하면 20 × 2 × 3 = 120회의 답변 생성이 필요합니다. 3회는 시작용 예시이며 통계적 충분성을 뜻하지 않습니다. 도구 호출과 자동 채점에는 별도 비용이 들 수 있습니다.
검색기 자체를 바꾸는 시험이라면 검색 결과를 고정하지 않습니다. 대신 같은 문서 집합과 권한 조건에서 검색된 근거와 최종 답변을 각각 비교합니다. 변경 대상은 달라져도 나머지 비교 조건은 같아야 한다는 것이 핵심입니다.
평균 점수 전에 나빠진 질문을 보세요
아래 표는 비교표 작성법을 보여 주는 가상 채점 예시입니다. 실제 API 호출 결과가 아닙니다.
| 질문 | A의 완전성 | B의 완전성 | 검토 메모 |
|---|---|---|---|
| 일반 처리 기간 | 5 | 5 | 반복 문장만 줄어듦 |
| 예외 조건 문의 | 5 | 2 | 필수 확인 질문이 사라짐 |
| 정보 부족 문의 | 4 | 5 | 추가 질문이 구체적으로 바뀜 |
세 번째 답이 좋아져도 두 번째 실패가 없어지는 것은 아닙니다. 전체 평균과 별도로 통과 → 실패로 바뀐 질문, 치명적 실패, 반복마다 흔들리는 질문을 모아 봅니다.
사람이 채점할 때는 가능하면 어느 쪽이 새 버전인지 가리고 답변 순서를 섞습니다. 자동 채점기를 쓰더라도 치명적 실패와 평가 불일치 사례는 사람이 원자료에 대조합니다. 채점 프롬프트를 바꾸었다면 채점 결과끼리도 그대로 비교할 수 없다는 점을 기록하세요.
변경 전후 기록 양식
experiment_id=short-answer-demo
dataset_version=faq-20-v1
rubric_version=refund-rubric-v1
baseline=A / candidate=B
changed_component=prompt
case_id=refund-exception-01
repeat=1
baseline_result=pass
candidate_result=fail
regression_reason=예외 확인 질문 누락
fatal_failure=false
decision=수정 후 재시험실제 기록에는 모델·프롬프트·문서·인덱스 버전과 답변 위치도 연결합니다. 결과가 좋지 않은 질문을 평가 목록에서 빼지 말고, 어떤 수정으로 해결했는지 추적하세요.
수정에 계속 사용한 질문만으로 검증하면 그 질문에 맞춘 개선을 전체 성능 개선으로 오해할 수 있습니다. 별도로 남겨 둔 질문이나 새롭게 수집한 문의를 최종 확인에 추가합니다.
적용·보류·재시험 판단표
| 판정 | 내부 기준 예시 |
|---|---|
| 제한 적용 검토 | 필수 조건 유지, 치명적 실패 미관측, 목표 개선 확인 |
| 보류 | 기존 통과 질문이 실패하거나 근거 누락 발생 |
| 재시험 | 실행 간 결과 차이가 크거나 비교 조건이 달랐음 |
기준은 결과를 본 뒤 낮추지 말고 시험 전에 정합니다. 검사에서 사고가 관측되지 않았다는 것과 사고 가능성이 없다는 것은 다릅니다. 제한 적용 후에도 오류를 확인하고 이전 버전으로 되돌릴 준비가 필요합니다.
기대 결과·실패 징후·확인 순서
기대 결과: 어떤 질문이 좋아지고 나빠졌는지 설명할 수 있고, 변경 승인 기록이 질문별 결과와 연결됩니다.
실패 징후: 새 버전에 유리한 질문만 사용하거나, 서로 다른 정책 문서를 비교하거나, 짧아진 답변을 무조건 높은 점수로 처리합니다.
확인 순서: 변경 대상 확인 → 질문·근거·채점표 고정 → A·B 반복 실행 → 실패 전환 질문 검토 → 별도 질문 확인 → 적용 또는 보류 기록.
자주 묻는 질문
Q1. 20개 모두 통과하면 배포해도 되나요? 초기 점검 통과로 볼 수 있지만 충분한 안전 증거는 아닙니다. 업무 영향과 실제 질문 다양성에 맞춰 표본을 늘리고 제한 운영을 검토하세요.
Q2. 결과가 매번 다른데 어떻게 비교하나요? 한 번의 최고 점수 대신 반복별 결과와 실패 빈도를 기록합니다. 같은 조건에서도 얼마나 흔들리는지 자체가 평가 대상입니다.
Q3. 평균이 올랐는데 일부 질문이 나빠졌습니다. 업무상 필수 질문과 치명적 실패 조건을 먼저 봅니다. 중요한 예외를 놓쳤다면 평균 상승만으로 승인하지 않습니다.
Q4. 모델이 자동 업데이트되면 무엇을 기록하나요? 응답에서 확인할 수 있는 모델 식별자와 실행 시각을 남깁니다. 고정 버전을 선택할 수 없는 경우 그 한계를 적고 이전 결과와 정기적으로 비교하세요.
공식 자료와 확인 기준일
확인 기준일: 2026-09-06 — 질문 배분·반복 횟수·채점 사례는 자체 평가를 시작하기 위한 예시이며, 공식 합격 기준이나 모델 성능 수치가 아닙니다.