AI 평가(Evals)란? 프롬프트를 고친 뒤 정말 나아졌는지 확인하는 법

요약 프롬프트를 고쳤더니 이번 답은 좋아 보이는데, 정말 전보다 나아진 걸까요? 결과 몇 개만 보고 판단하면, 다른 회의나 다른 문의에서는 오히려 더 자주 틀리게 된 것을 놓치기 쉽습니다.

AI 평가(Evals)는 같은 사례와 기준으로 AI를 반복 시험해 프롬프트나 모델 변경의 효과를 확인하는 활동입니다. 다글로가 OpenAI 공식 문서를 바탕으로 실무에서 시작할 방법을 정리했습니다.

AI 평가란? 뜻과 세 가지 구성 요소

평가는 대표 사례, 판정 기준, 평가자로 구성됩니다. 점수 차이가 우연인지 살피려면 같은 조건으로 여러 차례 시험해야 합니다.

같은 질문 세트로 전후를 비교하는 5단계

프롬프트를 바꾼 효과를 확인하는 핵심은 하나만 바꾸고 나머지 조건은 그대로 둔 채, 같은 질문 세트로 바꾸기 전과 후를 비교하는 것입니다. 조건이 여러 개 바뀌면 무엇 때문에 좋아졌는지 알 수 없습니다.

1. 실무 요청 10~20개와 까다로운 사례를 고릅니다.
2. 결정 사항 누락 여부와 분량처럼 확인할 기준을 정합니다.
3. 기존 프롬프트의 결과와 점수를 저장합니다.
4. 모델·자료를 유지하고 프롬프트만 바꿔 다시 실행합니다.
5. 평균뿐 아니라 유형별로 나빠진 결과도 확인합니다.

무엇으로 채점할까: 규칙, AI 평가자, 사람

채점 방법은 세 가지입니다. 정답이 분명하면 규칙으로, 의미를 봐야 하면 AI 평가자로, 가장 중요한 판단은 사람이 맡습니다. OpenAI는 자동 채점 결과를 사람의 판단과 맞춰 보며 보정하라고 권합니다.

루브릭에 항목별 기준과 예시를 적고, AI 채점 결과를 사람의 판단과 맞춰 보세요. 출처: OpenAI 평가 지침

OpenAI Evals 서비스 종료와 Promptfoo 이전

Evals라는 말은 평가 활동 자체를 뜻하기도 하고, OpenAI가 제공하던 평가 대시보드와 API의 이름이기도 합니다. 이 가운데 OpenAI Evals 서비스는 2026년 11월 30일 종료될 예정입니다.

공식 종료 안내에 따르면 2026년 10월 31일부터 기존 평가는 읽기 전용이며 11월 30일 대시보드와 API가 종료될 예정입니다. Promptfoo 이전 안내에 따라 사례와 판정 조건을 옮긴 뒤 결과를 비교하세요.

다글로 '내 템플릿'을 고칠 때도 같은 녹음으로 비교하기

회의 요약 형식을 바꿀 때도 같은 원칙이 통합니다. 새 지침이 정말 나은지는 이미 내용을 아는 녹음 몇 개로 바꾸기 전과 후를 나란히 놓고 보면 알 수 있습니다.

다글로의 내 템플릿은 자주 쓰는 요약 프롬프트를 저장해 두는 기능으로, 다글로가 그 형식을 기억하고 녹음이 끝날 때마다 자동으로 요약합니다. 템플릿 지침을 고칠 때는 이렇게 해 보세요.

• 결정이 많은 회의와 잡담이 섞인 회의 등 3~5개를 고릅니다.
• 같은 녹음에 수정한 템플릿을 적용해 이전 요약과 비교합니다.
• 원문에 나온 결정과 담당자가 빠지거나 잘못 추가됐는지 확인합니다.

보이스매칭은 참석자의 목소리를 기억해 다음 녹음부터 실제 이름을 자동으로 넣어 줍니다. 다글로가 국내 최초로 모든 사용자에게 제공하는 기능입니다. 이름이 포함된 기록을 요약과 대조해 보세요. 자세히 보기

함께 읽기: 에이전트를 만들 때 평가를 먼저 설계하는 이유와 규칙·모델·사람 평가의 실제 예시는 AI 에이전트 설계 패턴 6가지와 평가 설계 글에서 볼 수 있습니다.

#AI평가 #Evals #프롬프트개선 #프롬프트테스트 #루브릭 #Promptfoo #OpenAI #다글로

👉 회의 요약 템플릿 만들어 보기