인사이트

AI 에이전트 설계 패턴 6가지와 평가부터 짜야 하는 이유

다글로 팀 · 2026년 11월 4일

AI 에이전트를 만들었는데 잘 되는지 판단할 기준이 없어 막막하신가요? 시연이 성공해도 실제 업무에서 어디서 틀리는지 확인할 기준이 필요합니다.

다글로 팀이 2026년 10월 27일 서울 OpenAI 빌더 부트캠프에서 들은 에이전트 설계와 평가 원칙을 정리했습니다.

AI 에이전트란? 만들기 전에 정할 것

AI 에이전트는 주어진 과제를 해결하려고 필요한 행동을 스스로 고르고 실행하는 시스템입니다. 모델만이 아니라 작업 흐름, 사용할 도구, 따라야 할 지침을 함께 구성합니다.

발표에서 소개한 AI 에이전트 패턴은 순차 연결, 분류와 인계, 병렬 실행, 재시도와 대안, 평가와 개선 반복, 샌드박스의 여섯 가지입니다. 사람이 팀으로 일하는 방식에 빗대면 쉽게 이해됩니다.

패턴	업무 흐름 비유	발표 예시
순차 연결(Workflow chaining)	이어달리기처럼 앞사람의 결과를 다음 사람이 이어받음	계획 담당, 자료 조사 담당, 보고서 작성 담당을 차례로 연결
분류와 인계(Triage·Handoff)	안내 데스크가 문의를 담당 부서로 연결	요청 언어를 보고 그 언어의 번역 담당에게 넘김
병렬 실행(Parallel execution)	여러 명이 동시에 초안을 쓰고 팀장이 하나를 고름	번역 후보 여러 개를 동시에 만든 뒤 가장 나은 것을 선택
재시도와 대안(Retry·Fallback)	전화가 안 되면 잠시 후 다시 걸고, 계속 안 되면 다른 담당자에게 연락	일시 오류가 나면 최대 횟수와 대기 시간을 정해 재시도
평가와 개선 반복(Evaluator·Optimizer)	초안, 검토, 수정을 통과할 때까지 되풀이하는 결재	글 쓰는 에이전트와 평가하는 에이전트를 연결
샌드박스(Sandbox agent)	정해진 작업실 안에서만 일하게 함	분리된 실행 환경에 필요한 파일만 넣고 코드를 실행

코딩 에이전트 덕분에 구현 시간이 줄어들수록, 만든 에이전트가 의도한 업무를 실제로 해내는지 검증하는 일이 더 중요해집니다. 그래서 발표에서는 성공 조건과 평가 방법을 구현보다 먼저 정하라고 했습니다.

평가 방법은 작업 성격에 맞춰 고릅니다. 정답이 분명한 형식은 규칙으로, 의미와 문체는 모델이나 사람이, 자동으로 판단하기 어려운 복잡한 과정은 사람이 평가합니다.

루브릭은 정확도·말투 등 항목별 점수 기준표입니다. 환불 처리의 정확성과 안내 문장의 정중함을 따로 채점하듯, 현업 전문가와 기준을 정하세요. 최종 답뿐 아니라 도구 선택과 중간 결과도 확인해야 합니다.

프롬프트를 고친 뒤 같은 질문 세트로 전후를 비교하는 방법은 AI 평가(Evals)란? 정리 글에서 이어서 볼 수 있습니다.

회의 기록도 녹음·받아쓰기·요약 순서로 이어집니다. 단계별 결과를 원문과 대조하면 오류가 다음 단계로 넘어가는 것을 줄일 수 있습니다.

다글로로 회의를 받아쓰고, 내 템플릿에 형식을 저장하면 녹음이 끝날 때마다 자동 요약됩니다. 보드챗으로 결정 사항을 묻고 원문과 대조하면 단계별 결과를 확인할 수 있습니다.

보이스매칭은 참석자의 목소리를 기억해 다음 녹음부터 실제 이름을 자동으로 넣어 줍니다. 다글로가 국내 최초로 모든 사용자에게 제공하는 기능입니다. 보이스매칭 자세히 보기

#AI에이전트 #에이전트패턴 #AI평가 #Evals #루브릭 #워크플로우자동화 #OpenAI #다글로