음성 AI 에이전트는 어떻게 대화하면서 일까지 처리할까

AI 상담원에게 예약 변경을 부탁한 뒤 한참 대답을 기다린 적 있으신가요? 대화와 업무를 나누면 기다리는 동안에도 진행 상황을 안내할 수 있습니다.

음성 AI 에이전트란 사람과 말로 대화하면서 예약 조회나 변경 같은 실제 업무까지 처리하는 AI입니다. 최근에는 대화를 맡는 음성 모델과 업무를 맡는 뒤쪽 시스템을 나누는 구조가 쓰입니다. 다글로가 OpenAI 공식 문서를 바탕으로 이 구조를 쉽게 풀어 정리했습니다.

음성 AI 에이전트의 핵심: 말하는 역할과 일하는 역할 나누기

음성 AI 에이전트는 대화를 이어 가면서 시간이 걸리는 업무를 별도 시스템에 맡기고 결과를 말로 전합니다. 이렇게 일을 넘기는 것을 위임(delegation)이라고 합니다.

OpenAI의 GPT-Live 문서는 음성 모델이 대화를, 별도 시스템이 판단과 도구 사용을 맡는 구성을 설명합니다.

직접 답할까, 다시 물을까, 맡길까

음성 에이전트가 요청을 받으면 할 수 있는 행동은 크게 세 가지입니다. 지금 아는 내용으로 답할 수 있으면 직접 답하고, 말이 분명하지 않으면 다시 묻고, 조회나 변경이 필요하면 뒤쪽 시스템에 맡깁니다.

1. 직접 답하기: 대화 맥락이나 이미 받은 결과로 답할 수 있는 질문
2. 다시 묻기: 소음 때문에 잘 들리지 않았거나, "그거 바꿔 줘"처럼 무엇을 가리키는지 알 수 없을 때
3. 맡기기: "금요일로 바꾸되 수수료가 있으면 토요일로 해 줘"처럼 조건을 확인하고 실제로 변경해야 할 때

일하는 동안 무엇을 말할까: 결과, 참고 정보, 행동 지침

뒤쪽 시스템이 음성 모델에 보내는 정보는 용도에 따라 세 가지로 나뉩니다. 소리 내어 전할 결과, 말하지 않고 참고만 할 배경 정보, 앞으로의 대화 방식을 바꾸는 지침입니다.

• 전할 결과: 예약 변경이 끝났다는 확인된 사실
• 참고 정보: 아직 예약을 조회하고 있다는 진행 상황
• 행동 지침: 수수료를 확인한 뒤에만 변경을 안내하라는 규칙

작업이 끝난 것과 사용자가 결과를 들은 것은 다릅니다. 완료 여부와 실제로 전달한 내용을 각각 확인해야 합니다.

요청이 바뀔 때 드러나는 좋은 음성 에이전트의 기준

좋은 음성 에이전트는 빨리 답하는 것보다 바뀐 요청을 놓치지 않는 것이 중요합니다. 사용자가 도착 공항을 정정하면 조회 조건도 바로 바뀌어야 하고, 배송을 거절하면 배송 신청은 진행하지 않아야 합니다.

• 여러 일을 한꺼번에 맡기면 결과가 요청한 순서대로 돌아오지 않을 수 있습니다. 결과마다 어느 요청의 것인지 표시해 두고 맞춰 봅니다.
• 음성 모델이 말을 멈췄다고 뒤쪽 작업까지 멈춘 것은 아닙니다. 늦게 도착한 결과가 최신 요청에 맞는지 확인합니다.
• 평가할 때는 맡길 일을 제대로 골랐는지, 업무를 정확히 처리했는지, 사용자가 결과를 제대로 들었는지를 나눠서 봅니다.

대화가 끝난 뒤 남아야 할 것은 정확한 기록입니다

음성 에이전트와의 통화든 사람 사이의 회의든, 말로 오간 내용은 대화가 끝나면 흩어집니다. 조건이 바뀌고 숫자가 오가는 대화일수록 받아쓴 원문이 있어야 나중에 무엇이 결정됐는지 확인할 수 있습니다.

다글로는 회의와 통화를 받아쓰고 요약해, 받아쓴 원문과 요약을 함께 보관합니다. 보드챗에 "고객이 바꾼 조건만 정리해 줘"처럼 기록을 바탕으로 이어서 질문할 수도 있습니다. 보이스매칭은 회의 참석자의 목소리를 기억해 다음 녹음부터 '참석자 1' 대신 실제 이름을 자동으로 넣어 주는 기능으로, 다글로가 국내 최초로 모든 사용자에게 제공합니다. 보이스매칭 자세히 보기

음성 인식 정확도를 높이는 방법과 실시간 받아쓰기·통역 구성을 비교한 글 음성 인식 정확도 높이는 법, 실시간 받아쓰기·통역 구성 비교도 함께 읽어 보세요.

#음성AI에이전트 #음성에이전트 #AI에이전트 #GPTLive #업무위임 #AI상담 #보이스매칭 #다글로

👉 통화·회의 기록 무료로 시작하기