AI 비용 절감, 토큰 단가보다 '성공한 업무 1건'으로 계산하라

AI 기능을 만들 때 가장 싼 모델부터 고르고, 토큰 단가표만 보며 비용을 줄이려 하고 계신가요? 단가가 싼 모델이 같은 일을 세 번 다시 시도해야 끝낸다면, 실제로 나가는 돈은 오히려 늘어날 수 있습니다.

다글로 팀이 2026년 10월 27일 서울 OpenAI 빌더 부트캠프의 프로덕션 세션에서 들은 비용 최적화 원칙을 정리했습니다.

AI 비용 절감은 '성공한 업무 1건'의 비용에서 시작한다

AI 비용은 토큰 단가가 아니라 업무 1건을 끝까지 성공시키는 데 든 전체 비용으로 계산해야 합니다. 발표에서는 총비용을 성공한 작업 수로 나눠 봐야 실제 비용이 보인다고 설명했습니다.

평가 기준을 먼저 정하고, 비싼 모델로 시작한다

최적화의 첫 단계는 모델 고르기가 아니라 무엇이 성공이고 무엇이 실패인지 적은 평가 데이터를 만드는 일입니다. 기준이 있어야 모델을 바꾼 뒤 품질이 떨어졌는지 알 수 있습니다.

성공·실패 사례를 먼저 정하고 아래 순서로 비교합니다.

1. 성능 좋은 모델로 먼저 만든다: 목표 품질이 실제로 나오는지 확인합니다.
2. 가벼운 모델로 바꿔 본다: 같은 평가 데이터로 품질과 비용을 비교합니다.
3. 요청 유형별로 나눈다: 쉬운 질문은 작은 모델에, 복잡한 조사는 큰 모델에 보내는 라우팅도 선택지입니다.

출력 형식을 고정하면 다시 시도하는 비용이 줄어든다

AI의 답을 다음 단계로 넘기는 업무라면 출력 형식을 고정하는 것이 비용 절감의 기본입니다. 형식이 어긋나면 다음 단계가 멈추고, 그만큼 다시 시도하는 비용이 생깁니다.

금액을 숫자로 받아야 하는데 “약 3만 원”이라고 답하면 다음 프로그램이 멈출 수 있습니다. Structured Outputs는 지원 모델에서 정해 둔 출력 구조를 지키도록 돕습니다. 형식이 맞아도 내용의 정확성은 따로 확인해야 합니다.

응답 시간은 한 숫자가 아니라 나눠서 잰다

"AI가 느리다"는 말만으로는 무엇을 고쳐야 할지 알 수 없습니다. 발표에서는 첫 글자가 나올 때까지의 시간과 전체 완료 시간을 나누고, 모델 처리 시간과 도구 실행 시간도 따로 기록하라고 했습니다.

• 첫 출력까지 걸린 시간(TTFT): 사용자가 기다림을 느끼는 시간입니다.
• 전체 완료 시간: 업무가 실제로 끝나는 시간입니다.
• 분포: 한두 번이 아니라 충분한 기간에 걸쳐 재고, 중간값(P50)과 가장 느린 1%(P99)를 함께 봅니다.

급하지 않은 일은 몰아서 처리해 비용을 줄인다

모든 요청을 즉시 처리할 필요는 없습니다. 기다릴 수 있는 업무에 몰아서 처리하는 실행 방식을 고르면 같은 모델로도 비용을 크게 줄일 수 있습니다.

Batch는 즉시 답이 필요 없는 작업에 맞습니다. 대화가 길어질 때는 컴팩션, 반복 입력에는 프롬프트 캐싱도 검토합니다.

반복하는 지침은 저장해 두고 같은 형식으로 받는다

다글로의 내 템플릿에 요약 지침을 저장하면 녹음이 끝날 때마다 같은 형식으로 자동 요약합니다. 보드챗으로 궁금한 점을 묻고 받아쓴 원문과 대조할 수 있습니다.

여기에 보이스매칭을 켜 두면 기록을 다시 손보는 일도 줄어듭니다. 보이스매칭은 회의 참석자의 목소리를 기억해 다음 녹음부터 '참석자 1' 대신 실제 이름을 자동으로 넣어 주는 기능으로, 다글로가 국내 최초로 모든 사용자에게 제공합니다. 보이스매칭 자세히 보기

#AI비용절감 #AI비용계산 #StructuredOutputs #BatchAPI #AI최적화 #OpenAI #회의록요약 #다글로

👉 회의 받아쓰기 무료로 시작하기