[AI를 고르는 법] 2. 좋은 AI 서비스는 왜 하나의 모델만 쓰지 않을까?

지난 편에서는 “어떤 AI가 제일 좋은가?”라는 질문이 점점 어려워지고 있다는 이야기를 했습니다. 모델마다 잘하는 일이 달라지고 있기 때문입니다. 그렇다면 AI 서비스를 만드는 사람들은 어떤 모델을 선택할까요?

의외로 답은 “하나를 고르지 않는다”에 가까울 수 있습니다.

좋은 AI 서비스는 가장 좋은 모델 하나를 모든 업무에 사용하는 대신, 문제의 성격에 따라 서로 다른 모델과 기술을 배치합니다. 이를 흔히 Model Routing이라고 부릅니다.

모든 문제에 가장 큰 모델이 필요한 것은 아닙니다

예를 들어 하루에 들어오는 고객 문의 10만 건을 생각해보겠습니다.

먼저 해야 할 일이 문의를 환불, 배송, 상품 문의처럼 몇 가지 유형으로 나누는 것이라면 아주 복잡한 추론은 필요하지 않을 수 있습니다.

이런 작업까지 가장 크고 비싼 모델에 맡기면 결과는 잘 나오겠지만 비용과 처리시간이 불필요하게 커집니다. 반면 고객의 이전 기록과 정책을 함께 검토해 예외적인 환불 여부를 판단해야 한다면 더 깊은 reasoning이 필요할 수 있습니다. 같은 고객지원 안에서도 필요한 AI의 수준이 다른 셈입니다.

그래서 실제 시스템은 다음과 비슷한 구조를 가질 수 있습니다. 간단한 규칙으로 해결할 수 있는 것은 규칙으로 처리합니다. 분류가 필요한 것은 빠른 분류 모델이 처리합니다. 짧은 언어 작업은 가벼운 모델이 맡습니다. 복잡한 판단이 필요한 경우에만 더 강력한 모델을 호출합니다. AI의 지능을 하나의 큰 엔진으로 보는 대신 여러 단계의 자원으로 나누어 사용하는 것입니다.

AI 서비스에서 비용은 곧 제품 설계의 문제입니다

AI 서비스에서 모델 선택은 성능 문제이면서 동시에 비용 문제입니다. AI는 요청을 처리할 때마다 연산 자원을 사용합니다. 특히 긴 문서를 읽거나 오랫동안 reasoning하는 모델일수록 더 많은 비용이 발생할 수 있습니다.

사용자가 몇 명일 때는 큰 차이가 없어 보일 수 있습니다. 하지만 하루 수십만 건, 수백만 건의 요청을 처리하는 서비스라면 작은 차이가 전체 서비스 비용에 큰 영향을 줍니다.

그래서 AI 회사에서는 단순히 “더 좋은 모델을 쓸까?”가 아니라 다음과 같은 질문을 함께 봅니다.

이 작업에 정말 이 정도의 reasoning이 필요한가.

더 작은 모델로도 충분한 품질을 낼 수 있는가.

어떤 요청에서만 강한 모델을 호출해야 하는가.

결과가 틀렸을 때 다시 시도할 것인가.

사용자가 기다릴 수 있는 시간은 얼마인가.

이런 선택이 쌓여 제품의 속도와 가격, 품질이 결정됩니다.

음성 AI에서는 이 구조가 더 분명하게 보입니다

회의 녹음 파일 하나를 처리한다고 생각해보겠습니다.

겉으로 보면 하나의 파일을 넣고 회의록을 받는 간단한 과정입니다. 하지만 내부에서는 여러 종류의 문제가 연속해서 발생합니다. 먼저 음성에서 실제 발화가 있는 구간을 찾아야 합니다. 여러 사람이 이야기한다면 누가 언제 말했는지 구분해야 합니다. 그다음 음성을 정확한 텍스트로 바꿔야 합니다. 전사된 텍스트의 문맥을 정리하고, 회의의 주요 내용과 할 일을 추출할 수도 있습니다.

각 단계는 서로 다른 목표를 가지고 있습니다. 음성 인식에서는 정확도가 중요하고, 실시간 서비스에서는 지연시간도 중요합니다. 요약 단계에서는 전체 문맥을 이해하는 능력이 더 중요할 수 있습니다. 모든 문제를 하나의 거대한 AI에게 맡기는 것보다, 각각의 문제를 가장 잘 처리하는 기술을 연결하는 편이 더 효율적인 이유입니다.

사용자는 모델이 아니라 결과를 사용합니다

AI 업계에서는 모델 이름과 benchmark 점수가 많은 관심을 받습니다. 하지만 실제 서비스를 사용하는 사람에게 중요한 것은 조금 다릅니다.

회의가 정확하게 기록되는가.

필요한 내용을 빠르게 찾을 수 있는가.

결과가 일관적인가.

기다리는 시간이 너무 길지 않은가.

업무에 실제로 도움이 되는가.

사용자는 서비스 뒤에서 어떤 모델이 몇 개 실행되었는지 알 필요가 없습니다. 좋은 AI 제품은 복잡한 기술 선택을 사용자에게 그대로 보여주는 대신, 그 복잡성을 내부에서 해결합니다.

다글로 역시 음성을 다루는 AI 서비스입니다.

사용자에게 필요한 것은 특정 모델의 이름이 아니라, 실제 대화가 정확하게 기록되고 다시 활용할 수 있는 결과로 돌아오는 것입니다. 결국 AI 서비스의 경쟁력은 “가장 좋은 모델을 사용한다”는 한 문장보다 훨씬 복잡합니다. 어떤 문제를 어떻게 나누고, 각 문제에 어떤 기술을 배치하고, 이들을 하나의 자연스러운 경험으로 연결하는가. AI 모델이 빠르게 바뀌는 시대일수록 오히려 이런 제품 설계 능력이 더 중요해질 수 있습니다.