온프레미스 LLM이란? API와 비용 비교, 직접 운영이 이득인 시점
AI API 청구서가 매달 늘어나는데, 차라리 GPU를 사서 직접 돌리는 게 나은지 고민하고 계신가요? 기준 없이 결정하면 GPU를 놀리거나 비용을 계속 더 내게 됩니다.
온프레미스 LLM은 회사가 직접 마련한 GPU 서버에 언어 모델을 올려 쓰는 방식입니다. 다글로 팀이 AI 인프라 행사(엔비디아·아즈웰 AI Acceleration Day)에서 다글로로 녹음·요약한 내용과 공식 자료를 바탕으로, API와의 비용 차이와 직접 운영이 이득인 시점을 정리했습니다.
온프레미스 LLM이란? 내 서버에서 직접 돌리는 AI
온프레미스 LLM은 외부 API를 부르지 않고, 회사가 보유한 GPU에 오픈웨이트 모델(가중치가 공개된 모델)을 올려 답을 만드는 방식입니다. 데이터가 회사 밖으로 나가지 않습니다.
| 구분 | API | 클라우드 GPU | 온프레미스 |
|---|---|---|---|
| 비용 구조 | 쓴 만큼 토큰 요금 | GPU를 빌린 시간만큼 | 장비를 사는 초기 비용 |
| 사용량이 늘면 | 비용이 그대로 늘어남 | 오래 쓸수록 쌓임 | 단가가 낮아짐 |
| 데이터 위치 | 외부 서비스 | 클라우드 | 회사 내부 |
| 모델 선택 | 최고 성능 모델 | 오픈웨이트 모델 | 오픈웨이트 모델 |
| 시작 속도 | 바로 가능 | 빠름 | 장비 납기와 공간이 필요 |
온프레미스 LLM이 API보다 이득인 시점
사용량이 많고 오래 쓸 계획이며 오픈웨이트 모델로 충분한 작업이 많을 때 유리합니다. 데이터를 밖으로 보낼 수 없는 폐쇄망이라면 사실상 유일한 선택지입니다.
- 사용량: 카카오페이 발표에서 사내 기준으로 제시한 수치로는, 오픈웨이트 모델 GLM 5.2 운영이 토큰 사용량 기준 API 대비 약 2.8배, Sonnet 대비 약 4~6배 경제적이었고 사용량이 늘수록 격차가 커졌습니다(모델명은 발표 당시 기준).
- 기간: 발표에서는 빌려 쓰는 클라우드 GPU 비용이 계속 쌓여 약 1년 뒤 직접 보유한 쪽이 더 싸진다고 소개했습니다.
- 모델: 오픈웨이트 모델은 학습을 바꾸기 어렵지만 내 GPU에 올려 답을 만드는 데 쓸 수 있습니다.
- 보안: 외부 연결이 막힌 공공·금융·의료 환경에서도 AI를 씁니다.
일반 작업은 오픈웨이트, 어려운 작업만 API로
작업 난이도에 따라 나눠 쓰면 비용과 품질을 함께 챙길 수 있습니다. 일상 업무는 온프레미스 오픈웨이트 모델로, 최상위 성능이 필요한 일만 API로 보냅니다.
발표에서 사내 설문 기준으로 평가한 GLM 5.2의 체감 성능은 Haiku 대비 약 98%, Sonnet 대비 약 70%, Opus 대비 약 26%였습니다. 그래서 Opus급이 필요한 작업만 API로 보내고, 새 오픈웨이트 모델은 빠르게 평가해 반영합니다. 비용을 끝낸 작업 단위로 따지는 방법은 AI 비용 절감 글에서 다뤘습니다.
운영에서 효과가 컸던 것: 공용 GPU 풀과 기동 시간
효율을 크게 바꾼 것은 알고리즘보다 GPU를 나눠 쓰는 방식과 서버를 켜는 시간이었습니다. 아래는 카카오페이 발표에서 사내 기준으로 제시한 결과입니다.
- 공용 GPU 풀: 서비스별 GPU를 하나로 합쳐 고객 응대를 먼저 처리하고, 새벽 배치 작업이 남는 자원을 쓰게 해 놀던 GPU 약 25%를 되찾았습니다.
- 자동 증설: 요청이 몰리면 서버를 늘리고, 패턴이 뚜렷한 서비스는 미리 늘립니다.
- 기동 시간: 모델을 서버 로컬 저장소에 복사하고 미리 계산한 값을 재사용해 약 10분에서 약 3분으로 줄였습니다.
| 용어 | 쉬운 뜻 |
|---|---|
| KV 캐시 | 대화 중 계산한 값을 저장해 다음 답을 빨리 만드는 기능 |
| 양자화 | 숫자 정밀도를 낮춰 메모리와 연산을 아끼는 방법 |
| TTFT | 질문 후 첫 글자가 나오기까지 걸리는 시간 |
발표 예시로 122B 모델은 FP16에서 약 244GB라 141GB GPU 2장이 필요하지만, FP4로 양자화하면 약 61GB라 1장에 들어갑니다. 계산을 저장해 다시 쓰는 원리는 프롬프트 캐싱 글에서 더 볼 수 있습니다.
온프레미스로 AI를 쓰는 실제 예: 다글로 온프레미스
다글로 온프레미스는 공공·금융·의료 폐쇄망을 위한 구성입니다. 전용 서버에 받아쓰기 엔진과 다글로 앱, 선택형 프라이빗 LLM을 설치해 외부 연결 없이 내부망에서만 운영하고, 서버 유지보수와 장애 대응도 제공합니다.
DB생명은 불완전판매 녹취 모니터링을 위해 보험 용어로 맞춤 학습한 다글로 온프레미스를 내부망에서 사전 검증(POC)했고, 정식 도입으로 이어졌습니다. 자세한 사례는 폐쇄망 온프레미스 음성인식 도입 사례에 정리했습니다.
이 글의 바탕이 된 발표도 다글로로 녹음·요약했습니다. 보이스매칭은 회의 참석자의 목소리를 기억해 다음 녹음부터 '참석자 1' 대신 실제 이름을 자동으로 넣어 줍니다. 이 기능을 모든 사용자에게 제공하는 것은 다글로가 국내 최초입니다. 보이스매칭 자세히 보기
#온프레미스LLM #온프레미스 #LLM비용 #오픈웨이트모델 #GPU #폐쇄망AI #보이스매칭 #다글로
대화가 일이 되는 곳, daglo.
지금 바로 무료로 시작해보세요