프롬프트 캐싱(Prompt Caching)이란? AI 비용을 줄이는 원리

AI에게 매번 똑같은 긴 지침과 참고 자료를 붙여 보내면서, 그때마다 같은 요금을 내고 계신가요? 바뀌지 않는 앞부분을 요청할 때마다 처음부터 다시 처리하면 비용도, 첫 답이 나오기까지의 시간도 그만큼 늘어납니다.

프롬프트 캐싱(Prompt Caching)은 반복 입력의 계산을 저장해 다음 요청에서 재사용하는 기능입니다. 다글로가 OpenAI 공식 문서로 원리와 비용 계산법을 정리했습니다.

프롬프트 캐싱이란? 같은 앞부분을 다시 계산하지 않는 기능

프롬프트 캐싱은 여러 요청에 반복되는 입력의 앞부분(접두부, prefix)을 한 번 처리해 저장하고, 다음 요청에서는 그 계산을 재사용하는 방식입니다. 바뀐 뒷부분만 새로 처리하므로 비용과 대기 시간이 줄어듭니다.

• 앞부분 전체가 일치하고 모델별 최소 길이를 넘어야 합니다.
• 답을 저장하는 기능은 아니므로 같은 요청도 다른 답이 나올 수 있습니다.

implicit과 explicit, 두 캐시 방식의 차이

implicit 캐시는 재사용할 구간의 경계를 OpenAI가 자동으로 정하고, explicit 캐시는 개발자가 "여기까지 반복된다"는 경계(breakpoint)를 직접 표시합니다.

캐시 손익 계산: 몇 번 다시 읽어야 이득일까

캐시는 공짜가 아닙니다. GPT-5.6 이후 모델은 처음 저장할 때(쓰기) 일반 입력보다 비싸고, 다시 읽을 때만 싸지므로 몇 번 재사용할지 따져 봐야 합니다.

GPT-5.6 이후 모델의 캐시 쓰기는 일반 입력 단가의 1.25배(30분) 또는 2.5배(12시간)입니다. 읽기 단가는 모델별로 다릅니다. 아래는 읽기를 0.1배로 가정한 공통 앞부분의 비용 비교입니다. 캐시가 유지되고 모든 후속 요청이 적중한다고 가정하며, 개별 입력·출력 비용은 제외했습니다.

캐시가 깨지는 흔한 실수 4가지

앞부분이 글자 하나라도 달라지면 그 지점부터는 캐시를 재사용할 수 없습니다. 그래서 바뀌지 않는 내용은 앞에, 바뀌는 내용은 뒤에 두는 것이 기본 원칙입니다.

1. 날짜·요청 번호는 공통 지침 뒤에 둡니다.
2. 사용자별 정보도 공통 지침 뒤에 붙입니다.
3. 도구 목록과 메시지 순서를 일정하게 유지합니다.
4. 기존 대화를 고쳐 쓰지 말고 새 메시지를 덧붙입니다. 압축 뒤에는 입력 감소와 캐시 손실을 함께 비교합니다.

도구가 많을 때: Tool search와 캐시

Tool search는 필요한 도구 설명만 불러와 입력을 줄입니다. 이미 불러온 도구 목록을 바꾸면 캐시 재사용에 영향이 있을 수 있습니다.

반복하는 지침은 한 번만 저장해 두기

매번 같은 부분은 한 번만 준비하고 바뀌는 부분만 새로 처리한다는 원리는 일상 업무에도 그대로 통합니다.

다글로에서는 "결정 사항·할 일·다음 일정" 같은 요약 지침을 내 템플릿에 저장해 둘 수 있습니다. 다글로가 그 형식을 기억하고 녹음이 끝날 때마다 자동으로 요약하므로, 매번 바뀌는 것은 회의 내용뿐입니다. 여기에 보이스매칭을 켜면 회의 참석자의 목소리를 기억해 다음 녹음부터 '참석자 1' 대신 실제 이름을 자동으로 넣어 줍니다. 다글로가 국내 최초로 모든 사용자에게 제공하는 기능입니다. 보이스매칭 자세히 보기

함께 읽기: 캐시를 포함해 AI 비용을 업무 단위로 계산하는 방법은 AI 비용 절감, 성공한 업무 1건으로 계산하라에서 정리했습니다.

#프롬프트캐싱 #PromptCaching #AI비용절감 #OpenAIAPI #토큰절약 #ToolSearch #AI활용 #다글로

👉 회의 받아쓰기 무료로 시작하기