컴팩션(Compaction)이란? 긴 AI 대화가 앞 내용을 잊는 이유

AI와 한참 대화하다 보니 처음에 분명히 말해 둔 조건을 AI가 어느새 무시하고 있던 경험, 있으신가요? 같은 설명을 다시 붙여 넣느라 시간이 들고, 놓친 조건 하나 때문에 결과물을 처음부터 다시 만들기도 합니다.

컴팩션(Compaction)이란 길어진 AI 대화를 더 작은 크기로 압축해, 다음 작업에 필요한 핵심 상태만 남기고 대화를 이어 가게 하는 방식입니다. 다글로가 OpenAI 공식 문서를 바탕으로 컴팩션의 원리와 긴 AI 대화를 잘 이어 가는 습관을 정리했습니다.

컴팩션이란? AI 대화를 압축해 이어 가는 방식

컴팩션은 대화가 너무 길어졌을 때 지금까지의 내용을 압축해 크기를 줄이는 기능입니다. OpenAI 문서는 컴팩션을 이후 대화에 필요한 상태는 유지하면서 AI가 참고하는 내용의 크기를 줄이는 방법이라고 설명합니다.

OpenAI API 기준으로 컴팩션은 두 가지 방식으로 쓸 수 있습니다.

눈여겨볼 점은 압축 결과가 사람이 읽는 요약문이 아니라 암호화된 데이터라는 것입니다. 무엇이 남고 무엇이 빠졌는지 사람이 열어 볼 수 없으므로, 압축한 뒤에도 일이 제대로 이어지는지로 확인해야 합니다.

긴 AI 대화가 앞 내용을 잊는 이유

OpenAI 문서도 압축 뒤에는 핵심 상태만 이어진다고 설명하며, 앞선 대화의 세부 내용에 기대기 전에 실제로 잘 이어지는지 확인하라고 안내합니다.

긴 대화를 잘 이어 가는 3가지 습관

긴 작업일수록 대화 하나에 모든 것을 쌓기보다, 꼭 필요한 내용만 골라 넘기고 방향을 바꿀 때는 분명하게 알리는 편이 결과가 안정적입니다.

1. 꼭 지킬 조건은 따로 적어 두기: 지켜야 할 조건, 이미 실패한 방법처럼 압축 뒤에도 남아야 할 내용은 따로 적어 두고 새 대화를 시작할 때 함께 넘깁니다.
2. 이전 대화를 참고하게 할 때는 무엇을 가져올지 짚기: 도구에 따라 이전 대화를 지정해 그 기록을 참고하게 하는 기능이 있습니다. 이때 확인된 결론, 근거, 실패한 시도, 아직 확인하지 않은 가정을 짚어 주면 필요한 내용이 정확히 이어집니다.
3. 작업 중간에 방향을 바꾼 뒤에는 이미 한 일을 확인하기: OpenAI API에는 응답이 끝나기 전에 새 지시를 보내 방향을 바꾸는 기능(mid-turn steering)이 있습니다. 공식 문서는 이 기능이 이미 실행한 작업을 되돌리지는 않는다고 설명합니다. 방향을 바꿨다면 그전에 처리된 일이 무엇인지 꼭 확인하세요.

요약은 압축입니다, 원문은 따로 남기세요

컴팩션이든 사람이 만든 요약이든, 요약은 원래 내용을 줄인 결과입니다. 계약 조건, 숫자, 누가 무엇을 결정했는지처럼 정확해야 하는 내용은 요약만 남기지 말고 원문을 따로 보관해야 나중에 다시 확인할 수 있습니다.

회의와 통화도 마찬가지입니다. 다글로는 녹음을 받아쓴 원문과 AI 요약을 한 보드에 함께 보관합니다. 요약을 보다가 궁금한 부분이 생기면 원문과 바로 대조할 수 있고, 보드챗에 "지난 회의에서 바뀐 일정만 정리해 줘"처럼 기록 전체를 바탕으로 다시 물어볼 수 있습니다. 매번 같은 형식으로 정리하고 싶다면 '내 템플릿'에 요약 지침을 저장해 두세요. 녹음이 끝날 때마다 그 형식으로 자동 요약됩니다.

원문에 누가 말했는지까지 남아 있으면 되짚기가 훨씬 쉬워집니다. 보이스매칭은 회의 참석자의 목소리를 기억해 다음 녹음부터 '참석자 1' 대신 실제 이름을 자동으로 넣어 주는 기능으로, 다글로가 국내 최초로 모든 사용자에게 제공합니다. 보이스매칭 자세히 보기

긴 대화를 압축하면 비용은 어떻게 달라질까요? AI 비용을 토큰 단가가 아니라 성공한 업무 1건 기준으로 계산하는 법도 함께 읽어 보세요.

Source: OpenAI Compaction

#컴팩션 #Compaction #AI대화 #컨텍스트창 #ChatGPT활용 #AI활용팁 #보이스매칭 #다글로

👉 원문과 요약 함께 남기기