장기 실행 에이전트의 컨텍스트 압축, 언제 요약하고 언제 새로 시작할까

에이전트가 몇 분이 아니라 몇 시간씩 일하기 시작하면 가장 먼저 부딪히는 벽이 컨텍스트입니다. 대화 이력이 창을 넘기 전에 요약하거나 정리해 공간을 되찾는 것을 컨텍스트 압축(compaction)이라고 부르는데, 압축은 공짜가 아닙니다. 요약하면서 중요한 결정이 빠지고, 프롬프트 캐시가 무효화되고, 요약 자체에 시간과 토큰이 듭니다.

이 글은 압축을 ‘창이 넘치면 하는 응급조치’가 아니라 설계 대상으로 다룹니다. 비용이 왜 제곱으로 늘어나는지를 식으로 확인하고, 압축 시점과 순서, 품질 측정, 그리고 압축 대신 새 세션을 여는 기준까지 정리합니다. 공개된 연구 노트와 실무 글을 참고하되, 수치는 각 출처가 밝힌 값이라는 점을 함께 적습니다.

비용이 제곱으로 늘어나는 이유

에이전트 루프는 매 단계마다 지금까지의 이력 전체를 다시 입력으로 보냅니다. 단계마다 평균 t 토큰이 쌓인다면 k번째 단계의 입력은 약 k·t이고, n단계까지 보낸 누적 입력은 다음과 같습니다.

누적 입력 ≈ t × (1 + 2 + … + n) = t × n(n+1)/2

Zylos 연구 노트가 든 예처럼 단계당 1,000토큰, 20단계면 1,000 × 20 × 21 / 2 = 21만 토큰입니다. 단계 수를 두 배인 40으로 늘리면 82만 토큰으로 약 4배가 됩니다. 창 크기가 충분하더라도 비용과 지연은 이 곡선을 따라 올라갑니다. 압축은 n을 줄이는 대신 ‘현재 이력의 크기’를 주기적으로 되돌려 곡선을 톱니 모양으로 바꾸는 장치입니다.

프롬프트 캐시가 있으면 계산이 달라집니다. 이력이 앞부분부터 그대로 유지되는 한 이미 본 부분은 캐시 단가로 처리되므로 실제 비용은 훨씬 낮아집니다. 바로 이 점 때문에 압축은 양날의 칼입니다. 압축하는 순간 앞부분이 바뀌어 캐시가 전부 무효화되고, 다음 호출은 요약본 전체를 정가로 다시 읽습니다. 압축을 너무 자주 하면 캐시 이득을 잃고, 너무 늦게 하면 품질을 잃습니다.

Addy Osmani는 장기 실행 에이전트의 세 가지 벽을 유한한 컨텍스트, 영속 상태 없음, 자기 검증 불가로 정리했습니다. 압축은 첫 번째 벽만 다룹니다. 나머지 둘은 파일과 테스트로 따로 풀어야 하고, 실제로는 그쪽이 압축 품질을 결정합니다.

언제 압축할 것인가

방식 압축 시점 장점 위험
늦은 압축 창의 약 98% 압축 횟수 최소 한계 직전에 성급히 요약하고 일을 끝내 버리는 ‘context anxiety’
여유 있는 임계값 창의 약 70~75% 요약할 여유 확보 압축 빈도 증가, 캐시 무효화 증가
설정형 API 토큰 수 기준(예: 기본 15만, 최소 5만) 예측 가능 모델·작업마다 재조정 필요
사용량 상한 큰 창을 열되 실제 사용 제한(예: 1M 중 20만) 불안 행동 감소 제한 근거를 측정해야 함

Cognition은 1M 컨텍스트를 켜되 실제 사용을 20만 토큰으로 묶어 context anxiety를 줄였다고 알려져 있습니다. 숫자는 사례마다 다르지만 교훈은 같습니다. 한계에 닿기 전에 여유를 두고 정리해야 모델이 차분하게 요약합니다. 시험 종료 5분 전에 답안지를 정리하는 학생과 30분 전에 정리하는 학생의 차이와 비슷합니다.

저는 임계값을 하나로 두지 않고 두 단계로 둡니다. 창의 50% 근처에서 ‘가벼운 정리'(아래 1~2단계)를, 70~75%에서 ‘요약'(3단계)을 합니다. 가벼운 정리는 앞부분을 건드리지 않고 최근 도구 결과만 다루도록 설계하면 캐시 손실도 작습니다.

어떻게 압축할 것인가: 네 단계

  1. 큰 결과는 즉시 밖으로. 긴 로그, 파일 내용, 검색 결과 원문은 처음 받는 순간 파일로 저장하고 컨텍스트에는 경로와 세 줄 요약만 남깁니다. 압축할 것이 애초에 쌓이지 않게 하는 것이 가장 싼 압축입니다.
  2. 오래된 도구 결과를 참조로 교체. 이미 처리한 검색 결과나 해결된 오류 메시지를 “[결과: logs/build-07.txt, 해결됨]” 같은 참조로 바꿉니다. 이런 구조적 정리만으로 15~30%가 줄어든다는 보고가 있습니다.
  3. 그다음에 요약. 최근 메시지 몇 개는 원문 그대로 두고 그 이전만 요약합니다. LangChain Deep Agents는 최근 10개를 유지합니다. 진행 중인 작업의 직전 맥락까지 요약하면 에이전트가 하던 일을 잊습니다.
  4. 마지막 수단은 새 창. 요약을 반복해도 품질이 떨어지면 상태 파일을 들고 새 세션을 시작합니다.

요약 프롬프트에 반드시 넣을 항목

요약 품질은 ‘무엇을 남기라’고 지시했는지에 크게 좌우됩니다. 제가 하네스에 넣는 요약 지시의 골격은 다음과 같습니다.

다음 항목을 빠짐없이 남겨라. 해당 없으면 "없음"이라고 써라.
1. 최초 목표와 완료 조건 (원문 그대로)
2. 지금까지 수정·생성한 파일 경로 목록
3. 내린 결정과 그 이유 (결정당 한 줄)
4. 사용자가 금지하거나 요청한 규칙
5. 실패했던 시도와 실패 원인 (같은 시도를 반복하지 않도록)
6. 현재 진행 중인 단계와 다음 할 일
서술형 회고는 쓰지 마라. 위 항목 외 내용은 버려도 된다.

5번이 특히 중요합니다. 요약 후 에이전트가 이미 실패한 방법을 다시 시도하는 것이 가장 흔하고 비싼 실패 유형입니다.

압축률이 아니라 연속성을 잰다

Factory.ai의 평가에서 주요 요약 방식들은 모두 98~99%의 압축률을 냈지만, “어떤 파일을 수정했는가”를 추적하는 항목은 5점 만점에 2점대에 그쳤습니다. 압축률만 보면 모두 훌륭했지만 실제 작업에 필요한 정보는 빠져 있었던 셈입니다. 압축 품질은 다음 세 가지로 재는 편이 정확합니다.

  • 재작업률: 압축 직후 10단계 안에 이미 끝낸 일을 다시 한 비율
  • 규칙 위반률: 압축 전에 사용자가 정한 규칙을 압축 후 어긴 횟수
  • 목표 이탈: 압축 후 최종 산출물이 최초 완료 조건을 만족했는가

검증 방법은 단순합니다. 같은 과제를 압축 임계값만 바꿔 여러 번 돌리고 완료율, 총 토큰, 사람 개입 횟수를 비교합니다. 압축이 일어날 때마다 요약 전후의 상태 파일과 요약문을 함께 로그로 남겨 두면, 문제가 생겼을 때 무엇이 빠졌는지 바로 보이고 그 항목을 다음부터 상태 파일에 미리 쓰도록 하네스를 고칠 수 있습니다. 압축 개선은 결국 ‘잊으면 안 되는 목록’을 늘려 가는 일입니다.

상태를 처음부터 파일에

에이전트는 기억을 잃지만 파일 시스템은 잃지 않습니다. 장기 실행 설계의 절반은 무엇을 파일에 적어 둘지 정하는 일입니다.

  • 목표와 진행 상황은 state.md나 progress.txt에, 내용이 확정되는 즉시 씁니다. 압축 직전에 몰아 쓰면 이미 늦습니다.
  • 할 일 목록과 테스트 결과처럼 구조가 있는 상태는 JSON으로 둡니다. 모델이 마크다운보다 JSON을 함부로 고쳐 쓰지 않는 경향이 있습니다.
  • 4시간이 넘는 세션은 압축이 10회 이상 일어난다고 가정하고 설계합니다.
  • 배포, 메일 발송, DB 변경처럼 되돌리기 어려운 외부 부작용 앞뒤에는 체크포인트를 남깁니다. 압축 후 같은 메일을 두 번 보내는 사고를 막는 장치입니다.
{
  "goal": "주문 API를 v2 스키마로 이전, 기존 테스트 전부 통과",
  "done": ["models/order.py 수정", "마이그레이션 0042 생성"],
  "decisions": [{"what": "status 컬럼 enum 유지", "why": "외부 정산 시스템 호환"}],
  "failed": [{"try": "컬럼 rename", "why": "정산 배치가 이름으로 조회"}],
  "rules": ["운영 DB 직접 접속 금지"],
  "next": "serializer 테스트 3건 수정",
  "side_effects": [{"at": "14:20", "action": "스테이징 배포", "status": "완료"}]
}

캐시를 지키는 배치

압축은 기존 프롬프트 캐시를 무효화하지만, 압축 사이 구간의 캐시 적중률은 지킬 수 있습니다. 시스템 프롬프트는 고정하고, 이력은 뒤에 덧붙이기만 하며, 현재 시각 같은 동적 값은 맨 앞이 아니라 마지막 사용자 메시지에 넣습니다. 시스템 프롬프트에 날짜를 넣어 두면 날짜가 바뀌는 순간 모든 캐시가 깨집니다. 작은 배치 차이가 장기 실행에서는 큰 비용 차이가 됩니다.

압축 대신 새로 시작하는 기준

컨텍스트 창이 큰 모델을 쓴다고 압축이 필요 없어지지는 않습니다. 창이 커도 입력 비용은 누적되고, 창이 찰수록 긴 문맥 중간의 정보를 놓치는 문제가 생깁니다. 큰 창은 압축 시점을 늦출 뿐 없애 주지 않습니다. 서브에이전트에 하위 작업을 맡겨 탐색 이력을 그 안에 가두는 방법도 도움이 되지만, 멀티에이전트 구성은 단일 대화보다 토큰을 훨씬 많이 쓴다는 보고가 있어 비용 상한과 함께 써야 합니다.

저는 다음 세 조건 중 둘 이상이면 요약보다 새 세션을 택합니다.

  1. 상태가 파일, git 이력, 테스트 결과로 충분히 외부화되어 있다.
  2. 이번 세션에서 이미 두 번 이상 요약했고 재작업률이 오르고 있다.
  3. 작업의 다음 단계가 앞 단계와 성격이 다르다(예: 구현을 마치고 문서화로 넘어감).

외부화가 부족한데 새로 시작하면 처음부터 다시 하는 것과 같습니다. 그런 경우에는 새 세션을 열기 전에 상태 파일부터 보강해야 합니다.

맺으며

컨텍스트 압축은 장기 실행 에이전트의 비용과 정확도를 함께 좌우합니다. 늦게 압축하면 모델이 서두르고, 압축률만 보면 중요한 사실이 빠지고, 자주 압축하면 캐시를 잃습니다. 여유 있는 두 단계 임계값, 결과 분리부터 시작하는 순서, 연속성 지표, 그리고 처음부터 파일에 쓰는 습관을 함께 설계해야 몇 시간짜리 작업에서도 에이전트가 처음 목표를 잃지 않습니다.

참고 자료

댓글 남기기