리텐션: 가정이 아니라 요청 정책

가정하지 않고 윈도를 설정하는 이유

“기본값이면 괜찮다”는 반사 동작은 캐시 윈도가 워크로드가 재사용 사이에 남기는 간격보다 더 오래 버티리라 전제합니다. 그 전제를 받아들이기 전에 두 가지를 나란히 놓아 볼 만합니다. 첫째는 Microsoft Learn이 문서화하는 내용입니다. 리텐션 정책은 in_memory와 24h 두 가지입니다. in_memory 항목은 보통 비활성 5~10분 안에 비워지고 마지막 사용으로부터 1시간 안에 반드시 제거되는 반면, 확장 리텐션은 캐시된 프리픽스를 최대 24시간까지 라우팅 가능하게 유지할 수 있습니다. gpt-5.4와 그 이전 모델에서는 값을 생략하면 in_memory를 뜻하며, 프롬프트 캐시 가격은 두 정책이 동일합니다. 둘째는 이 저장소의 원천 실행에서 나온 희소한 정제 공개 집계로, 리텐션 모드별로 묶어 in_memory와 24h 아래에서 첫 토큰 지연과 캐시 적중률이 실제로 어떻게 움직였는지를 보여 주려고 서술용으로 포함합니다.

잠시 멈춰 볼 부분은 그 짝짓기입니다. 적중률만 보면 리텐션 선택이 다른 곳에서 드러나는 동안에도 안심되게 읽힐 수 있습니다. 이 구간에서는 두 모드 모두 높은 적중률(약 0.93~0.96)을 유지해서, 적중률만 보면 리텐션 모드가 거의 중요하지 않은 것처럼 보입니다. 나머지 절반의 이야기는 첫 토큰 지연의 꼬리가 들려줍니다 — 카디널리티 1에서 in_memory 계열은 p95가 106,000 ms 부근이었던 반면 24h 계열은 9,900 ms 부근이었습니다. 즉, 리텐션 선택은 적중률이 아니라 지연 꼬리에서 드러났습니다. 그래서 리텐션은 캐시된 토큰 비중과 지연 시간을 나란히 봐야 하며 — 단순한 성능 조절값이 아니라 요청 정책이자 거버넌스 선택인 이유도 여기에 있습니다. 두 리텐션 모드, 각각의 수명, in_memory 기본값, 동일한 가격, 그리고 확장 리텐션의 인리전 조건은 Microsoft Learn이 문서화하는 내용이고, 지연을 적중률과 나란히 둔 공개 구간은 보편적인 지연 곡선이 아니라 이 저장소가 옹호하는 원천 실행 근거입니다. 아래 차트가 그 짝짓기를 명시적으로 보여 줍니다.

공식 동작 · 두 가지 리텐션 모드

자동 캐싱과 명시적 리텐션의 차이

Microsoft Learn은 두 가지 프롬프트 캐시 리텐션 정책을 설명합니다. in_memory와 24h입니다. 인메모리 캐시 항목은 일반적으로 비활성 상태 5~10분 이내에 제거되며, 마지막 사용으로부터 한 시간 이내에는 항상 제거됩니다. 확장 리텐션은 캐시된 프리픽스를 더 오래, 최대 24시간까지 활성 상태로 유지할 수 있습니다.

관측된 근거 · 희소한 공개 구간

지연 시간에 드러난 리텐션 선택

운영 정책 · 모호하면 닫힘으로 실패

리텐션 선택의 관측 가능성

공개 저장소에는 작은 리텐션 정책 헬퍼가 포함되어 있는데, 문서화된 기본값이 in_memory인 모델에서 값이 생략되면 이를 거부합니다. 엄격하게 들리지만, 흔한 실패 양상을 막아 줍니다. 설계는 더 긴 캐시 윈도를 가정하는데 요청 본문은 조용히 짧은 기본값을 취하는 경우입니다.

거버넌스 참고 · 지연 시간만이 아닌 리텐션

더 긴 리텐션에 필요한 거버넌스 점검

Microsoft Learn은 인메모리 프롬프트 캐싱이 모든 데이터 레지던시 지역과 호환된다고 명시합니다. 확장 리텐션의 경우, 캐시된 데이터가 지역 내에 머무는 것은 Regional Standard 또는 Regional Provisioned 모드에서만 해당한다고 말합니다. 이는 리텐션을 성능 결정뿐 아니라 거버넌스 결정으로 만듭니다.

따라서 더 긴 리텐션은 성능 결정인 동시에 거버넌스 결정입니다. 확장 윈도에 의존하기 전에 서빙 모드가 캐시된 데이터를 지역 내에 유지하는지 확인하고, 그 선택을 기본값에 맡기지 않습니다.

출처와 근거 경계

Tier 1 — 서비스 계약(Microsoft Learn). 두 가지 리텐션 정책, 인메모리 비우기·제거 윈도, 24시간 확장 리텐션 상한, gpt-5.4 및 이전 모델의 in_memory 기본값, 두 정책에 동일한 가격, 그리고 데이터 레지던시 동작이 여기에 문서화되어 있습니다.

• [1] Prompt caching with Azure OpenAI — in_memory와 24h 리텐션 정책, 비활성 5~10분 이내 인메모리 비우기와 마지막 사용 후 한 시간 이내 제거, 24시간의 확장 리텐션 상한, gpt-5.4 및 이전 모델의 in_memory 기본값, 두 리텐션 정책에 동일한 프롬프트 캐시 가격, 그리고 확장 리텐션이 Regional Standard 또는 Regional Provisioned 배포 유형에서만 캐시된 데이터를 지역 내에 유지한다는 데이터 레지던시 규칙을 정의합니다. 출처: Microsoft Learn 문서 (2026-06-04 접근) · 아카이브.

Tier 2 — 운영적 추론(이 저장소). in_memory 기본값 모델에서 값이 생략되면 닫힘으로 실패하는 리텐션 정책 헬퍼와, 희소한 공개 적중률·첫 토큰 지연 구간은 Learn 사양이 아니라 이 저장소의 운영적 추론이자 소스 실행 근거입니다.

• [2] 이 저장소, docs/12-prompt-cache-key-policy.md — 프롬프트 캐시 키·리텐션 런북: §4가 문서화된 모델별 기본값에서 in_memory 기본값 표를 도출하고 prompt_cache_retention을 명시하도록 규정합니다. 출처.
• [3] 이 저장소, batch-runner/batch_runner/cache/retention_policy.py — 문서화된 기본값이 in_memory인 모델에서 값이 생략되면 예외를 발생시키는 ensure_explicit 헬퍼이며, Learn 사양이 아니라 운영적 추론입니다. 출처.
• [4] 이 저장소, results/cache-key-bucketing/cache_hit_ratio_vs_cardinality.csv — 리텐션 적중률·첫 토큰 지연 표의 바탕이 된 희소한 공개 집계 구간으로, 보편적인 지연 규칙이 아니라 소스 실행 근거입니다. 출처.

이 주제가 증명하는 것과 증명하지 못하는 것. 접근일 기준 Microsoft Learn이 명시하는 프롬프트 캐시 리텐션 계약 — in_memory와 24h 정책, 인메모리 비우기·제거 윈도, 24시간 확장 상한, gpt-5.4 및 이전 모델의 in_memory 기본값, 두 정책에 동일한 가격, 확장 리텐션의 지역 내 레지던시 조건 — 과, in_memory 기본값 모델에서 값이 생략되면 prompt_cache_retention을 명시하고 닫힘으로 실패하라는 이 저장소의 경험칙을 문서화합니다. 단일 공개 구간에서는 카디널리티 1에서 리텐션이 첫 토큰 지연에 드러났습니다. 이는 소스 실행 근거이며, 모든 모델·리전·트래픽 형태에 걸친 보편적 지연 곡선을 증명하는 것은 아닙니다.