LLM API 비용을 80% 줄이는 프롬프트 캐싱: OpenAI와 Anthropic의 구조적 차이와 엔지니어링 설계법
엔터프라이즈 환경에서 RAG(검색 증강 생성) 시스템이나 수만 줄의 코드베이스를 분석하는 다중 턴(Multi-turn) AI 에이전트를 운영하다 보면, 매 요청마다 수만에서 수십만 토큰에 달하는 동일한 컨텍스트와 시스템 프롬프트가 반복 전송되어 API 비용과 첫 토큰 생성 시간(TTFT, Time to First Token)이 가파르게 증가하는 한계에 부딪힙니다. 이러한 인프라 오버헤드를 근본적으로 해결하기 위해 주요 프론티어 AI 벤더들이 도입한 표준 기술이…