LLM 추론 비용과 TTFT를 80% 절감하는 프롬프트 캐싱(Prompt Caching)과 접두사 해시 트리 아키텍처
대규모 언어 모델(LLM) 기반의 프로덕션 애플리케이션(RAG 시스템, 코딩 어시스턴트, 멀티턴 AI 에이전트)을 운영할 때 전체 토큰 소비량의 80% 이상은 사용자의 단일 질문이 아닌 반복되는 시스템 프롬프트, 도구 스키마, 문서 컨텍스트 등 공통 접두사(Prefix)에서 발생합니다. 기존 추론 엔진은 매 요청마다 동일한 접두사 토큰들에 대해 트랜스포머의 사전 채우기(Prefill/Prompt Phase) 단계 연산을 처음부터 다시 수행했습니다. 이로 인해 최초…
