ContinuousBatching

1. 기존 LLM 추론 서빙의 메모리 병목과 단편화 한계 대규모 언어 모델(LLM)을 운영 환경에서 서빙할 때 가장 큰 병목은 모델 파라미터 자체의 크기가 아니라, 추론 과정에서 생성되는 Key-Value(KV) 캐시의 기하급수적인 GPU VRAM 점유입니다. 트랜스포머의 자기주의(Self-Attention) 메커니즘은 이전 토큰들의 연산 결과를 반복 계산하지 않기 위해 KV 캐시를 메모리에 유지해야 합니다. 그러나 전통적인 추론 프레임워크(HuggingFace TGI 초기…