LLM 서빙 처리량을 극대화하는 PagedAttention과 KV 캐시 메모리 가상화 아키텍처
대규모 언어 모델(LLM)을 프로덕션 환경에 서빙할 때 가장 큰 병목은 모델 파라미터 자체의 크기가 아니라, 자기회귀(Autoregressive) 생성 과정에서 동적으로 누적되는 KV 캐시(Key-Value Cache) 메모리입니다. 각 토큰을 생성할 때마다 이전 토큰들의 Key와 Value 텐서를 계속 보관해야 하므로, 배치 크기(Batch Size)와 동시 요청 수가 증가할수록 고가의 GPU VRAM이 급격히 고갈됩니다. 전통적인 서빙 프레임워크는 사전 할당(Pre-allocation) 방식을 채택하여…