LLM 추론 KV 캐시를 93% 압축하는 GQA와 MLA(Multi-Head Latent Attention) 어텐션 아키텍처
1. 자기회귀 LLM 디코딩의 메모리 대역폭 병목과 KV 캐시 폭증 대규모 언어 모델(LLM)의 자기회귀(Autoregressive) 토큰 생성 단계는 연산량(FLOPs)보다 GPU HBM(High Bandwidth Memory)으로부터 모델 가중치와 과거 토큰의 Key-Value(KV) 캐시를 매 스텝 읽어 들이는 메모리 대역폭에 의해 성능이 제한되는 전형적인 Memory-Bound 작업입니다. 표준 멀티 헤드 어텐션(MHA)에서는 모든 어텐션 헤드마다 독립적인 Key와 Value 행렬을 캐싱하므로, 컨텍스트 길이가 128K에…