LLM 추론 지연을 2배 이상 단축하는 투기적 디코딩(Speculative Decoding)과 검증 샘플링 아키텍처
70B 이상의 대규모 언어 모델(LLM)을 단일 사용자 요청으로 서비스할 때 엔지니어가 마주하는 근본적인 물리적 한계는 연산 능력(FLOPs)의 부족이 아니라 메모리 대역폭 병목(Memory Bandwidth Bound)입니다. 자기회귀(Autoregressive) 생성 단계에서는 단 1개의 토큰을 생성하기 위해 수십 기가바이트에 달하는 모델의 전체 가중치 파라미터를 고대역폭 메모리(HBM)에서 GPU 연산 코어(SRAM)로 통째로 읽어와야 합니다. 즉, 1개 토큰을 생성하는 데 걸리는 시간과 배치…