LLM 파인튜닝 VRAM을 80% 절감하는 LoRA와 QLoRA 저순위 어댑터 아키텍처
수십억에서 수백억 개 파라미터를 가진 대규모 언어 모델(LLM)을 사내 도메인 특화 데이터로 학습시키거나 지시 미세조정(Instruction Tuning)할 때 가장 큰 장벽은 전체 파라미터 파인튜닝(Full Fine-Tuning)에 요구되는 천문학적인 GPU VRAM 메모리입니다. 16비트 부동소수점(FP16/BF16) 기준 70B 모델은 모델 가중치만 140GB를 차지하지만, 옵티마이저 상태(AdamW 모멘텀 및 분산), 그래디언트, 활성화 텐서(Activations)를 포함하면 700GB 이상의 엔터프라이즈 멀티 GPU 클러스터가 필수적이었습니다. 본…