LLM 문맥 윈도우를 128K로 확장하는 RoPE와 YaRN 주파수 보간 아키텍처
1. 트랜스포머 위치 인코딩의 구조적 한계와 컨텍스트 확장 병목 대규모 언어 모델(LLM)이 수만 줄의 코드베이스, 수백 페이지의 기술 서적, 방대한 법률 문서를 한 번에 이해하기 위해서는 128K 이상의 초장문 컨텍스트 윈도우(Long Context Window)가 필수적입니다. 그러나 기존 트랜스포머의 절대 위치 인코딩(Absolute Positional Embedding)은 학습된 최대 시퀀스 길이를 초과하는 미지의 위치 인덱스에 대해 외삽(Extrapolation) 능력을 완전히 상실하여…