수십억에서 수백억 개 파라미터를 가진 대규모 언어 모델(LLM)을 사내 도메인 특화 데이터로 학습시키거나 지시 미세조정(Instruction Tuning)할 때 가장 큰 장벽은 전체 파라미터 파인튜닝(Full Fine-Tuning)에 요구되는 천문학적인 GPU VRAM 메모리입니다. 16비트 부동소수점(FP16/BF16) 기준 70B 모델은 모델 가중치만 140GB를 차지하지만, 옵티마이저 상태(AdamW 모멘텀 및 분산), 그래디언트, 활성화 텐서(Activations)를 포함하면 700GB 이상의 엔터프라이즈 멀티 GPU 클러스터가 필수적이었습니다. 본…
주기적인 공공데이터 수집 크롤러, 일일 정산 정합성 검증, 메시지 발송 큐 등 엔터프라이즈 배치 자동화 파이프라인에서 가장 중요한 운영 제약은 ‘어떤 순간에도 동일한 배치 작업이 단 하나의 활성 노드(Single Active Leader)에서만 실행되어야 한다’는 점입니다. 가용성 확보를 위해 여러 서버에 스케줄러 인스턴스를 다중화(Multi-node)하면, 동일한 작업이 중복 실행되어 데이터베이스에 이중 쓰기(Double Write)가 발생하거나 외부 API 할당량이 순식간에…
전국 사업자 인허가/폐업 이력, 요양기관 진료 통계, 부동산 실거래가 등 수천만 건 규모의 공공데이터를 기반으로 분석 대시보드를 구축할 때 엔지니어가 마주하는 가장 까다로운 요구사항은 지역별 상위 N개 시설 추출, 월별 누적 집계, 직전 분기 대비 증감률(Lag/Lead) 계산입니다. MySQL 5.7 이전 버전에서는 이러한 순위 및 누적 통계를 구하기 위해 상관 서브쿼리(Correlated Subquery)나 동일 테이블 간의 자기…
검색 증강 생성(RAG) 파이프라인에서 가장 널리 쓰이는 표준 밀집 검색(Dense Retrieval)은 수백 개 토큰으로 구성된 문서 전체를 단 하나의 고정 크기 벡터(예: 768차원 또는 1536차원)로 압축(Mean Pooling)하는 방식을 취합니다. 하지만 긴 문서 내에 여러 세부 사실이 혼재되어 있을 경우, 단일 벡터 압축 과정에서 미세한 문맥 정보가 심각하게 손실되는 정보 병목(Information Bottleneck)이 발생합니다. 반대로 모든 질의-문서…
대규모 트래픽을 처리하는 분산 웹 서비스와 실시간 배치 파이프라인에서 데이터베이스의 부하를 덜어내기 위해 인메모리 캐시(Redis, Memcached)를 도입하는 것은 표준적인 아키텍처입니다. 하지만 캐시의 유효 시간(TTL)이 만료되는 순간, 시스템은 순식간에 서비스 중단으로 이어지는 캐시 스탬피드(Cache Stampede, 또는 Thundering Herd) 현상에 노출됩니다. 초당 수천 건의 조회가 집중되는 핫 키(Hot Key)의 캐시가 소멸되면, 수많은 워커와 클라이언트가 동시에 캐시 미스(Cache…
전국 사업자 상호명, 요양기관 시설명, 도로명 주소 등 수천만 건의 공공데이터를 서비스하는 백엔드 시스템에서 가장 높은 빈도로 호출되는 기능은 사용자가 입력한 검색어가 상호명이나 주소의 중간에 포함되어 있는지 확인하는 부분 일치(Sub-string) 검색입니다. 하지만 RDBMS의 기본 B-Tree 인덱스는 전방 일치(Prefix Match, LIKE ‘강남%’)에만 인덱스 레인지 스캔이 동작하며, 전방 와일드카드가 포함된 LIKE ‘%강남%’ 쿼리는 인덱스를 완전히 무시하고 수천만…
70B 이상의 대규모 언어 모델(LLM)을 단일 사용자 요청으로 서비스할 때 엔지니어가 마주하는 근본적인 물리적 한계는 연산 능력(FLOPs)의 부족이 아니라 메모리 대역폭 병목(Memory Bandwidth Bound)입니다. 자기회귀(Autoregressive) 생성 단계에서는 단 1개의 토큰을 생성하기 위해 수십 기가바이트에 달하는 모델의 전체 가중치 파라미터를 고대역폭 메모리(HBM)에서 GPU 연산 코어(SRAM)로 통째로 읽어와야 합니다. 즉, 1개 토큰을 생성하는 데 걸리는 시간과 배치…
모놀리식 아키텍처가 독립된 분산 데이터베이스를 가진 마이크로서비스로 분할되면서 엔지니어가 마주하는 가장 까다로운 난제는 단일 물리 트랜잭션(ACID)의 상실과 분산 데이터 정합성 유지입니다. 전통적인 분산 트랜잭션 프로토콜인 2단계 커밋(2PC, Two-Phase Commit)이나 XA 트랜잭션은 모든 참여 노드가 락(Lock)을 획득하고 응답할 때까지 대기해야 하므로, 네트워크 지연(Latency)과 단일 장애점(SPOF)으로 인해 고가용성 현대 클라우드 시스템에는 적합하지 않습니다. 본 글에서는 로컬 트랜잭션의…
전국 병의원·약국 현황, 상가 상권 정보, 부동산 실거래가 등 위치 기반 공공데이터를 서비스 백엔드에 통합할 때 가장 빈번하게 발생하는 병목은 ‘사용자 현재 위치 기준 반경 N km 이내 장소 검색’ 쿼리입니다. 수천만 건의 좌표 데이터에 대해 ST_Distance_Sphere(POINT(lon, lat), POINT(user_lon, user_lat)) <= 3000 조건을 WHERE 절에 단순 적용하면, MySQL 옵티마이저는 모든 행에 대해 삼각함수 연산을 반복…
대규모 언어 모델(LLM) 기반의 프로덕션 애플리케이션(RAG 시스템, 코딩 어시스턴트, 멀티턴 AI 에이전트)을 운영할 때 전체 토큰 소비량의 80% 이상은 사용자의 단일 질문이 아닌 반복되는 시스템 프롬프트, 도구 스키마, 문서 컨텍스트 등 공통 접두사(Prefix)에서 발생합니다. 기존 추론 엔진은 매 요청마다 동일한 접두사 토큰들에 대해 트랜스포머의 사전 채우기(Prefill/Prompt Phase) 단계 연산을 처음부터 다시 수행했습니다. 이로 인해 최초…