수천만 건 공공데이터 ETL 적재 시간을 90% 단축하는 MySQL LOAD DATA와 무중단 테이블 스왑 아키텍처
전국 사업자 DB, 도로명 주소, 요양기관 데이터 등 수천만 건에 달하는 대용량 공공데이터를 주기적으로 수집하여 서비스 DB에 갱신하는 ETL 파이프라인에서 가장 큰 기술적 도전은 대량 적재 시 발생하는 데이터베이스 I/O 병목과 서비스 가용성 저하입니다. 일반적인 ORM 기반 단건 INSERT나 수천 건 단위의 INSERT INTO … ON DUPLICATE KEY UPDATE 문은 매 레코드마다 B+Tree 인덱스 재정렬,…
