대용량 공공데이터 배치 적재 시 DB 락 경합을 방지하는 스테이징 테이블과 청크 분할 설계
공공데이터포털(data.go.kr)이나 지자체 인허가 시스템에서 제공하는 사업자, 병의원, 부동산 실거래가 등의 대규모 데이터셋을 정기적으로 수집하여 내부 RDBMS에 동기화하는 배치 파이프라인을 운영하다 보면, 데이터베이스의 동시성 저하와 락(Lock) 경합 문제에 직면하게 됩니다. 특히 서비스 운영 중에 수십만에서 100만 건 규모의 테이블을 대상으로 실시간 조회가 빈번히 일어나는 상황에서 단순 INSERT … ON DUPLICATE KEY UPDATE나 대규모 단일 트랜잭션 벌크…