수백만 건 공공데이터 변경분을 감지하는 해시 기반 델타(Delta) 동기화 파이프라인 설계
국토교통부 건축물대장, 행정안전부 지방행정 인허가 데이터, 도로명주소 등 국가 공공데이터포털(data.go.kr)에서 개방하는 주요 데이터셋은 작게는 수십만 건에서 많게는 1,000만 건 이상의 방대한 규모를 가집니다. 이러한 원천 데이터를 주기적으로 내부 RDBMS나 검색 엔진(Elasticsearch)에 동기화할 때 가장 큰 난관은 신뢰할 수 있는 변경 일자(updated_at) 컬럼의 부재입니다. 많은 공공데이터 API나 CSV 덤프 파일은 최종 수정 시각을 제공하지 않거나, 시스템…