대규모 공공데이터 실시간 동기화를 위한 CDC(Change Data Capture)와 Debezium·Kafka 증분 파이프라인 아키텍처
1. 공공데이터 배치 폴링(Polling) 아키텍처의 구조적 한계 수천만 건 규모의 전국 요양기관, 대중교통 노선, 지자체 인허가 데이터 등 대규모 공공데이터를 외부 서비스와 연동할 때 전통적으로 가장 많이 활용되어 온 방식은 주기적 배치 폴링(Periodic Batch Polling)입니다. 일정 시간 간격(예: 1시간 또는 매일 자정)마다 원천 데이터베이스를 대상으로 SELECT * FROM table WHERE updated_at > :last_sync_time 쿼리를 수행하여…