대용량 공공데이터 XML/JSON 파싱 시 OOM을 방지하는 스트리밍 파서(Streaming Parser)와 제너레이터 파이프라인 설계
공공데이터포털(data.go.kr)이나 지자체, 공공기관 시스템과 연동하는 백엔드 시스템에서는 전국 단위의 사업자 등록 내역, 건축물대장, 병의원 및 약국 인허가 정보, 부동산 실거래가 등의 대용량 데이터셋을 정기적으로 수집하여 데이터베이스에 동기화하는 ETL(Extract, Transform, Load) 파이프라인을 운영합니다. 이러한 공공데이터는 단일 XML 또는 JSON 파일의 크기가 적게는 수백 메가바이트(MB)에서 많게는 수 기가바이트(GB)에 달하는 경우가 흔합니다. 초기 개발 시 xml.etree.ElementTree.parse()나 json.load() 같은…