수천만 건 공공데이터 초고속 분석을 위한 DuckDB 벡터화 실행 엔진과 Apache Parquet 아키텍처
1. 대규모 공공데이터 분석의 병목과 임베디드 OLAP 엔진의 등장 행정안전부 및 공공데이터포털(data.go.kr)을 통해 개방되는 전국 소상공인 상권 정보, 도로교통 링크 데이터, 건강보험 청구 데이터 등은 수천만에서 수억 건에 이르는 거대한 규모를 형성합니다. 이러한 대규모 정형 데이터를 분석할 때 전통적인 관계형 데이터베이스(MySQL, PostgreSQL 등)의 트랜잭션 지향 행 기반(Row-Oriented) 엔진은 디스크 I/O 병목과 불필요한 전체 튜플 역직렬화…