대용량 데이터 수집 시 403 차단을 방어하는 파이썬 세션 풀과 풀 지터(Full Jitter) 설계법
공공데이터포털의 OpenAPI나 대외 웹 서비스를 대상으로 정기적인 데이터 수집 파이프라인(ETL)을 운영하다 보면, 초기 개발 단계에서는 정상 동작하던 스크립트가 대량 배치 실행 환경에서 403 Forbidden 또는 429 Too Many Requests 에러를 뿜으며 중단되는 현상을 흔히 겪습니다. 이는 대상 서버의 WAF(웹 애플리케이션 방화벽)나 리버스 프록시(Nginx, Cloudflare 등)의 Rate Limiting 모듈이 기계적인 요청 패턴을 비정상 트래픽으로 탐지하여 일시적…