네이버, Airflow 3.0 도입 PoC 중 Python 멀티프로세싱 fork 문제 발견 및 해결기 공개

주요 내용

• 네이버 팀은 데이터 입수 플랫폼의 배치 워크플로를 Airflow 2.10.2로 운영 중이며, 2025년 4월 릴리스된 Airflow 3.0 도입을 위한 PoC를 진행
• PoC 과정에서 Python 멀티프로세싱 방식 중 하나인 fork로 인한 문제를 발견하여 해결 및 기여한 과정을 시리즈로 공개 (1편은 배경지식 설명)
• Airflow의 task 실행에는 병렬성과 격리성이라는 두 가지 핵심 요건이 필요
• 병렬성: CPython의 GIL로 인해 멀티스레드 환경에서도 Python 바이트코드는 한 순간에 하나만 실행되므로, 멀티코어 병렬 처리 이점을 얻지 못하는 제약이 존재
• 격리성: 사용자가 작성한 task 코드가 부모 프로세스나 다른 task에 영향을 주지 않아야 하며, Python의 모듈 전역 관리(sys.modules) 특성상 런타임에 import된 모듈을 재등록하기 어렵다는 문제도 존재
• 2편에서는 이 한계가 Airflow에 실제로 어떤 문제를 일으켰는지 원인과 해결 과정을 다룰 예정

큐레이터 노트

Airflow 3.0 도입 과정에서 발견한 Python 멀티프로세싱의 근본적 한계와 Airflow의 task 실행 구조를 상세히 분석함으로써, 유사한 환경을 운영하는 개발자들에게 실질적인 기술 참고 자료를 제공한다.