py-evoFE v0.3.0 공개

테이블 데이터 ML에서 수동 피처 엔지니어링의 한계를 해결하기 위해 **유전 프로그래밍(Genetic Programming)**을 적용한 오픈소스 라이브러리 py-evoFE v0.3.0이 공개됐다. 이 도구는 LightGBM이나 XGBoost 같은 GBDT 모델이 스스로 발견하기 어려운 복잡한 비율, 중첩 그룹화 집계, 비선형 차원 투사 등을 자동으로 탐색하고 최적화한다.

핵심 기능 및 성능

py-evoFE는 가능한 피처 레시피 공간을 탐색하며 다음과 같은 기술을 활용한다.

• 계층적 체이닝(Hierarchical Chaining): 진화한 피처가 다음 세대의 구성 요소로 사용되어 복잡한 변환을 누적한다.
• 40개 이상의 내장 변환기: 비선형 산술, 타겟 인코딩(WoE, 양자화 등), 문자열 유사성, 매니폴드 차원 축소(PCA, UMAP 등), 그래프 및 밀도 클러스터링 등을 포함한다.
• 고성능 연산: Polars와 PyArrow 기반의 벡터화 연산으로 속도를 높였다. 또한 행렬 해싱과 최근접 이웃 캐싱을 통해 CV 폴드 간 중복 계산을 제거한다.
• 다중 충실도 스크리닝(Multi-Fidelity Screening): 초기 개체군을 낮은 충실도로 빠르게 선별한 후, 유망한 후보군만 전체 충실도로 평가하여 효율성을 극대화한다.

병렬 탐색 및 앙상블

Island Model을 적용해 Ring, Torus, Grid 등 다양한 토폴로지에서의 다중 개체군 병렬 탐색을 지원하며, Gibbs 마이그레이션을 통해 개체군 간 정보를 교환한다. 탐색 종료 후에는 Greedy Caruana 앙상블 기법을 적용하여 최종 모델을 구성한다.