LightGBM 피처 중요도의 함정

LightGBM quantile regression을 사용하는 가격 예측 엔진에서 피처 중요도가 높음에도 예측 성능이 저하되는 현상이 발생했다.

Variant-conditioned Bayesian target encoder를 도입했을 때, 이 피처는 모든 시드 실행에서 q90 기준 압도적인 feature importance 1위를 기록했다.

하지만 검증 데이터셋 테스트 결과, MAPE(Mean Absolute Percentage Error)가 0.28pp 상승하며 오히려 성능이 저하되었다.

원인은 인코더가 제품 상태, 판매자 행동 등 피처로 포착할 수 없는 **비가역적 라벨 분산(irreducible label variance)**을 학습하여 과적합되었기 때문이다. 이는 피처 중요도가 높더라도 모델의 일반화 성능을 보장하지 않음을 보여주는 사례다.