신용평가에 적용한 머신러닝

8퍼센트 CSS(Credit Scoring System)팀은 대출자의 신용을 더 정교하게 평가하기 위해 머신러닝 모델을 실험했다. 신용평가는 실제 부실 대신 연체 여부를 예측하는 분류 문제로 다뤄졌고, 모형 중심의 접근을 소개한다.

데이터는 CB(Credit Bureau)에서 받은 신상, 대출, 연체, 카드 정보와 자체 지표로 구성됐다. CB 데이터는 변수별로 Special Value를 두는 특징이 있었고, 예시로 ABC001(60일 내 카드 한도 소진율)은 신용카드기관수와 총한도금액합계 조건에 따라 서로 다른 특별값을 사용해 카드 정책 유추와 0으로 나누는 문제를 함께 막았다.

모델 구축은 세 단계로 진행됐다.

• 변수 선택: 독립변수와 종속변수의 상관을 키우고 변수 간 중복을 줄이는 mrmr를 사용했다.
• 데이터 전처리: 범주형 변환, 결측치 처리, 날짜 변환을 수행했고, 신경망에는 Min Max Scaling도 적용했다.
• Special Value / Categorical 처리: Special Value는 (v, 0, 0) 같은 방식으로 분리 인코딩했고, 범주형 변수는 One Hot Encoding을 썼다.

전통적 기준선으로는 Logistic Regression을 사용했지만, 성능 측면에서는 더 복잡한 머신러닝 모델들을 검토했다. 트리 계열로는 Decision Tree, Random Forest, Gradient Boosting, 그리고 XGBoost를 시도했다. Gradient Boosting은 잔차를 순차적으로 학습하는 방식이며, XGBoost는 손실 함수의 2차 근사와 regularization을 활용하는 구현으로 설명된다.

신경망 계열로는 MLP, ResNet, Transformer를 학습했다. Transformer는 분류 문제에 맞게 Cross Attention 대신 MLP를 두는 구조로 응용했고, TabTransformer와 FT-Transformer를 참고해 Special Value를 별도 embedding한 뒤 Transformer 출력의 차원을 줄이고 MLP로 최종 예측을 내도록 설계했다.

결과적으로 신경망 기반 모델 중에서는 Transformer 응용 모델이 가장 좋았지만, 전체적으로는 XGBoost보다 성과가 낮았다. 저자들은 tabular classification에서 tree-based model이 deep learning보다 강한 경우가 많다는 점을 언급하며, 이후에도 더 나은 리스크 제어를 위해 다양한 아키텍처와 LLM 활용 가능성을 계속 탐색하겠다고 정리한다.