금융 보안 퀴즈를 AI에게 풀게 해봤습니다: 2025 금융 AI Challenge 우수상 후기

카카오뱅크 LostCow 팀은 2025 금융 AI Challenge에서 Public 1위, Private 2위를 기록하며 최종 우수상을 수상했다. 목표는 금융보안 실무에 쓸 수 있는 AI 모델을, 단일 LLM으로 객관식과 주관식을 함께 잘 풀어내는 것이었다.

핵심 제약은 분명했다. 24GB VRAM, 270분 추론 제한, 외부 의존 없이 재현 가능한 구성 안에서 성능을 최대화해야 했다. 특히 객관식은 정답 번호만 정확히 내야 하고, 주관식은 의미 유사도뿐 아니라 키워드 재현율이 중요해 검색과 생성의 균형이 중요했다.

모델은 여러 후보를 검토한 끝에 Qwen3-30B-A3B-Instruct-2507로 결정했다. 이유는 한국어와 장문 처리에 강하고, MoE 구조 덕분에 30B급이지만 실제 추론 활성 파라미터를 줄여 24GB 환경에서도 운용 가능했기 때문이다.

학습은 2단계 CPT로 설계했다.

• Stage-1: 법령 중심 CPT로 금융보안의 기준과 엄밀한 표현을 먼저 주입
• Stage-2: 가이드라인 중심 CPT로 절차적 설명과 사례형 서술 능력을 보강

catastrophic forgetting을 줄이기 위해 LoRA도 단계별로 다르게 적용했다. Stage-1에서는 MLP + MoE Gate + embedding까지 넓게 열어 약 **18%**의 파라미터를 학습했고, Rank=128에서는 rsLoRA를 사용했다. Stage-2에서는 Query/Value attention projection만 학습해 약 2% 수준으로 범위를 좁혔다.

데이터는 크게 법령과 가이드라인/안내서로 나눠 수집했고, 용도에 따라 전처리도 달리했다. CPT용 가이드라인은 원문 흐름과 문맥을 최대한 보존했고, RAG용 데이터는 BM25 성능을 위해 제어문자, CSS/HTML 잔여물, 반복 문자, 비정상 공백 등을 걸러내는 13단계 필터링을 적용했다. 같은 원본이라도 RAG 전용 정제가 필요했고, 그 차이만으로 4.5%p 성능 차이가 났다.

검색은 임베딩 기반 대신 BM25를 선택했다. 금융·법률 도메인은 핵심 키워드와 정확한 용어가 중요하고, 주관식 채점도 키워드 재현율 비중이 높기 때문이다. 청킹은 Sliding Window로 1,000 tokens / overlap 100을 적용했고, MeCab 형태소 분석으로 한국어 조사 변형에 강하게 만들었다.

Top-k 실험에서는 10개가 최적이었다. 5개는 정보가 부족했고, 20개부터는 노이즈가 늘었으며, 40개에서는 평균 토큰 수가 15,000을 넘어 OOM까지 발생했다. 결국 성능뿐 아니라 안정적으로 끝까지 돌리는 운영성이 중요하다는 점이 확인됐다.

전체적으로 이 파이프라인은 **도메인 지식 내재화(CPT)**와 **근거 기반 응답(RAG)**을 결합해, 제한된 자원 안에서도 금융보안 문항에 맞는 응답 품질을 끌어올린 사례였다.