Salesforce, NVIDIA Nemotron 기반 첫 추론 모델 'Koa' 공개… CRM 오류 3분의 1로

Salesforce가 Dreamforce에서 NVIDIA Nemotron 3 Super를 기반으로 한 첫 번째 CRM 추론 모델 Koa를 공개했다. 이 모델은 약 30년간의 엔터프라이즈 CRM 배포 데이터에서 파생된 합성 데이터셋으로 포스트 트레이닝(post-training)을 거쳤으며, Salesforce 인프라 내에서 완전히 제어된다.

기술적 구현 및 성능

Koa는 Supervised Fine-Tuning과 Reinforcement Learning을 결합해 개발되었으며, NVIDIA NeMo RL, NeMo Gym, NeMo AutoModel을 활용했다. 제조, 금융, 헬스케어, 여행 등 14개 이상의 산업군에 걸친 합성 엔터프라이즈 시나리오를 학습 데이터로 사용했다.

Salesforce의 자체 벤치마크인 CRM Bench 결과, Koa는 기회 업데이트, 케이스 라우팅 등 실제 CRM 작업에서 기존 주요 모델과 동등하거나 더 나은 성능을 보였다. 특히 오류 발생률은 기존 대비 3분의 1 수준으로 감소했다.

데이터 보안 및 배포 계획

Salesforce는 모델 가중치를 자체 시스템에서 관리하며, 학습 및 추론 과정에서 고객 데이터를 사용하지 않는다고 밝혔다. Rohan Kumar Salesforce 플랫폼 및 엔지니어링 사장은 "고객 데이터는 단 1바이트도 사용되지 않았다"고 강조했다.

현재 Koa는 Salesforce 내부 Slack 에이전트에서 운영 중이며, 10월부터 Formula 1, UChicago Medicine 등 고객 파일럿 테스트에 투입된다. 미국 지역에서의 정식 출시(General Availability)는 2026년 겨울로 예정되어 있다.

Jensen Huang의 비전

NVIDIA CEO Jensen Huang은 AI가 인프라 계층으로서 '모든 것을 알고 모든 것을 할 수 있는' 시대를 열었다고 주장했다. 그는 AI 안전성을 공학적 문제로 규정하며, 혁신과 안전은 상충되는 것이 아니라고 강조했다. 또한 오픈 모델의 채택률이 작년 초 30%에서 현재 약 70%로 급증했으며, 모든 기업이 에이전트 기반 AI 기업이 될 것이라고 전망했다.