Amazon Nova Forge: 모두가 자체 프런티어 AI를 만들 수 있게 하는 ‘오픈 트레이닝’ 패러다임

Amazon Nova Forge는 조직이 자신들의 도메인에 맞는 expert foundation model을 만들도록 돕는 새 서비스다. 핵심은 공용 벤치마크에서 잘 나오는 모델이 아니라, 실제 업무 환경에서도 정확도·신뢰성·비용 효율·통제를 모두 만족하는 모델을 만드는 데 있다.

기존에는 기업이 선택할 수 있는 길이 셋뿐이었다.

• closed-weights LLM을 LoRA 같은 제한적 방식으로 미세조정하는 방법
• 공개 가중치 모델을 계속 pretraining/post-training하는 방법
• frontier-scale 모델을 처음부터 직접 만드는 방법

그러나 첫 번째는 깊은 도메인 이해를 만들기 어렵고, 두 번째는 원래의 학습 데이터와 레시피가 없어 catastrophic forgetting 위험이 크며, 세 번째는 계산 자원과 시간이 너무 많이 든다.

Nova Forge는 이 문제를 해결하기 위해 open training이라는 새로운 방식을 제시한다. 사용자는 pretrained, mid-trained, post-trained의 세 단계 체크포인트와 각 단계에서 학습을 이어갈 수 있는 recipes와 코드를 제공받는다. 여기에 조직의 proprietary data를 Amazon Nova 학습용으로 정제된 데이터와 섞어 쓸 수 있어, 데이터와 지식을 한 단계가 아니라 여러 단계에 걸쳐 주입할 수 있다.

학습 단계는 이렇게 나뉜다.

• pretraining: 대규모 비라벨 데이터로 다음 토큰 예측을 학습
• mid-training: 실제·합성 사용자-시스템 상호작용(trace)으로 특정 작업 성능을 높이면서 범용성도 유지
• post-training: SFT와 RL로 지시 수행 능력과 정책 정렬을 강화

이 구조 덕분에, 완전히 새로운 분야라면 pretrained checkpoint에서 계속 pretraining할 수 있고, 역사적 데이터가 충분하거나 상호작용을 합성할 수 있다면 mid-trained checkpoint에서 이어갈 수 있다. 또한 mid-trained checkpoint에 대해 SFT와 RL을 수행하거나, 실제 피드백과 합성 데이터로 지속적인 RL 업데이트도 가능하다.

특히 중요한 점은 frontier-scale data와 기업의 데이터를 섞는 API 기반 혼합 기능이다. 저자는 이를 통해 도메인 전문성이 부가 기능이 아니라 모델의 핵심 능력이 되며, 모델이 조직 내부 지식과 일반 지식을 같은 수준의 fluency로 다루게 된다고 설명한다.

사례로 Nimbus Therapeutics가 소개된다. 이 회사는 분자 설계와 약물 개발을 가속화하기 위해 Nova 2 Lite를 먼저 제약 특허 분석에 사용했고, 별도 커스터마이징 없이 95% accuracy를 기록했다. 이후 더 큰 목표로 하나의 통합 분자 인텔리전스 시스템을 만들기 위해 Nova Forge를 적용했고, 자체 화학 데이터셋을 넣은 뒤 supervised fine-tuning과 reinforcement learning으로 성능을 끌어올렸다.

초기 결과에서 이 맞춤형 모델은 분자 성질 예측 작업에서 다른 선도적인 LLM보다 큰 폭으로 앞섰고, 향후 분자 생성으로 확장될 가능성도 제시됐다. 이는 새로운 약물 후보를 더 빨리 찾고, 실험 비용이 큰 연구 개발 속도를 높일 수 있다는 의미다.

Amazon은 Nova Forge를 Amazon Nova 기반으로 자체 frontier 모델을 만들 수 있게 하는 첫 서비스라고 설명한다. 또한 앞으로는 더 강력한 Nova 2 Pro에 고객이 내부 팀과 동시에 조기 접근할 수 있게 하고, 몇 주 뒤에는 여러 체크포인트에서 학습을 이어갈 수 있는 recipes도 제공할 예정이다.

궁극적으로 Nova Forge가 겨냥하는 것은 모델 교체 비용의 감소다. 커스터마이즈된 Nova에서 새로 나온 Nova 모델로 지식을 옮기는 시간을 줄이고, 더 넓게는 모든 조직이 자기 도메인에 맞는 frontier AI를 직접 만들 수 있는 미래를 여는 것이 목표다.