Applied Compute, 자체 연구용 AI 모델 훈련 플랫폼 AC2 공개

Applied Compute는 자사 연구진이 Microsoft, NVIDIA, Cognition 등 고객사를 위해 최첨단 모델을 구축하던 내부 플랫폼 **AC2(Applied Compute Agent Cloud)**를 공식 출시했다. AC2는 AI 팀이 자체 데이터를 기반으로 오픈 모델을 훈련하고, 대규모로 서빙하며, 프로덕션 데이터를 다음 실행에 반영하는 단일 플랫폼을 제공한다.

모델 팩토리 구축 및 유연한 선택

AC2는 프롬프트 수준을 넘어 모델 자체를 커스터마이징할 수 있게 한다. 최신 오픈 모델을 지원하여 워크로드별 성능, 속도, 비용을 고려해 최적의 기반 모델을 선택할 수 있으며, 새로운 웨이트가 출시되면 스택 재구축 없이 빠르게 전환할 수 있다. 또한 수십 줄의 코드로 훈련을 시작할 수 있어 연구자가 인프라가 아닌 실험과 데이터에 집중할 수 있게 한다.

엔지니어링된 실험 프로세스 및 자동화

RL 모델 훈련은 과학이자 예술인 만큼, AC2 콘솔은 롤아웃 분석, 실행 비교, 그레이더 반복 등 연구자가 문제를 디버깅할 수 있는 콕핏 역할을 한다. 프론티어급 포스트-트레이닝 스택은 GPU 성능을 극대화하면서도 ML 안정성을 유지하도록 설계되었으며, 컴퓨트 및 컨텍스트 길이 확장에 따라 워크로드를 적응시킨다. 또한 Ari라는 응용 연구 에이전트가 훈련 루프 내내 결과를 분석하고 실패 모드를 발견하며, 오프라인 상태에서도 실행 건강을 모니터링하고 롤아웃을 읽으며 다음 실험을 위한 더 나은 데이터로 전환하는 행동을 취한다.

전용 추론 용량 배포 및 지속적 개선

서빙 스택은 지연 시간, 처리량, 비용을 균형 있게 최적화하며 트래픽 변화에 따라 자동 스케일링된다. 훈련과 서빙이 동일한 플랫폼에서 이루어지므로 프로덕션 엔드포인트는 훈련 시 사용된 샘플링 구성, 수치 정밀도, 커널을 그대로 사용한다. 완료된 실행에서 체크포인트를 수 분 만에 99.9% 가동률, 자동 스케일링, 스펙ulative decoding 기반 저지연 추론으로 배포할 수 있다. 새로운 체크포인트도 API, 라우팅, 접근 제어 변경 없이 동일한 엔드포인트 뒤에서 수 분 만에 배포된다.

배포 후 발생하는 실제 사용자 상호작용, 수정, 피드백과 같은 가장 가치 있는 데이터를 수집하여 지속적 훈련에 활용한다. 프로덕션 트레이스는 실패 모드를 식별하고 새로운 데이터 포인트를 구축하며, AC2의 온-폴리시 셀프-디스틸레이션(on-policy self-distillation)은 원래 환경을 재현할 수 없어도 프로덕션 트래픽에서 학습 신호를 생성해 다음 모델로 전달한다.