NVIDIA Blackwell GPU, OpenAI GPT-6 Astra Ultrafast로 토큰 생성 속도 최대 8배 향상

NVIDIA Blackwell GPU 기반의 GPT-6 Astra Ultrafast가 OpenAI API와 ChatGPT Work, Codex 대상 사용자에게 공개됐다. NVIDIA Blackwell 아키텍처의 추론 최적화를 활용해 Astra Standard 모드 대비 토큰 생성 속도를 최대 8배까지 높였다.

개발자 워크플로에 미치는 영향

개발자에게 이 속도 향상은 코딩 에이전트의 편집-테스트-디버그 주기를 단축하고 도구 호출 간 지연 시간을 줄인다. 코드를 작성하고, 도구를 사용하며, 결과를 확인하고 다음 단계를 결정하는 반복적 워크플로에서 빠른 응답이 특히 중요하다. Ultrafast는 Astra의 기능을 이러한 시간 민감형 루프에 적용해 대화형 애플리케이션의 반응성을 높인다.

지속되는 성능 개선

OpenAI는 NVIDIA GPU에서 추론 소프트웨어를 개선하기 위해 자체 모델을 활용하고, 플랫폼의 프로그래밍 가능성을 통해 개선 사항을 테스트하고 구현한다. OpenAI 추론 리드 Philippe Tillet은 NVIDIA의 툴링이 Blackwell 및 Rubin GPU용 고성능 커널 생성을 가능하게 하여 지연 시간, 처리량, 비용을 최적화한다고 밝혔다.

OpenAI 컴퓨팅 CTO Uday Ruddarraju는 이 협업이 AI를 더 빠르고 유용하게 만드는 데 기여한다고 강조했다. 프로그래밍 가능한 NVIDIA 플랫폼은 팀이 학습, 추론, 강화 학습 전반에 걸쳐 인프라를 재사용할 수 있게 해 모델이 진화함에 따라 활용도를 높인다. 개발자는 오늘부터 API를 통해 GPT-6 Astra Ultrafast에 접근할 수 있으며, 가격 및 구현 세부 사항은 Ultrafast 가이드에서 확인할 수 있다.