데드라인 디비던드

컴퓨팅의 밀도는 과거엔 동일한 작업을 더 작은 공간에서 수행하는 방향으로 발전했으나, 최근에는 동일한 공간에 더 많은 워크로드를 수용하는 방향으로 확장되고 있다. AI 모델의 경우, 응답 속도가 빨라지면 단순히 같은 계산을 더 빨리 끝내는 것이 아니라, 주어진 마감 시간(deadline) 내에 더 많은 계산을 수행할 수 있는 여유가 생긴다. 이를 **데드라인 디비던드(deadline dividend)**라 하며, 이 여유분을 활용해 추가 전략, 검증, 또는 실패 복구 등 더 복잡한 추론 과정을 실행할 수 있다.

OpenAI가 GPT-5.6 Sol의 Ultrafast API를 공개하며 이 개념을 실증했다. Cerebras 하드웨어 기반의 Ultrafast 모드는 표준 모드보다 최대 14배 빠른 초당 750토큰의 출력 속도를 기록했다. Cerebras의 벤치마크에 따르면, 품질이 동일한 설정에서 GPT-5.6 Sol은 Ultrafast 모드에서 83.0초, 표준 모드에서 464.2초를 기록해 5.59배의 성능 향상을 보였다.

Artificial Analysis의 데이터에 따르면, gpt-oss-120b 모델에서 Cerebras는 초당 1,790.3토큰으로 2위인 SambaNova(701.3 TPS)보다 2.55배, 전체 엔드포인트 중앙값(170.7 TPS)보다 10.49배 빠른 속도를 보였다. 10초라는 제한된 시간 내에 1초의 오버헤드와 500토큰의 답변을 제외하고 생성할 수 있는 토큰 여유(headroom)는 중앙값 기준 1,036개, Cerebras 기준 15,613개에 달한다. 이는 모델이 더 긴 추론 체인(reasoning trace)을 수행하거나 에이전트 루프에서 더 많은 결정을 내릴 수 있음을 의미한다.