AI BriefingTogether AI, TKCC 컴파일러로 AI 추론 속도 2.6배 향상
·2026.11.04 09:00
핵심 내용
TKCC가 영속 엔진으로 시작 시간을 9.0초로 줄여 실시간 추론 최적화를 실현했다.
자세히 보기
- Together AI가 실시간으로 AI 추론을 최적화하는 지속 컴파일 도구 TKCC를 공개함. Kimi K3, DeepSeek v4.1-Flash 등 프런티어 오픈소스 모델에서 최대 2.6배 높은 TPS 달성함.
- TKCC는 SemiAnalysis InferenceX에서 저지연 SOTA 벤치마크를 기록함. MiniMax M3.1-Flash에서 1111 TPS, DeepSeek v4.1-Flash에서 1205 TPS를 기록함.
- 영속 엔진을 활용해 엔진 재시작을 제거하고, 시작 시간을 467초에서 9.0초로 단축함. 기존 에이전트 시스템 대비 실험 처리량을 252배 증가시킴.
- 측정된 포워드 패스와 하드웨어 사양을 기반으로 병렬화 전략을 선택하는 맞춤형 비용 모델을 적용함. 6개의 모델 및 칩 조합에서 정적 구성보다 우수한 성능을 보임.
- LLM 추론을 넘어 기상 모델링, PDE, 시계열, 생물학 분야로 범위를 확장함. 테스트된 4개 모델 중 3개에서 Claude Code /goal 명령어 대비 기하평균 속도 개선 효과를 입증함.
- 트래픽 패턴이 최적화 필요성을 주도하며, 지역별 프롬프트 길이가 1.4배 차이남. 모델 출시 2주 후 에이전트 워크로드 증가로 프롬프트 길이가 80% 증가함.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
