AI BriefingDecagon AutoResearch, 추론 스택 최적화 자동화로 최대 2.5배 처리량 달성
·2026.10.29 03:28
핵심 내용
Decagon AutoResearch가 추론 최적화를 자동화해 최대 2.5배 처리량 향상을 달성했다
자세히 보기
- Decagon이 추론 스택 병목 진단, 실험, 측정 과정을 자동화하여 성능을 개선하는 에이전트 시스템 AutoResearch를 출시함
- FP8 가중치 양자화와 NGRAM 투기적 디코딩을 결합해 초당 GPU당 요청 처리량(requests/s/GPU)을 최대 2.50배까지 향상시켰으며, 기타 최적화 항목은 1.05배에서 1.99배의 성능 향상을 기록함
- PII를 제거한 프로덕션 트래픽을 재구성하는 고충실도 리플레이 환경을 활용해 지연-처리량 곡선을 측정하고 노이즈 플로어 대비 개선 효과를 검증함
- 스케줄링, 투기적 디코딩, 커널 최적화 등 경쟁 가설을 병렬 서브 에이전트가 조사하며, 공유 평가 하니스가 결과를 Better, Same, Worse, Invalid 중 하나로 판정함
- 버전 관리된 조사 결과를 저장하는 공유 메모리 시스템을 통해 반복 작업을 방지하고 다양한 모델 엔드포인트 및 하드웨어 구성 간 인사이트를 이전함
- 향후 모델 업데이트나 워크로드 변화에 따라 에이전트가 주도하는 최적화로 전환하여 Decagon의 Intelligence Factory에 기여하는 것을 목표로 함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
