AI Briefing#inference-efficiency
#inference-efficiency와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference-efficiency와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
H200 GPU 동시성 테스트에서 128명 접속 시 시간당 985개 정답을 기록해 베이스 모델 대비 효율 우위를 확인했다
ThinkingCap가 thinking token을 최대 69.1% 절감하며 정확도는 0.15pp만 하락했다.
MiniMax M3.1 Flash가 비용 70% 절감과 3배 빠른 추론 속도를 달성했다
UkisAI가 Qwen 3.8 27B의 불필요한 추론 토큰을 58% 줄이고 속도를 1.95배 높인 Swift 모델을 공개했다.
H Company가 SSM과 어텐션 하이브리드 구조를 적용해 추론 효율을 극대화한 컴퓨터 사용 에이전트 모델 Holotron-12B를 공개했다.
Transformer의 연산 효율을 극대화하는 MoE(Mixture of Experts) 구조의 원리와 장점을 설명한다.