AI Briefing#llm-performance
#llm-performance와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-performance와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
TKCC가 영속 엔진으로 시작 시간을 9.0초로 줄여 실시간 추론 최적화를 실현했다.
지푸가 ZCode에서 GLM-5.3-Highspeed를 그레이 릴리스로 테스트하며 초당 약 490토큰 속도가 보고됐다.
Claude 모델의 실제 추론 토큰 사용량이 벤치마크 대비 현저히 낮아 'Inference Gap'이 발생하며, 이에 대한 투명성 공개와 규제 논의가 필요하다는 분석이 제기됐다.
Inception Labs가 지능을 40% 높이고 초당 1,107 토큰을 생성하는 Mercury 2.5를 공개했다.
두 가지 API 설정을 통해 GPT-5.6의 ARC-AGI-3 성능과 효율성을 극대화했다.
vLLM의 chunked-prefill 전략에서 발생하는 긴 프롬프트의 큐 차단 문제를 분석하고 최적화 방안을 제시한다.
Artificial Analysis가 가격, 속도, 품질을 종합 평가하는 LLM 성능 리더보드를 Hugging Face에 도입했다.