AI Briefing#inference
#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
1.58-bit MoE 모델이 12GB GPU에서 368K 컨텍스트를 지원한다.
Cerebras가 59개 웨이퍼에 Kimi K3를 배포해 초당 1000-2000+ 토큰 처리를 달성했다
Hugging Face가 AWS Trainium2 호환성을 검증하는 TorchNeuron Space를 출시했다.
OpenAI Jalapeño 칩이 AI 설계로 9개월 만에 테이프아웃을 달성했다.
NVIDIA Kumo Relational이 SAP SALT에서 AutoGluon보다 MRR 8% 우위를 보였다.
NVIDIA가 GTC Berlin에서 로컬 AI 하드웨어를 공개하고 Recursive Flint 모델을 출시했다
Spark-X2.6-4B가 9B급 성능을 내며 추론 예산을 제어할 수 있다
DeepSeek이 NVIDIA SM100과 Huawei Ascend 950을 지원하는 DeepInfer 추론 프레임워크를 오픈소스로 공개했다.
AnyLanguageModel 1.0이 OpenAI, Anthropic, Gemini API와 로컬 모델 지원을 추가했다
vLLM이 PyTorch 네이티브 TPU 백엔드를 제공해 코드 수정 없이 TPU v7x 구동이 가능해졌다
Nace.ai가 Apple Silicon용 오픈소스 추론 엔진 Kapitsa를 출시했다.
Quartermaster 1.7이 /v1/systemone 엔드포인트로 llama.cpp 결정 모델 지원을 추가했다.
Liquid AI가 온디바이스 에이전트용 MoE 모델 LFM2.5-24B-A2B를 공개했다.
Prime Intellect가 Moondream을 인수해 Photon 엔진 기반 Moondream 3.1을 Prime Inference에서 제공한다.
Graphsignal이 추론 엔진의 GPU 커널을 실시간으로 분석하는 graphsignal-top을 출시했다.
FLE Studio v0.1.0, llama.cpp용 로컬 채팅 인터페이스로 실시간 지표와 모델 관리를 지원한다.
H2O.ai가 JevBench에서 Jev 1.13을 제치고 오픈 모델 1위를 기록한 H2O-Lightning-4B를 공개했다.
Cognition 벤치마크 결과 Vera Rubin NVL72가 GB200 NVL72 대비 SWE-2 추론 토큰 처리량을 최대 4.8배 높였다.
Mica v0.1 4B는 30달러 미만으로 학습된 Apache-2.0 오픈소스 의사결정 모델로, 에이전트 루프에서 보정된 확률을 출력한다.
Qwen3 기반 CLM이 Jev의 모든 기능을 지원하며 Terminal-Bench에서 87.6%의 성능을 기록했다.