AI Briefing#llm-inference
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Nace 퀀트가 128K 컨텍스트에서 Unsloth와 EXL3보다 높은 정확도를 기록했다.
RidgeFill이 학습 없이 Qwen3.8-27B 프리필 속도를 1.25~1.31배 높였다
Anthropic이 제로지증명으로 LLM 추론을 검증하는 FlashProve를 공개했다.
DeepX가 5W 전력으로 1000억 파라미터 LLM 구동이 가능한 DX-M2 칩 테이프아웃을 완료했다.
BigMoeOnEdge가 16GB 노트북에서 125B MoE 모델을 플래시 저장소에 배치해 실행한다
D3D는 검증 중 후속 블록을 드래프팅해 의존성을 제거하고 DFlash보다 높은 평균 속도 향상을 달성했다
OpenRouter가 최대 4배 성능 향상된 Auto 라우터를 출시했다.
Modular가 LLM 추론 지표와 최적화, 운영 비용을 다루는 57페이지 무료 핸드북을 공개했다.
ChatGPT, Claude, Gemini가 계량 사용량 제한을 도입했지만 개별 메시지 비용을 공개하지 않았다.
Mercor가 Vercel AI Gateway로 배치 작업 시간을 2~3시간으로 단축했다
Baseten이 2B 결정 모델 joey-1을 공개하며 API 입력 1M 토큰당 $0.01의 가격을 제시했다.
오픈소스 모듈이 Nvidia 3000 시리즈 GPU의 BF16 처리량을 최대 81%까지 끌어올렸다
ISTA DASLab이 DeepSeek-V4.1-Flash-1017용 GSQ-RCO 양자화 파일을 공개했다.
PN-Mix가 2.26비트 정밀도로 고비트 베이스라인과 동등한 정확도를 달성했다
Berth v0.3.4가 Windows VM용 GPU 패스스루와 보안 업데이트를 제공했다.
llama.cpp 포크인 AbliteratedOutTheBox가 추론 중 실시간으로 LLM 안전 필터를 제거한다
inclusionAI가 5층 DFlash 백본 기반 추측적 디코딩 모델을 출시했다
llm-d 1.0이 멀티테넌트 QoS와 제로다운타임 업그레이드를 갖춘 프로덕션 LLM 추론 스택을 출시했다