AI Briefing#llm-inference
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Moonshot AI의 Kimi K3 모델이 ZDR 기능을 포함하여 Vercel AI Gateway의 미국 기반 제공업체들을 통해 지원됩니다.
Baseten이 지연 시간을 최소화하여 성능을 극대화한 GLM-5.2 전용 초고속 API를 출시했다.
llama.cpp의 포크 버전인 BeeLlama.cpp가 KV 캐시 양자화 효율을 높인 v0.4.1을 공개했다.
Llama.cpp가 MCP(Model Context Protocol)를 지원하여 로컬 모델 기반의 에이전트 환경을 구축할 수 있게 되었습니다.
AI 에이전트의 반복 루프를 제어이론 기반으로 자동 종료해 API 비용을 최대 92.8% 줄이는 오픈소스 라이브러리 LoopGain이 공개됐다.
Cactus가 Gemma 4 E2B에 68k 파라미터 프로브 레이어를 추가해 모델 자체 오류 감지 및 클라우드 라우팅 신호로 활용하는 하이브리드 추론 시스템을 공개했다.
Claude Opus 4.8이 OpenRouter에서 Anthropic 전체 토큰 소비의 40%, 달러 지출의 45%를 차지하며 지배적 모델로 부상했다.
pi 0.81.0 버전에서 llama.cpp(llama-server router) 통합 지원이 추가되었습니다.
여러 대의 머신에서 실행되는 Ollama 인스턴스 간의 효율적인 라우팅과 관리를 지원하는 오픈소스 도구 Stoke가 출시되었습니다.
Qwen2.5-Coder를 4-bit로 양자화해도 코드 생성 성능 저하가 거의 없다는 연구 결과가 발표되었습니다.
텐서 단위 스케줄링을 통해 소비자용 기기에서 LLM 추론 성능을 대폭 향상시킨 ATSInfer 연구 발표
ik_llama.cpp에 openPangu-2.0-Flash 모델 지원 및 GGUF 포맷 업데이트가 이루어졌다.
LLM 서비스의 트래픽 변동으로 발생하는 유휴 GPU 자원을 연구 및 학습용으로 재할당하는 효율적인 스케줄링 파이프라인을 구축했다.
llama.cpp가 에이전트 작업 시 컨텍스트 체크포인트가 과도하게 생성되어 성능이 저하되던 버그를 수정했습니다.
여러 대의 기기에 분산된 GPU와 메모리를 하나의 OpenAI 호환 API로 통합하는 Mesh LLM이 공개되었습니다.
저사양 CPU 환경에서 KV 캐시 재사용과 n-gram 아카이브를 통해 추론 효율을 극대화한 LLM 서버입니다.
하드웨어의 연산 및 메모리 대역폭 상태에 따라 투기적 디코딩의 토큰 수를 동적으로 조절하여 LLM 추론 효율을 극대화한다.
Ollama가 6,500만 달러 규모의 Series B 투자를 유치하며 기업용 AI 에이전트 시장 공략을 가속화한다.