AI Briefing#llm-optimization
#llm-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
SparseRead가 모델 수정 없이 에이전트 토큰 비용을 92.9%까지 절감했다
InfraRSI는 설정과 코드 동시 탐색으로 H100/H200에서 기하평균 1.83x 속도 향상을 기록했다.
Unsloth의 새 퀀트 방식이 토큰 사용량을 50% 줄이고 정확도를 15% 높였다
RTX 4090에서 초당 491개 질문을 처리하는 오픈소스 LLM 추론 서버가 공개됐다.
생성 비용 가중 어휘 선택으로 Qwen3-4B 기반 채점 모델의 추론 비용을 77% 줄였다.
ThinkingCap-Qwen3.8-Flash-Next가 88.8% 정확도를 유지하며 토큰을 22~51% 절감했다
Base Compute가 Qwen3.8-27B용 BaseQuant V1을 출시했다.
Lexifina 지식 그래프가 에이전트 지연을 73%, 토큰 사용량을 92% 줄였다
Cloudflare가 프롬프트 캐싱 최적화로 AI 코드 리뷰 비용을 68% 낮췄다
Benzi는 컴파일러 활용으로 코드 읽기 43% 감소, SWE-bench 82.4% 달성했다
AWS가 사전 훈련 비용을 99% 줄이는 하이브리드 SSM 변환 기법 priming을 공개했다.
Jev 모델 통합으로 Qwen 3.8의 LLM 호출 29.6% 감소 및 비용 26.6% 절감을 달성했다.
마이크로소프트가 GPT-6 Sol보다 35배 빠른 저지연 의사결정 모델 Microsoft-Decision-1을 공개했다.
CacheBack은 FanOutQA에서 Qwen3-8B로 텍스트 대비 3.2배 빠르고 14.7%p 높은 정확도를 달성했다.
WFD 프레임워크가 초안과 검증을 동시 배치해 Huginn-3.5B에서 4.81배 속도 향상을 달성했다.
Jeff v1.3이 Qwen 3.8-27B 코딩 작업을 47% 가속화하면서도 정확도를 유지했다.
새 벤치마크 Telegraph Test가 LLM이 평문과 동등하거나 더 높은 정확도로 케이블스 레코드를 읽으며 토큰을 25~49% 절감함을 입증했다.
FLEET은 보상 이력 기반 MCTS로 GSM8K 샘플링 반복을 절반, LiveCodeBench는 9회로 줄였다.
Open SWE 실험에서 새 미들웨어가 품질 유지하며 코딩 작업당 중간 비용을 64% 줄였다.
Mixdog 벤치마크 결과, Codex CLI와 Claude Code 대비 비용 19-39%, 컨텍스트 28-46% 절감했다.
Cortexist가 Gemma 4 기반 하이브리드 음성 스택을 공개해 로컬 벤치마크에서 최대 99.0%의 시작 턴 정확도를 달성했다.
Anthropic이 claude-api 스킬에 build-eval과 hillclimb을 추가해 자동 평가와 최적화를 지원한다.