AI Briefing#llm-optimization
#llm-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
구글이 Apache 2.0 라이선스의 Gemma 4로 스타트업의 지연 시간과 인프라 비용을 줄인다고 밝혔다.
LangChain이 TypeSafe의 Jev 모델과 LangGraph를 결합해 LLM 의존도를 낮추고 에이전트 워크플로우를 최적화하는 가이드를 공개했다.
OpenAI가 GPT-6 모델의 프롬프트 캐싱 효율을 높이기 위해 명시적 캐시 브레이크포인트, 프리워밍, 진단 대시보드 등 새로운 기능과 가이드를 공개했다.
기존 모델을 인과적 인코더-디코더 구조로 변환하는 모델 그래프팅 기법을 적용해 Qwen3.5-4B의 프롬프트 처리 속도를 최대 3.7배 높였다.
TypeSafe AI의 Jev 모델을 활용해 대화 요약 없이 불필요한 도구 호출 결과만 선별 삭제하는 Claude Code 플러그인이 공개됐다.
에이전트 하네스 증류로 작업 성공률 23.3%에서 44.3%로 향상시키는 등 7편의 최신 AI 연구 결과를 소개했다.
UkisAI가 Qwen 3.8 27B의 불필요한 추론 토큰을 58% 줄이고 속도를 1.95배 높인 Swift 모델을 공개했다.
Google OKF v0.2 기반의 순수 Go 도구 'OKF Agent Memory'가 공개되어 벡터 DB 없이 마크다운으로 AI 에이전트 기억을 관리하며 입력 토큰을 약 80% 줄인다.
PyTorchKR가 연산 효율, 자율 에이전트, 멀티모달 추론 등 3대 트렌드를 중심으로 10편의 최신 AI/ML 논문을 요약했다.
GitHub Copilot이 토큰 수 감소가 아닌 전체 작업 효율성을 높이기 위해 출력 압축 및 컨텍스트 관리 방식을 최적화했다.
Anthropic이 지연 시간과 비용을 줄이는 단일 에이전트 기반 커머스 에이전트 가이드를 공개했다.
Deep Agents v0.7은 컨텍스트 엔지니어링 최적화를 통해 성능 저하 없이 기본 입력 토큰을 65% 절감했다.
방대한 로그 데이터를 패턴화하여 LLM 전송용으로 압축하는 도구입니다.
AI 에이전트의 안전한 실행을 위한 하네스 기술과 학습 효율을 높이는 새로운 최적화 기법들을 다룬 논문 모음입니다.
통계적 검증을 통해 에이전트의 의사결정 능력을 유지하며 컨텍스트를 압축하는 Distil이 공개되었습니다.
AI Gateway가 사용 사례에 맞춰 지연 시간, 처리량, 비용을 최적화할 수 있는 서비스 티어 기능을 도입했다.
동일한 하드웨어와 데이터셋 환경에서 LoRA 파인튜닝 속도를 겨루는 공개 리더보드가 출시되었습니다.
PrismML이 Qwen 3.6-27B를 1-bit 양자화로 3.9GB로 압축한 Bonsai 27B 모델을 공개했다.
효율적인 AI 에이전트를 위한 모델 라우팅은 단순 분류가 아닌 비용, 복잡도, 지연시간을 고려한 시스템 최적화 문제다.
llama.cpp의 ggml 라이브러리가 Ternary Bonsai 모델 지원을 위한 CPU용 Q2_0 양자화를 추가했습니다.
MiniMax M3는 Sparse Attention 기술을 통해 긴 문맥에서도 비용과 연산량을 획기적으로 줄여 장기 실행 에이전트 구현을 가능하게 한다.