AI Briefing#llm-optimization
#llm-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
텍스트 대신 이미지를 활용해 LLM 입력 토큰 수를 줄임으로써 API 비용을 획기적으로 절감하는 기술을 소개한다.
Cognition이 비용을 35% 절감하면서도 최상급 성능을 유지하는 멀티 모델 하네스 Devin Fusion을 공개했다.
반복적인 LLM 작업을 로컬 소형 모델로 전환하여 비용을 절감하고 정확도를 검증하는 오픈소스 도구 tunelab이 공개되었습니다.
코딩 에이전트의 작업 특성에 맞춰 Speculative Decoding과 커널 최적화 등을 통해 추론 속도를 혁신적으로 높이는 방법을 다룬다.
자율적 에이전트, AI 역량 검증, 자원 최적화 등 최신 AI 연구 트렌드를 다룬 논문 10편을 요약함.
MiniMax가 백만 토큰 이상의 긴 컨텍스트 처리를 지원하는 Sparse Attention 기술인 MSA를 공개했다.
LLM 운영 비용을 최대 80%까지 절감할 수 있는 프롬프트 캐싱, 모델 라우팅 등 8가지 핵심 기술과 도구를 정리했다.
예측 모델을 활용해 LLM의 KV 캐시를 최대 4배까지 무손실로 압축하는 Speculative KV coding 기술을 소개한다.
AI 에이전트의 비용을 최적화하고 컨텍스트 문제를 해결하는 오케스트레이터 Puppetmaster가 공개되었습니다.
Firecrawl이 웹 페이지 변경 사항을 감지해 AI 에이전트에 알림을 보내는 /monitor를 출시했다.
Flotilla v0.5.0이 병렬 실행과 로컬 모델 위임을 통해 Claude SDK의 비용 및 실행 제한 문제를 해결한다.
마크다운 스킬 파일을 학습 가능한 파라미터처럼 최적화하여 에이전트 성능을 높이는 SkillOpt 연구가 발표되었다.
저렴한 모델이 작업을 수행하고 고성능 모델이 결정적인 순간에만 검토하는 오픈소스 코딩 에이전트 ClawCodex가 공개되었다.
GitHub Copilot이 단순 작업 처리를 위해 빠르고 저렴한 모델을 사용하는 클라우드 에이전트를 도입한다.
Claude의 성능 저하를 방지하기 위해 /btw, /rewind, /compact 등 4가지 컨텍스트 관리 도구를 효율적으로 사용하는 방법을 소개한다.
ChatGPT, Perplexity 등 AI 답변 엔진 내 브랜드 가시성을 추적하는 오픈소스 AEO 플랫폼이 출시되었습니다.
Apple Silicon에서 MTP 헤드를 활용해 LLM 추론 속도를 최대 2.24배 높이는 MTPLX 엔진이 공개되었다.
균일 quantization이 Qwen3.5의 민감한 레이어를 망가뜨린다.
Anthropic의 Opus 4.7 업데이트 이후 Claude Code의 토큰 소모량이 최대 4배 급증하는 문제가 발생했다.
Claude Platform에서 Opus를 조언자로 활용해 에이전트의 성능을 높이고 비용을 절감하는 어드바이저 전략이 도입되었다.
TriAttention은 삼각함수 기반 압축을 통해 정확도 손실 없이 KV 캐시를 10.7배 압축하고 처리량을 2.5배 향상시킨다.