AI Briefing#llm-optimization
#llm-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
CDP를 통해 AI 에이전트와 브라우저를 직접 연결하여 토큰 사용량과 비용을 획기적으로 줄인 OpenBrowser-AI가 출시되었습니다.
Microsoft가 다양한 프레임워크의 AI 에이전트를 강화학습 등으로 최적화할 수 있는 Agent Lightning을 공개했다.
Content Negotiation을 통해 AI 에이전트에게 최적화된 Markdown을 제공함으로써 토큰 효율성을 극대화한다.
고성능 모델의 능력을 작은 모델로 전수하여 복잡한 작업을 수행하게 돕는 'upskill' 도구를 소개한다.
SK플래닛이 사내 SQL 어시스턴트 Chat DIC에 AWS Bedrock의 Prompt Caching을 적용해 지연 시간과 토큰 비용을 줄였다.
Optimum Intel과 양자화 기술을 통해 Intel Xeon 프로세서에서 StarCoder의 추론 성능을 7배 이상 개선했다.