AI Briefing#cost-optimization
#cost-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#cost-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
모델 호출 없이 프롬프트 구조를 분석하여 로컬과 클라우드 LLM으로 쿼리를 분배하는 라우터입니다.
LLM 기반 다중 에이전트 소프트웨어 개발 시 코드 리뷰 단계에서 가장 많은 토큰이 소비됨을 입증한 연구이다.
프로덕션 환경의 규제 준수와 비용 최적화를 지원하는 오픈 소스 멀티 에이전트 오케스트레이션 프레임워크 MeshFlow가 출시되었습니다.
Claude Code 사용 시 특정 동작이 프롬프트 캐시를 무효화하여 비용을 12.5배 급증시킬 수 있습니다.
AI Gateway가 제공자를 비용, TTFT, TPS 기준으로 정렬하는 sort 옵션을 추가했다.
Claude Code, Cursor 등 18개 AI 코딩 도구의 토큰 사용량과 비용을 추적하고 최적화하는 TUI 대시보드입니다.
여기어때는 P95와 컴포넌트별 버퍼 기준으로 Observability Right-Sizing을 정립했다.
AI 콜센터는 전통적 방식 대비 운영 비용을 30~70% 절감하며, 상호작용당 비용을 최대 90%까지 낮출 수 있다.
컬리가 행안부 API를 활용한 주소정제 1.0을 운영했으나, API 응답 지연과 커버리지 한계로 인해 시스템을 프리징하고 재설계를 결정했다.
컬리가 Airflow 운영 환경을 Kubernetes로 전환해 비용을 50% 절감하고 GitSync 및 OOM 문제를 해결했다.
SK플래닛 Planet AD가 EKS, DynamoDB 등 AWS 인프라 최적화를 통해 런칭 대비 비용을 약 27% 절감했다.
LLM으로 생성한 합성 데이터를 활용해 GPT-4 수준의 성능을 내는 저비용·고효율 맞춤형 모델 구축 방법을 제시한다.
AWS re:Invent 2023의 핵심인 Generative AI와 비용 최적화 및 옵저버빌리티 전략을 다룬다.
뱅크샐러드가 AWS DMS를 활용해 50여 개의 RDS 클러스터를 도메인 단위 5~10개로 통합해 비용을 1/3로 줄였다.
뱅크샐러드가 S3 데이터 조회 시 Athena 비용 급증을 Bucketing과 Partition 최적화로 해결해 비용을 약 700배 줄였다.