AI Briefing#performance-optimization
#performance-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#performance-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Inco AI가 모델별 전용 커널과 초안 모델을 적용한 Apple Silicon 추론 엔진 Splash를 공개했다.
Databricks Metric View를 도입해 대시보드와 AI 에이전트 간 지표 정의 불일치를 해소하고, 에이전트 운영 비용을 약 50% 절감한 사례.
Browser Use가 TypeSafe와 협업해 동적 인덱싱 액션 스페이스로 브라우저 제어 속도를 25% 높인 오픈소스 에이전트를 공개했다.
Oozie와 Sqoop 기반 1,200여 개 파이프라인을 Airflow와 Spark로 전환해 입수 속도를 최대 70% 단축하고 조회 성능을 66배 향상했다.
Querydsl 기반 커서 페이지네이션과 Batch 처리로 대량 데이터 읽기·쓰기 성능을 극대화하는 방법을 정리했다.
OpenAI가 ChatGPT의 10억 사용자 트래픽을 처리하는 스토리지 플랫폼 Habitat을 Rust로 재작성해 성능을 대폭 개선했다.
실제 에이전트 워크로드 시뮬레이션에서 LRU를 능가하는 KV 캐시 정책이 없음을 입증한 연구 결과가 발표됐다.
Grafana 커스텀 플러그인으로 10만 점 산점도를 구현하며 겪은 렌더링, 쿼리, 증분 조회 최적화 과정을 정리했다.
카카오뱅크가 Service/Core Layer 분리와 Age-Based Work-Stealing을 적용해 10,000 TPS와 낮은 지연시간을 달성하며 발송기를 재구축했다.
Rust 기반 CPU 전용 LLM 추론 프레임워크 eLLM이 베타 공개되어, 긴 추론 작업에서 GPU보다 빠른 성능을 제공한다고 밝혔다.
ik_llama.cpp가 Qwen3.8-Flash-Next의 MTP 기능을 공식 병합하여 RTX 5090 환경에서 추론 속도가 약 2배 빨라졌다.
LFM2.5 모델에 DSpark 스펙ulative decoding 적용으로 GPU 및 온디바이스 추론 속도 최대 3.2배 향상.
Apple Silicon에서 ANE와 GPU를 병렬로 활용해 LLM Prefill 속도를 최대 50%까지 향상시키는 기술이 공개되었습니다.
AI 코딩 에이전트 최적화를 위해 Tree-sitter의 C 코어를 Rust로 재작성하여 성능을 높였다.
HuggingFace 토크나이저 대비 최대 1000배 빠른 속도를 제공하는 Rust 기반의 gigatoken이 공개되었습니다.
SIMD와 캐싱 기술로 텍스트 처리 속도를 GB/s 단위로 높인 토크나이저 GigaToken이 공개됐다.
Vercel이 Python 함수 빌드 시 바이트코드를 사전 컴파일하여 콜드 스타트 시간을 대폭 줄였다.
Flags SDK가 마이크로태스크 큐 오버헤드를 줄여 여러 기능 플래그를 일괄 평가하는 속도를 10배 높였다.
미리캔버스가 Amazon OpenSearch 3.3 업그레이드를 통해 stored fields 병목 현상을 해결하고 검색 성능을 최적화했다.
미리캔버스가 4,000만 건의 디자인 리소스를 대상으로 Amazon OpenSearch Service 기반의 듀얼 벡터 검색을 도입하고 성능을 최적화했다.
SGLang은 복잡한 LLM 및 Diffusion 워크플로우를 자동화하기 위해 에이전트용 실행 가능한 스킬(SKILL.md)을 도입하고 있다.
여기어때 전시개발팀이 Redis Repository 사용 중 발생한 CPU 100% 장애를 분석하고 RedisTemplate로 전환하여 해결한 사례를 공유한다.
토스 내부용 유틸리티 라이브러리였던 es-toolkit이 성능 최적화를 통해 글로벌 프로젝트로 성장한 과정을 다룬다.