AI Briefing#llm-infrastructure
#llm-infrastructure와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-infrastructure와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
vLLM의 비표준 KV 캐시 구조가 Cerebras 등 이기종 하드웨어 간 추론 연동을 방해한다고 지적됨.
Colibri 엔진을 활용해 P2P 스웜 환경에서 MoE 모델을 분산 실행할 수 있는 Lumabri를 공개했다.
코딩 에이전트의 맥락 유지를 위해 4단계 기억 구조를 제공하는 오픈소스 메모리 서버가 공개되었습니다.
PyTorch Monarch가 AMD Instinct GPU와 ROCm 환경으로 확장되어 대규모 분산 학습의 결함 허용 능력을 강화한다.
오픈 모델 실행 플랫폼 Ollama가 8,800만 달러 규모의 시리즈 A 투자를 유치했다.
NAND 플래시를 3D 패키징 기술로 적층하여 LLM 가중치 저장에 적합한 고대역폭 메모리를 구현한다.
이벤트 로그를 진실의 원천으로 삼아 에이전트의 결정론적 재현과 포킹을 가능하게 하는 ActiveGraph 아키텍처를 제안한다.
데이터 에이전트가 데이터 웨어하우스의 메트릭과 비즈니스 지식을 정확히 이해하도록 돕는 컨텍스트 레이어 ktx가 공개되었습니다.
Stack Overflow가 AI 에이전트의 지식 공백을 메우기 위한 백엔드 서비스로 사업 모델을 전환한다.
LLMOps 플랫폼 TensorZero가 시드 투자 직후 GitHub 저장소를 아카이브하며 서비스 운영 방식을 변경함.
AI 에이전트가 안전하고 독립적으로 코드를 실행할 수 있도록 하드웨어 수준의 격리를 제공하는 LangSmith Sandboxes를 소개한다.
Hugging Face 공개 학습 데이터에서 유효한 자격증명 22만 개가 발견됐다.
LLM 호출의 비용 추적, 가드레일, 멀티 프로바이더 라우팅을 지원하는 Rust 기반 도구 Vidai Community가 출시되었다.
데이터 에이전트가 데이터 웨어하우스를 정확하게 쿼리하도록 돕는 오픈소스 컨텍스트 레이어 Ktx를 공개했습니다.
Anthropic 분석 결과, 비코딩 AI 에이전트의 실패는 모델의 추론 능력이 아닌 데이터의 비정형성 때문인 것으로 나타났다.
Starlette의 Host 헤더 처리 미흡으로 vLLM, LiteLLM 등 주요 AI 인프라의 인증이 우회될 수 있는 보안 취약점이 발견되었습니다.
AI 모델의 사양, 가격, 성능 정보를 통합 제공하는 오픈소스 데이터베이스인 Models.dev가 공개되었습니다.
기존 tiktoken 및 Hugging Face 토크나이저보다 2~5배 빠른 Zig 기반 멀티스레드 토크나이저 ztok이 출시되었습니다.
Claude Code 스타일의 에이전트를 위한 로컬 우선 메모리 및 제어 레이어인 Audrey 1.0이 출시되었다.
Rust 엔진과 강력한 샌드박싱 보안을 갖춘 셀프 호스팅 AI 에이전트 플랫폼 Frona가 출시되었습니다.
Anthropic이 Claude 데스크톱 앱에서 외부 게이트웨이를 통한 자체 인프라 사용 기능을 출시했다.
LLM을 실제 에이전트로 변환하는 경량 오픈소스 Python 인프라 OpenHarness가 공개됨.