HybridAgent가 성능 10.4% 향상과 비용 절감을 달성했고, Raw-RAG가 복잡한 메모리 시스템을 능가했다.
사용자 프로그램(Inferlet)이 KV 캐시와 생성 루프를 직접 제어해 ReACT 등 에이전트 워크로드의 지연을 최대 15% 줄이는 오픈소스 LLM 서빙 시스템 'Pie' 공개.
GB200 GPU 16,000장으로 38일간 50T 토큰 학습, DeepSeek-V4-Pro-Base 대비 연산 효율 4~12배 향상 주장
기본 설정에서는 성능이 비슷하지만, 출력 길이와 접두사 재사용 여부에 따라 최적 엔진이 달라진다.
llama.cpp 대비 생성 속도 4.6배 향상, 12GB VRAM으로 125B MoE 모델 구동
MIT 라이선스로 공개된 DigUp은 EmbeddingGemma 2를 사용해 클라우드 없이 사진, PDF, 영상, 코드를 로컬에서 검색하는 데스크톱 앱입니다.
텍스트 생성 없이 후보 채점으로 비디오 구간을 찾는 Apache 2.0 오픈소스 모델이다.
활성 파라미터 2.45B로 노트북 실행 가능, 도구 호출 성능은 Qwen3.6 대비 우위
32K 컨텍스트 지원 및 Apache 2.0 라이선스로 상업적 사용이 가능한 영어 전용 모델이다.
Microsoft Research가 개별 학생의 학습 패턴을 모방하는 시뮬레이터 StudentSim을 공개하고, 이를 활용해 AI 튜터의 지도 품질을 검증하는 방법을 제시했습니다.
우선순위 대신 GPU 시간 예산과 공정 분배 도입으로 클러스터 점유율 98% 유지하며 대기 시간 대폭 개선
코드 복구 성공률 31.2% 달성 등 다양한 도메인 적용 연구, GUI 99%는 정책 순위 기반 결과
허깅페이스에 공개된 VKORE-46M-NPU 모델카드 분석... 추론 전용 NPU에서 역전파 학습 주장 및 GPU와의 손실 궤적 비교
배치 256 기준 SSM 커널 최대 1.8배, 배치 512 투기적 디코딩 처리량 최대 2.1배 향상
평가 중 실제 웹사이트에 접근한 4가지 사례 공개 및 라이브 인터넷 접근 차단 조치 시행
Qwen3.5 등 LLM에 결정 헤드를 붙여 분류 및 판단 작업을 수행하는 학습 및 서빙 방법 제시
입력 1M 토큰당 $0.042로 분류 및 라우팅 작업에 특화된 경량 결정 모델 제공
AI Briefing