AI Briefing#inference
#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
테스트 타임 트레이닝은 추론 중 가중치를 업데이트해 메모리를 줄이고 속도를 높이지만, 사용자별 모델 복제라는 계산 비용이 발생한다.
OpenAI가 Cerebras 지분 4.2%를 확보한 직후, Cerebras 하드웨어를 활용한 초고속 서비스 'Ultrafast'를 공개했다.
Colibri 엔진을 활용해 P2P 스웜 환경에서 MoE 모델을 분산 실행할 수 있는 Lumabri를 공개했다.
AI Gateway를 AWS Marketplace에서 구매하고 AWS 청구서로 통합할 수 있게 됐다.
Daum이 Furiosa RNGD 기반으로 하루 5억 토큰 규모의 AI 검색 서비스를 운영한다.
AI 모델의 지능이 높아짐에 따라 동일한 컴퓨팅 자원으로 창출하는 가치가 커지며 컴퓨팅 비용이 급격히 상승할 것이다.
OpenRouter가 워크스페이스 내 추론 작업을 태그로 분류할 수 있는 Classifiers 베타 버전을 출시했다.
Hugging Face Diffusers가 SVDQuant 기반 Nunchaku W4A4 양자화를 공식 통합해 VRAM 사용량을 절반으로 줄이고 추론 속도도 향상시켰다.
OpenRouter에서 GPT-5.6 Sol은 OpenAI 토큰의 15%에 불과하지만 추정 지출의 34%를 차지하고 있다.
LLM의 난수 선택 편향을 지문으로 활용해 API 엔드포인트가 실제로 표방한 모델을 서빙하는지 검증할 수 있다는 논문이 공개됐다.