llama.cpp, 멀티 GPU 충돌 수정 예정

llama.cpp에서 멀티 GPU 환경의 Split Mode Tensor(SM Tensor) 사용 시 발생하는 시스템 충돌 문제를 해결하기 위한 패치가 진행 중이다.

기존 SM Tensor 모드는 일반 레이어 분할 방식보다 **약 35% 높은 토큰 생성 속도(TPS)**를 제공하지만, 약 90~120분마다 **VRAM 고갈(VRAM exhaustion)**로 인해 크래시가 발생하는 결함이 있었다.

이번 GitHub Pull Request(#22616)를 통해 해당 결함이 수정될 예정이며, 이를 통해 멀티 GPU 추론의 안정성이 크게 개선될 것으로 기대된다.