AI BriefingLatentLoop, 비대칭 컴퓨트 할당으로 반복형 MoE 모델 효율성 향상
·2026.10.23 15:50
핵심 내용
LatentLoop가 비대칭 컴퓨트 할당으로 1.3B-7B 모델의 효율과 성능을 개선했다.
자세히 보기
- 반복형 Mixture-of-Experts(MoE) 모델의 효율성과 성능을 향상시키기 위한 비대칭 컴퓨트 할당 방식인 LatentLoop 제안함
- 피팅된 NLL 1.988 기준, 일반 MoE 대비 19.0%, 반복형 베이스라인 대비 7.9%의 컴퓨트 절감 효과 달성함
- 1.3B에서 7B 파라미터 범위의 15가지 구성에서 0-shot 및 5-shot 설정으로 검증 NLL을 일관되게 낮추고 9개 벤치마크 평균 점수를 개선함
- 첫 번째 방문 시 시퀀스를 압축하고 두 번째 방문 시에는 전체 해상도를 유지하며, 절감된 컴퓨트를 재할당하여 히든 사이즈를 확대하는 방식 작동함
- 방문 간 MoE 가중치를 공유하되, 서로 다른 시퀀스 해상도를 수용하기 위해 개별 어텐션 파라미터 사용함
- 테스트된 최대 예산이 10^21 FLOPs를 초과함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
