AI BriefingRunAnywhere, Trainium2용 NKI 엔진 오픈소스 공개
[P] NKI layer megakernels for GLM-5.3-Flash on AWS Trainium2: where a decode step's time went, and what we changed [P]
·2026.11.05 06:47
핵심 내용
RunAnywhere가 NKI 엔진을 오픈소스 공개해 디코드 지연을 24.2ms로 단축했다
자세히 보기
- RunAnywhere가 AWS Trainium2에서 GLM-5.3-Flash(320B MoE, 1M 토큰 컨텍스트)를 단일 trn2.48xlarge 인스턴스로 서빙하는 추론 엔진을 오픈소스로 공개함
- 10월 17일부터 11월 1일까지 배치 8 디코드 지연 시간이 32.2ms에서 24.2ms로 개선됨. 이는 각 단계당 3.2ms를 절감한 융합된 스파스 어텐션 레이어 및 KDA/MoE 커널 덕분임
- 프로파일링 결과 초기 빌드에서는 디코드 단계의 실제 모델 연산이 2%에 불과했으며, mHC 전사영행렬 변환에 36%, XLA 글루에 33%가 소요됨. 이를 계기로 워킹 셋을 온칩에 유지하고 콜렉티브 연산을 오버랩하도록 재작성함
- AgentX 벤치마크에서 16 에이전트 기준 중앙값 디코드 속도 35.9 토큰/초를 기록하며, 분당 최대 28.9개의 에이전트 요청 처리 성능을 달성함
- 바이트 단위 검증 및 고정밀도 참조를 통해 정확도를 유지함. 스파스 어텐션 프리필의 남은 근사화는 선택의 1.2%에 영향을 미치며, 로그 확률을 평균 0.012~0.021 nats만큼 이동시킴
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
