RNGD로 GPT-OSS 120B를 5.8ms TPOT로 서빙하기

OpenAI 한국 사무실 오픈 행사에서 gpt-oss-120b를 RNGD 두 장으로 구동했고, 출시 후 몇 주 만에 5.8ms TPOT와 카드당 180W 미만의 전력 효율을 달성했다.

핵심은 새 MXFP4 포맷을 기존 하드웨어 파이프라인에 얹는 데 있었다. FP4 pair → FP8 변환, FP8 → FP32 cast, scale factor 적용을 모두 파이프라인화해 메모리 fetch와 연산을 겹치도록 만들었고, 그 결과 MLP 가중치 로딩과 잘 겹치며 TPOT 기여를 줄였다.

작은 텐서까지 효율적으로 다루기 위해 컴파일러 최적화도 추가했다. MXFP4 scale tensor와 bias tensor의 DRAM 레이아웃을 조정했고, attention sink 같은 연산도 데이터 이동 없이 처리하도록 지원했다.

MoE 병목은 gpt-fast 스타일의 커널로 줄였다. 128 experts 중 token당 4개만 활성화되는 구조라, 활성 expert만 sparsely load하는 방식이 latency에 유리했고, 다음 최적화가 적용됐다.

• indirect indexing 경로의 kernel-launch overhead 최소화
• 런타임 주소를 고려한 HBM bandwidth 모델링으로 실제에 가까운 스케줄 선택
• gather → rearrange → matmul 비용을 줄이도록 data layout과 matmul을 함께 최적화

멀티칩 구성에서는 Tensor Parallelism(TP) 을 선택했다. gpt-oss-120b는 파라미터, KV cache, activation까지 합치면 최소 60GB가 필요하고, RNGD 2장(총 96GB) 으로는 TP가 메모리 요구를 충족하면서 양쪽 칩의 HBM 대역폭도 모두 활용할 수 있었기 때문이다.

이번 데모는 단일 사용자 지연시간이 목표였기 때문에 EP보다 TP를 우선했다. reduce-scatter 직전에는 데이터를 촘촘히 패킹해 링크 효율을 높였고, decoding에서는 레이어 경계를 넘어 계산과 데이터 이동을 하나의 큰 스케줄로 합쳐 communication을 compute 뒤에 숨겼다.

결국 이 성능은 MXFP4를 하드웨어 파이프라인에 자연스럽게 녹이고, MoE의 동적 접근을 데이터 이동 관점에서 다시 설계한 결과였다. 저자는 앞으로 동시성, EP, TTFT 개선까지 넓혀 더 많은 서비스 조건에서 낮은 지연시간을 맞추겠다고 밝혔다.