Reflection, 501B MoE 오픈 모델 Beam 공개

미국 신생 연구소 Reflection이 Apache 2.0 라이선스로 501B 파라미터 MoE 모델 Beam을 공개했다. 코딩과 에이전트 작업에 최적화된 이 모델은 토큰당 23B 활성 파라미터와 100만 토큰 컨텍스트 윈도우를 지원한다.

아키텍처 및 효율성

Beam은 메모리 사용을 최적화하기 위해 하이브리드 어텐션 메커니즘을 채택했다. 총 52개 레이어로 구성되며, 43개 슬라이딩 윈도우 레이어(512 토큰 윈도우)와 9개 글로벌 레이어(전체 컨텍스트)로 나뉜다. 이 설계로 KV 캐시 증가량을 일반 방식 대비 약 1/6 수준으로 줄였다. 100만 컨텍스트 기준 KV 캐시 용량은 36.08 GiB로, 표준 구현의 208 GiB보다 훨씬 적다.

MoE 구조는 49개 레이어에 걸쳐 256개 전문가(experts)를 포함하며, 모델 파라미터의 **98.4%**를 차지한다. 라우터는 DeepSeek-V3 그룹 제한 방식을 따르며, 4개 선택된 그룹에서 상위 8개 전문가를 선택한다. 글로벌 레이어는 긴 컨텍스트에서 정밀도를 유지하기 위해 위치 인코딩 대신 scalable-softmax 쿼리 스케일링을 사용한다.

배포 및 서빙

Beam은 BF16(~1 TB), FP8(Hopper/Ampere GPU용), NVFP4(~280 GB, NVIDIA Blackwell GPU용) 형식으로 제공된다. transformers, SGLang, vLLM에 대해 Day-0 지원이 이루어진다.

• 하드웨어 요구 사항: NVFP4 체크포인트는 4 B200 GPU(720 GB) 또는 2 B300 GPU가 필요하다. FP8 체크포인트는 8 H200 GPU에서 실행할 수 있다.
• 추측 디코딩: vLLM은 reflection/dflash2-drafter-preview 모델을 지원하며, 한 번의 순방향 패스당 최대 15개 토큰을 예측할 수 있다.
• 추론 제공자: Hugging Face Inference Providers를 통해 Baseten, Fireworks, Together에서 이용 가능하다.

벤치마크 및 성능

Reflection은 에이전트 및 추론 벤치마크에서 강력한 성능을 보고했다:

• SWE Bench Pro v2-Hard: 78.6%(NVFP4), 78.4%(FP8), 76.5%(BF16).
• Terminal Bench v2.1: 80.1%(BF16).
• AIME 2026: 97.7%(BF16).
• GPQA Diamond: 90.6%(BF16).
• MCP Atlas: 80.8%(BF16).

후속 학습 및 파인튜닝

출시에는 TRL과 Miles(Reflection & RadixArk)를 사용한 후속 학습 레시피가 포함된다.

• SFT: Multilingual-Thinking 데이터셋에서 LoRA 어댑터를 활용한 파인튜닝으로 언어 준수율을 3/16에서 16/16 요청으로 개선했다.
• GRPO: 96 H200 GPU에서 전체 파라미터 GRPO 학습을 진행해 AIME 2025 정확도를 **46.25%**에서 **55.8%**로 높였다. 32 H200 GPU에서의 LoRA GRPO는 정확도를 **42.9%**에서 **64.2%**로 개선하면서 평균 출력 길이를 줄였다.

생태계 및 도구

• Transformers: 버전 >=5.20.1이 필요하다. 추론, 답변, 도구 호출을 분리하는 parse_response와 reasoning_effort 파라미터(low to max)를 지원한다.
• 데모: macOS 자막 앱인 BeamSpeak와 Decision Model Fine-tuning 예제를 포함한다. Beam의 가이드로 파인튜닝된 Qwen3.5-0.8B 모델은 사고 분류에서 76.25% 정확도를 달성했으며, 제로샷 프롬프팅의 4.69% 대비 11.9배의 지연 속도 향상을 보였다.