범주형 Flow Maps 확장

Apple 연구진이 기존 10억 개 미만 규모에서만 평가되던 **Categorical Flow Maps(CFM)**를 1.7B 파라미터 모델로 확장했다. 2.1T 토큰으로 기본 Flow 모델을 학습한 뒤 자체 증류해, 단 4회 추론만으로 다양하고 높은 품질의 텍스트를 생성하도록 했다.

CFM은 Gaussian 분포와 원-핫 인코딩된 이산 데이터 분포 사이를 Flow Matching으로 연결하는 방식이다. 이를 통해 언어 모델링에서도 연속형 생성 모델의 빠른 샘플링과 생성 결과 조정 기능을 활용할 수 있으며, 생성 토큰의 엔트로피도 실제 데이터 수준에 가깝게 유지했다.

연구진은 반이산(semi-discrete) 환경에서 CFM의 가능도 하한도 제시했다. 이를 활용해 표준 언어 모델 벤치마크에서 모델을 평가했으며, 성능은 이산 Diffusion 모델과 비슷한 범위로 나타났다.

대규모 학습 과정에서 발생하는 문제도 분석하고, 다음과 같은 실용적 지침을 제시했다.

• 학습 손실 가중치 조정
• 시간 스케줄링 최적화
• 대규모 CFM 학습에서의 주요 난제 대응

이번 결과는 CFM이 소규모 실험을 넘어 대규모 언어 모델과 빠른 텍스트 생성에 적용될 수 있음을 보여준다.