OUI-1 공개: DiffusionGemma 기반 Generative UI 모델, 벤치마크 71.7% 달성

Thesys가 DiffusionGemma를 기반으로 파인튜닝한 OUI-1 모델을 공개했다. 이 모델은 Generative UI Benchmark에서 **71.7%**의 점수를 달성하며, 베이스 모델 대비 성능을 5.5배 향상시켰다. 26B 파라미터(활성 파라미터 4B) 구조로, 소비자용 GPU(RTX 5090 등)에서 FP8 포맷으로 실행 가능하다.

학습 전략 및 성능 개선

OUI-1은 OpenUI Lang 프로토콜을 사용하며, JSON 대비 토큰 사용량을 최대 67% 절감하고 스트리밍 생성을 지원한다. 학습은 두 단계로 진행되었다.

• Phase 1 (SFT): 대형 모델이 작성한 예제로 LoRA 파인튜닝을 수행했으나, 생성 시간이 증가하고 파싱 실패가 발생했다. 단일 라이브러리로 범위를 좁혀 점수를 **28.8%**까지 끌어올렸으나, Schema 오류와 Wiring 오류 간 트레이드오프가 존재했다.
• Phase 2 (Self-distillation): Parser 기반 검증 보상과 Rejection Sampling을 적용해 자기 학습을 진행했다. 이를 통해 생성 시간을 4.3초에서 1.9초로 단축하고, Schema 오류와 Wiring 오류를 동시에 감소시켜 점수를 **57.1%**까지 회복했다.

벤치마크 결과 및 비교

최종적으로 27개 Component Library에 대한 추가 학습(Phase 3)을 거쳐 **71.7%**의 최종 점수를 기록했다.

• 비교 모델: Qwen3.8 27B (78.8%), Qwen3.6 27B (68.5%), Gemma 4 31B (46.7%) 등
• 특징: 4B 활성 파라미터 이하 모델 중 최고 성능을 기록했으며, Dense 27B급 모델에 근접한 성능을 보인다.
• 일반화 능력: 훈련에 사용되지 않은 AppLess 라이브러리에서 DiffusionGemma(23개) 대비 55개의 유효한 출력물을 생성하며 일반화 성능을 입증했다.

배포 및 향후 계획

모델 가중치는 Hugging Face에 Gemma Terms of Use 하에 공개되었으며, 벤치마크 코드와 원본 생성물은 GitHub에서 확인할 수 있다. 향후 개인 기기에서의 로컬 실행, OpenUI Lang 0.5를 통한 상태 관리 인터페이스 생성, 1초 이내의 저지연 로컬 생성을 목표로 개발을 이어갈 예정이다.