마이크로소프트, 시각적 피드백 기반 AesCode 공개… GPT-5.5 능가

마이크로소프트가 슬라이드, 포스터, 대시보드 등 복잡한 시각 자료용 구조화된 편집 가능 HTML/CSS 코드를 생성하는 AI 모델 AesCode를 공개했다. 이 모델은 이미지 생성기를 미적 가이드로 활용하면서 프롬프트 기반의 진실 출처(source of truth)를 통해 텍스트와 논리 정확성을 유지하여, 시각적 피드백이 부족한 기존 코드 모델의 한계를 해결한다.

핵심 방법론

AesCode는 의미적 요구 사항과 시각적 단서를 분리하는 decoupled cross-modal rewards 학습 파이프라인을 사용한다.

• Design Graph Supervision: 노드는 요소(텍스트, 차트, 표)를, 엣지는 관계(정렬, 순서)를 정의하는 그래프 구조를 활용한다.
• Attribute-Specific Reward Routing: 6가지 결정적 검증기(실행, 텍스트 정확도, 경계, 데이터 무결성, 레이아웃, 여백)와 디자인 그래프에 바인딩된 예/아니오 질문으로 시각적 속성을 평가하는 Visual Graph Rubric을 결합한다.
• Reward Normalization: GDPO를 사용하여 보상 채널을 정규화함으로써, 조밀한 규칙 기반 보상이 희소한 시각적 피드백을 압도하는 것을 방지한다.

벤치마크 성능

300개의 인포그래픽 샘플로 평가한 결과, AesCode는 특히 시각적 품질에서 주요 모델 대비 상당한 개선을 보였다.

• AesCode-32B: Overall score 85.89 달성 (Visual: 77.44, Rule: 94.33).
• AesCode-8B: Overall score 82.94 달성 (Visual: 75.80, Rule: 90.07).
• 경쟁 모델: 유사한 참조 조건에서 GPT-5.5는 81.28, Claude Opus 4.8은 80.39를 기록했다.

주요 발견 사항에 따르면 학습 중 습득한 시각적 지식이 정책 지식으로 전이된다. 추론 시 참조 이미지를 제거하면 AesCode-8B의 시각 점수는 1.0점만 하락하는 반면, 백본 모델(Qwen3-VL-8B)은 19.6점 하락하여 디자인 원칙이 효과적으로 내재화되었음을 입증한다.

배포 및 요구 사항

코드는 MIT 라이선스로 Hugging Face에서 제공되며, 체크포인트는 Qwen3-VL 백본 라이선스를 따른다.

• 모델: microsoft/AesCode-8B, microsoft/AesCode-32B
• 인프라: 학습에는 Python 3.10, CUDA 12.6, NVIDIA B200 GPU 8개가 필요하다.
• 의존성: Playwright Chromium, PaddleOCR 2.10.0, RL 학습용 수정된 verl 버전을 사용한다.
• 데이터: 저장소에 데이터셋은 포함되지 않으며, 학습에는 3,000개의 SFT 시연과 7,408개의 RL 프롬프트가 사용되었다.