SenseNova-U1 모델 및 학습 코드 공개

OpenSenseNova가 SenseNova-U1 모델의 가중치와 학습 코드를 공개했습니다. 이번 공개에는 모델 가중치뿐만 아니라 Apache-2.0 라이선스가 적용된 학습 코드와 샘플 데이터셋이 포함되어 있어, 단순 가중치 공개보다 높은 투명성을 제공합니다.

주요 공개 사항:

• 모델 가중치: 8B MoT 및 A3B MoT 변형 모델 (MIT 라이선스)
• 학습 코드: InternEvo 프레임워크 기반, 텍스트-이미지 생성, 이미지 편집, 멀티모달 이해 등 5가지 작업 지원
• 기술 사양: FlexAttention 블록 마스크, ISP 병렬화, FSDP 가중치 샤딩, ZeRO-1 flow-matching 스케줄 적용
• 학습 요구 사양: 8B 모델 기준 8개의 H800(80GB) 1노드, A3B MoE 모델 기준 2노드 필요

전체 학습 데이터셋은 내부적으로 관리되어 완벽한 오픈 소스는 아니지만, 학습 환경 구축을 위한 상세한 쉘 런처와 설정값이 함께 제공됩니다.