추천Upstage, Solar Open 2 250B 공개

Upstage가 Solar Open 2(250B-A15B) 오픈웨이트 모델을 공개했다. 토큰당 15B 파라미터만 활성화하는 MoE 구조로 대형 모델 성능을 소형 모델 수준의 추론 비용으로 제공한다.

주요 특징:

• Hybrid-Attention MoE: 소프트맥스 어텐션 1개 레이어당 선형 어텐션 3개 레이어를 인터리빙 (총 48레이어 중 12개만 KV 캐시 유지)
• 1M 토큰 컨텍스트: 선형 어텐션이 위치 정보를 순환 상태에 내재적으로 인코딩해 RoPE 제거(NoPE), 이론적 컨텍스트 상한 없음
• 효율적 학습: Solar Open 1(102B) 가중치 중 아키텍처 변경 후 생존하는 2.3%만 이전하고 나머지는 랜덤 초기화, 초기 수렴 가속
• 다국어: 영어·한국어·일본어 지원
• 에이전틱 특화: 툴 콜링, 다단계 추론, 오피스 생산성·문서 작업·코딩 대상