Phanthy, 화웨이 Ascend 학습 1M 컨텍스트 모델 Phai-A1 공개
Phai-A1: Qwen3.6-35B-A3B를 화웨이 Ascend 칩에서 사후 학습한 1M 컨텍스트의 코딩 에이전트용 공개 모델
·2026.11.20 11:30
핵심 내용
화웨이 Ascend NPU에서 학습한 1M 컨텍스트 오픈소스 모델 Phai-A1이 공개됐다.
자세히 보기
- Phanthy가 Qwen3.6-35B-A3B를 베이스로 화웨이 Ascend NPU에서 사후 학습한 오픈 가중치 모델 Phai-A1-35B-1M을 공개함
- SWE-Bench Verified에서 83.6% 달성하여 베이스 모델 대비 10.2%p 향상, SWE-Bench Pro에서도 65.0점으로 15.5%p 개선
- YaRN을 적용해 1M 컨텍스트를 지원하며, Apache 2.0 라이선스로 배포됨
- RTX 3090 1장에서 MoE 구조(활성 3B) 덕분에 Dense 모델 대비 빠른 생성 속도 데모를 제공함
기술적 특징 및 한계
- MTP(Multi-Token Prediction) 가중치가 제거되어 베이스의 추측 디코딩 설정 사용 불가
- 1M 컨텍스트 사용 시 KV 캐시가 약 20GiB를 차지해 24GB VRAM 환경에서는 Q4_K_M 양자화 모델과 함께 실행 불가
- 비전 인코더 텐서는 존재하나 공식 GGUF에 mmproj가 없어 텍스트 전용으로 사용 가능
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.