Phanthy, 화웨이 Ascend 학습 1M 컨텍스트 모델 Phai-A1 공개

Phai-A1: Qwen3.6-35B-A3B를 화웨이 Ascend 칩에서 사후 학습한 1M 컨텍스트의 코딩 에이전트용 공개 모델

·2026.11.20 11:30

핵심 내용

화웨이 Ascend NPU에서 학습한 1M 컨텍스트 오픈소스 모델 Phai-A1이 공개됐다.

1 / 4

자세히 보기

  • Phanthy가 Qwen3.6-35B-A3B를 베이스로 화웨이 Ascend NPU에서 사후 학습한 오픈 가중치 모델 Phai-A1-35B-1M을 공개함
  • SWE-Bench Verified에서 83.6% 달성하여 베이스 모델 대비 10.2%p 향상, SWE-Bench Pro에서도 65.0점으로 15.5%p 개선
  • YaRN을 적용해 1M 컨텍스트를 지원하며, Apache 2.0 라이선스로 배포됨
  • RTX 3090 1장에서 MoE 구조(활성 3B) 덕분에 Dense 모델 대비 빠른 생성 속도 데모를 제공함

기술적 특징 및 한계

  • MTP(Multi-Token Prediction) 가중치가 제거되어 베이스의 추측 디코딩 설정 사용 불가
  • 1M 컨텍스트 사용 시 KV 캐시가 약 20GiB를 차지해 24GB VRAM 환경에서는 Q4_K_M 양자화 모델과 함께 실행 불가
  • 비전 인코더 텐서는 존재하나 공식 GGUF에 mmproj가 없어 텍스트 전용으로 사용 가능

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.