Qwen3-Coder: 세계를 향한 에이전틱 코딩

Qwen3-Coder-480B-A35B-Instruct는 480B-parameter Mixture-of-Experts 모델로, 35B active parameters를 사용한다. 256K tokens를 네이티브로 지원하고, extrapolation 방법으로 1M tokens까지 확장할 수 있다.

오픈 모델 기준으로 Agentic Coding, Agentic Browser-Use, Agentic Tool-Use에서 새로운 최고 성능을 내며, 성능은 Claude Sonnet 4에 필적한다고 설명한다. 아울러 에이전틱 코딩용 CLI 도구 Qwen Code도 함께 오픈소스로 공개했다.

사전학습에서는 세 가지 축을 밀어 올렸다.

• 7.5T tokens로 학습했고, 그중 **70%**를 code ratio로 구성했다.
• 256K context를 네이티브로 지원하며, YaRN으로 1M까지 확장 가능하게 설계했다.
• Qwen2.5-Coder를 활용해 잡음이 많은 데이터를 정제·재작성해 합성 데이터 품질을 높였다.

후훈련 단계에서는 코드 작업과 에이전트 작업을 각각 강화했다. Code RL은 실행으로 검증 가능한 실제 코딩 과제에 대규모 강화학습을 적용했고, 테스트 케이스를 자동으로 확장해 다양한 고품질 학습 인스턴스를 만들었다. 그 결과 코드 실행 성공률이 크게 좋아졌고, 다른 태스크에도 성능 향상이 이어졌다.

실제 소프트웨어 엔지니어링에 가까운 **long-horizon RL (Agent RL)**도 도입했다. SWE-Bench 같은 과제에서 계획 수립, 도구 사용, 피드백 반영, 의사결정을 여러 턴에 걸쳐 수행하도록 학습했고, 이를 위해 Alibaba Cloud 인프라 위에서 20,000개 독립 환경을 병렬로 돌리는 시스템을 구축했다.

사용 도구도 함께 정리했다. Qwen Code는 Gemini CLI에서 포크한 연구용 CLI로, 커스텀 프롬프트와 function calling protocol을 넣어 Qwen3-Coder의 에이전틱 능력을 끌어낸다. 또 OpenAI SDK 호환 API, Claude Code 연동, Cline 설정 예시까지 제공해 다양한 개발 워크플로에 붙일 수 있게 했다.

핵심 메시지는 명확하다. Qwen3-Coder는 단순한 코드 생성기를 넘어, 실행과 도구 사용이 필요한 에이전트형 개발 작업을 겨냥한 기반 모델로 포지셔닝되고 있으며, 앞으로 더 많은 모델 크기와 자기개선 방향도 계속 탐색한다.