Cognition, 3배 큰 모델 압도하는 276B 코딩 모델 SWE-2 Flash 공개

• Cognition이 총 276B, 활성 12B 파라미터 규모의 코딩 모델 SWE-2 Flash를 공개함. 3배 큰 미국 오픈웨이트 모델들을 포함한 모든 미국 오픈웨이트 모델보다 주요 평가에서 우수한 성능을 보임.
• 기존 Inkling-Small 모델 대비 Terminal-Bench 4.0 점수가 0.9%에서 20.0%로, FrontierCode 2.0 점수가 3.2%에서 24.0%로 향상됨. ExploitBench 점수는 11.3%에서 34.8%로 상승함.
• SWE-2 Flash는 Devin Desktop과 CLI에서 제공되며, 대형 SWE-2 모델 대비 가격은 5분의 1, 속도는 3배(60 tok/s 대비 200 tok/s) 빠름.
• 사이버 리스크로 인해 가중치 공개는 보류됨. Cognition은 신뢰할 수 있는 산업 파트너 및 연구 기관과 안전하게 공유하는 프로그램을 구축 중임.

Training Methodology

• 강화 학습 전 단계로 새로운 중간 학습(mid-training) 단계를 추가함. 고품질 과학 논문, 블로그, 코드 등 수 조 토큰 규모의 데이터를 활용함.
• 토큰 효율 플롯을 활용해 데이터 혼합 비율을 최적화하여 토큰당 검증 손실 개선 효과를 극대화함.
• 실제 엔지니어링에 필요한 일반 추론 및 문제 해결 능력 향상을 위해 고품질이고 다양한 태스크에 초점을 맞춘 강화 학습을 수행함.

Availability and Access

• 11월 30일까지 Devin Desktop과 CLI에서 무료 접근 가능함.
• 엔터프라이즈 및 정부의 가시성과 제어 요구 사항을 충족하기 위해 온프레미스 배포를 지원하도록 설계됨.