Carbon-X, GPT-6.1 Sol과 동급 DNA 성능 1/1,800 비용

DNA 시퀀스와 자연어를 결합해 학습한 14.8B 파라미터의 디코더 전용 모델 Carbon-X가, 사고(thinking) 모드 비활성화 상태에서 5개 DNA 벤치마크 평균 66.7% 달성함
기본 Qwen3-14B 모델 대비 27점 우위이며, 문제당 추론 비용이 약 1/1,800 수준인 GPT-6.1 Sol(67.5%)의 성능에 근접함
텍스트용 BPE 어휘와 DNA용 5,515개 토큰(6-머 4,096개, 테일 토큰 1,364개)을 결합한 하이브리드 토크나이저를 사용해 별도 인코더 없이 단일 토큰 스트림으로 DNA와 텍스트 처리함
bfloat16 포맷으로 단일 80GB GPU에 가중치를 탑재해 민감한 시퀀스의 로컬 처리 가능, ClinVar 변이 240만 개 분석 시 비용은 약 300달러로 프론티어 모델의 32,000~400만 달러 대비 대폭 절감함
40개 레이어, 히든 사이즈 5120, GQA(쿼리 헤드 40, KV 헤드 8), SwiGLU, QK-norm 적용 RMSNorm, 40,960 토큰 컨텍스트 윈도우 구성함
DNA, 생물학, 영어, 지시 데이터 302B 토큰으로 중간 학습 후, 검증 가능한 보상 기반 강화 학습과 지도 미세 조정 수행함

핵심 내용