Carbon 오픈 DNA 모델 공개

Hugging Face가 Carbon이라는 오픈 DNA foundation model 패밀리를 공개했다. 핵심 모델 Carbon-3B는 현재 SOTA로 언급된 Evo2-7B와 맞먹는 성능을 내면서도 275배 빠르다고 밝혔다.

• DNA는 자연어와 달라 노이즈와 중복이 많아 LLM식 레시피를 그대로 쓰지 않았다.
• 토크나이저는 뉴클레오타이드 대신 결정적 6-mer를 사용해 시퀀스를 6배 짧게 만들고 attention 비용을 낮췄다.
• 학습 후반의 loss spike를 줄이기 위해 cross-entropy에서 **factorized loss(FNS)**로 중간 전환했다.
• 데이터는 기능성 DNA와 mRNA를 단계적으로 섞고, 비율은 ablation으로 조정했다.
• 기술 보고서와 생물학 입문용 데모도 함께 공개했다.