Cartesia H-Net, BPE 대비 1.3배 컴퓨트 효율 달성

• H-Net은 정적 BPE 토큰화를 동적 엔드투엔드 계층적 청킹으로 대체하여 검증 손실 기준 1.3배, 다운스트림 평가 기준 2배의 컴퓨트 효율 달성함
• 코드 성능이 크게 향상되어 인디스트리뷰션 언어의 중앙값 컴퓨트 배율이 2.04배, Prolog과 Haskell 같은 아웃오브디스트리뷰션 언어는 3.10배 기록함
• 2단계 H-Net 모델은 SmolLM3(3B 파라미터)와 동등한 성능을 약 10배 적은 컴퓨트와 데이터로 구현하며, SmolLM3의 약 11T 토큰 대비 약 1T 토큰만 사용함
• 비언어 도메인으로도 일반화되어 생물학과 비전 분야에서 잠재력을 보이며, DNA 시퀀스 모델링에서의 이머전트 행동과 비전 작업의 동적 공간 청킹 연구가 진행 중임

Architecture and Methodology

• 인코더, 학습된 청킹, 메인 네트워크, 디청킹, 디코더로 구성된 5개 모듈 설계로 재귀적 중첩과 동적 추상화 수준 허용함
• 베이스라인 비교는 동일한 FLOPs와 파라미터를 사용하며, H-Net의 외부 네트워크는 표준 임베딩 레이어의 8%에 비해 총 FLOPs의 약 43%를 차지함
• 학습은 바이트 레벨 믹스처(영어 70%, 코드 20%, 수학 5%, 다국어 5%)와 WSD 학습률 스케줄을 적용한 Muon 옵티마이저 사용함

Qualitative Behaviors

• 인컨텍스트 토큰화를 통해 추론 중 청킹을 적응하여 반복되는 모티프와 새로운 개념을 동적으로 그룹화함
• 생물학적 분석을 통해 코딩 영역에서 코돈 경계와의 이머전트 정렬과 엑손 및 인트론의 구별된 분할 확인함
• 비전 확장에서 2D 투영으로부터 3D 구조를 추론하고 로컬 공간 그룹화를 강제하지 않으면서도 저정보 영역을 통합하는 능력 입증함