HybridAgents, 잠재적 추론과 텍스트 동적 전환으로 성능 10.4% 향상 및 비용 2.7~3.7배 절감

• HybridAgents는 잠재적 추론(latent reasoning)과 텍스트 기반 상호작용 간을 동적으로 전환하여, 프런티어 LLM 에이전트 대비 토큰 사용량을 35.5%-54.7% 줄이고 추론 속도를 1.8배에서 2.6배까지 향상시킴
• 경량 HybridLink 구조로 모드 전환을 매끄럽게 하고, 연속적 작업 기억을 통해 턴 간 손실 없는 하이브리드 컨텍스트를 유지함
• HybridSFT와 HybridRL 후처리 알고리즘으로 도구 통합 생성을 안정화하며, 모델이 잠재 공간에서 사고할 시점과 텍스트로 행동할 시점을 학습시킴
• 수학, 과학, 의학, 검색 분야 3가지 모델 규모와 11개 벤치마크 평가 결과, 일관된 10.4% 성능 향상과 2.7배에서 3.7배의 비용 절감을 달성함

Architecture and Training

• HybridLink는 텍스트와 잠재 모드 간 매끄러운 전환을 지원하며, 잠재적 사고를 직접 검사 가능하게 하면서 도구 통합 기능을 보존함
• HybridSFT는 백본 모델이 HybridLink와 조율하도록 학습하여 하이브리드 생성을 안정화하고, 이어 HybridRL이 최적의 모드 선택을 학습해 추론을 확장함

Availability

• 코드와 데이터는 togethercomputer/HybridAgent GitHub 저장소에서 공개됨