HELIX Engine, SWE 벤치마크 토큰 사용량 77.73% 절감

코딩 에이전트용 오픈소스 컨텍스트 및 메모리 관리 시스템 HELIX Engine이 50개 소프트웨어 엔지니어링 벤치마크에서 총 프로바이더 토큰 사용량을 77.73% 줄였다고 밝혔다. 이 시스템은 모델 가중치를 변경하지 않고 과거 컨텍스트를 폐기하고 결정적 도구 흐름을 간소화하여 중복 추론을 줄인다.

벤치마크 결과

Sol 6.1 High를 사용해 50개 작업에서 HELIX V3와 기본 설정을 비교 평가했다:

• 토큰 효율성: 총 토큰 수가 기본 설정의 50,686,068에서 HELIX의 11,288,140으로 4.49배 감소했다.
• 입력 토큰: 약 77.85% 감소했다.
• 출력 토큰: 37.14% 증가했다.
• 모델 요청: 341회에서 420회로 증가했다.
• 정확도: 검증된 해결 작업 수가 50개 중 38개에서 50개 중 34개로 감소했다.

작동 원리 및 한계

HELIX는 모델 추론과 실행 관리를 분리하여 작동한다. 주요 구성 요소로는 완료된 상호작용을 활성 재생에서 제거하되 원본은 복구 가능하게 유지하는 과거 컨텍스트 폐기와 승인된 기계적 작업을 위한 결정적 도구 흐름이 있다. 저자는 4개 작업의 성능 저하가 중요한 현재 연구 과제임을 명시했다. 벤치마크는 무작위 A/B 테스트가 아닌 과거 기준선을 사용했으며, 결과는 다른 모델이나 워크로드에 일반화되지 않을 수 있다. 현재 연구는 정확도 회복과 모델 요청 증폭 감소에 집중하고 있다.