Unreal Labs, 비동기 harness 설계로 비용 최대 40% 절감하는 'Unreal Agent' 공개

Unreal Labs가 tool call 관리 오버헤드를 줄이기 위해 완전 비동기식 harness를 적용한 Unreal Agent를 발표했습니다. 기존 동기화 방식의 폴링 및 하트비트 부담을 모델에서 제거하여, tool call 완료 대기 없이 사용자 steering이 가능하고 모델 call 사이에 더 많은 tool work를 스케줄링할 수 있습니다.

성능 및 비용 효율성

실제 workload 및 agentic benchmark에서 Codex 대비 최대 40%, **Pi 대비 최대 20%**의 비용 절감을 달성했습니다. 이는 단순한 prompt, token-optimized tool result, sub-agent/workflow 부재 등 최소한의 harness footprint와 대기 token 낭비 제거에 기인합니다.

주요 벤치마크 결과(GPT-6 Astra xhigh 기준):

• Terminal-Bench 4.0: 57.9% ($1428) vs Codex 57.9% ($2350)
• SWE-Atlas Codebase QnA: 65.8% ($936) vs Codex 63.3% ($1303)
• DeepSWE 1.1: 72.4% ($1367) vs Codex 69.0% ($1633)

기술적 구현 및 보안

Tool call 발행 시 즉시 'in-progress' 상태의 event-log를 기록하고 백그라운드에서 실행하며, 완료 시 session log에 결과를 append 후 LLM을 호출합니다. 이 과정에서 캐시 유지가 주요 엔지니어링 과제였습니다. 또한, harness hook 기반 승인보다 deterministic environment/sandbox constraint가 더 견고하고 유지보수 부담이 적다고 지적했습니다.

SDK 및 API 관련 발견

Go library와 Runner executable으로 구성된 SDK를 제공하며, GitHub에 공개했습니다. 참고로 Responses API의 tool-call result item 처리 방식이 문서화 부족하여 일부 비-OpenAI inference provider에서 rejection이 발생함을 확인하고, 해당 패턴의 명시적 지원을 제안했습니다.