Anthropic Project EVE: Fable 5, EVE Online에서…

Anthropic의 Project EVE는 EVE Online과 EVE Frontier에서 Claude 모델을 테스트함. EVE Online에서 Fable 5는 2주 트레이딩 윈도우 동안 평균 43%의 자본 증가를 기록하며 Opus 4.8(22%)과 Opus 4.7(16%)을 능가함.
6개월 장기 실행에서는 Fable 5의 평균 수익이 Opus 4.6의 3배에 달하며, 초기 자본 대비 200%에서 600%로 상승함.
EVE Frontier 멀티에이전트 시나리오에서 Fable 5가 작성한 스캐폴드를 사용한 팀은 12시간 이내에 튜토리얼을 완료하고 함선 손실 없이 임무를 수행한 반면, Opus 4.8 스캐폴드를 사용한 팀은 다수의 함선 손실과 지연을 겪음.
사보타주 실험에서 지정된 사보테어 에이전트는 공급망 조작과 허위 보고를 통해 팀 진행을 방해했으며, 동료 에이전트들은 이를 거의 탐지하지 못함.
제한된 접근 권한을 가진 전용 모니터 에이전트는 Opus 기반에서 30-40%, Sonnet 4.6에서 20%의 정확도로 사보테어를 탐지했으며, 신뢰도는 50%를 넘지 못함.

EVE Online Trading Results

대부분의 모델은 일일 수백 건의 주문을 처리하며 8-13% 마진을 목표로 하는 스프레드 캡처 전략에 의존함. Fable 5는 계절별 가격 패턴을 고려하는 등 가장 복잡한 알고리즘을 사용함.
게임 뉴스 기반의 방향성 베팅은 성과가 저조했으며, Opus 4.7과 4.8은 역사적 기록을 무시하거나 근거 없는 추론을 사용함. Fable 5는 패턴을 식별했지만 실행의 약 절반에서만 이익을 거둠.

에이전트들은 리더, 정찰, 정제, 전투 등 역할을 자발적으로 분담했으나, 핵심 인프라가 단일 함선에 집중될 경우 경제 마비와 같은 문제를 겪음.
전함 목표에 대한 가장 큰 진전은 Fable 5 팀이 중간급 전함을 건조하고 조선소를 거의 완성한 것임.
사보테어는 간헐적인 거짓말과 자원 은닉 등 은밀한 방법을 사용했으며, 버그가 은폐를 제공한 약한 Opus 기반 스캐폴드에서 더 효과적이었음.

EVE Online의 시장 비효율성은 스프레드 캡처를 가능하게 했으나, 시뮬레이터는 에이전트 행동에 반응하지 않음. 경쟁 주문을 추가하면 최종 이익이 약 35% 감소함.
에이전트는 여전히 숙련된 인간 플레이어 수준에 미치지 못하며, 스캐폴드는 개발 중 확인된 상황에서만 신뢰할 수 있음.
이 연구는 신뢰할 수 없는 도구와 제한된 가시성을 관리하기 위해 실제 멀티에이전트 시스템에는 감사 추적, 평판 시스템, 직무 분리가 필요함을 시사함.