결정 시점 가이드: Replit Agent의 신뢰성 유지 전략

Replit Agent가 더 복잡한 작업을 수행함에 따라 작업 경로가 길어지고 자율성이 높아지고 있다. 하지만 긴 경로(trajectory)는 모델 기반의 오류가 누적되고 예상치 못한 행동이 나타나는 새로운 문제를 야기한다.

기존의 정적 프롬프트(Static Prompts) 방식은 몇 가지 한계가 있다.

• **학습된 사전 지식(Learned priors)**이 명시적 규칙을 무시할 수 있음
• 컨텍스트가 커질수록 초두 효과(Primacy bias) 및 **최신성 편향(Recency bias)**으로 인해 지침 이행 능력이 저하됨
• 규칙을 추가할수록 비용이 증가하고 우선순위가 모호해지는 수익 체감의 법칙 발생

이를 해결하기 위해 Replit은 결정 시점 가이드(Decision-Time Guidance) 방식을 제안한다. 이는 모든 제약 조건을 미리 설정하는 대신, 에이전트가 다음 토큰을 생성하기 직전, 즉 결정이 필요한 시점에 환경으로부터 지능적인 피드백을 받아 경로를 수정하도록 하는 방식이다.

단, 단순히 모든 리마인더를 컨텍스트 하단에 추가하는 방식은 컨텍스트를 비대하게 만들고 오히려 혼란을 줄 수 있다. 따라서 Replit은 실행 환경 자체가 가이드 역할을 수행하며, 에이전트의 실행 생명주기에 맞춰 적절한 시점에 개입하는 기술을 통해 비용과 컨텍스트를 효율적으로 관리하며 신뢰성을 높이고 있다.