믿지 말고 묶어라

LLM의 기본 버그는 사람과 닮았다.

• 환각(hallucination), 루프 반복, 컨텍스트 붕괴, 도구 무시가 흔하다.
• 한 번의 대화 안에서 스스로 확신을 강화하면, 잘못된 가정이 더 단단해진다.
• 그래서 저자는 서브에이전트를 두고, 한 에이전트가 답한 내용을 다른 에이전트가 반박과 인용으로 검증하게 만든다.
• 합의가 안 되는 부분은 human review로 넘긴다.

핵심은 LLM에게 직접 일을 맡기기보다, 결정적(deterministic) 작업을 스크립트로 빼는 것이다.

• PR, JIRA 같은 조회 작업은 모델이 직접 하지 말고 스크립트가 JSON으로 덤프하게 만든다.
• 여러 결과를 읽어 매칭하는 일도 모델이 아니라 중간 스크립트가 처리한다.
• LLM은 최종 결과만 읽는다. 이렇게 해야 컨텍스트 사용량을 줄이고, 재사용 가능한 도구도 쌓인다.

긴 대화를 계속 끌고 가면 컨텍스트가 빨리 닳고, 컴팩션이 반복된다. 그래서 메인 에이전트는 작업 조율자, 실제 무거운 일은 minion subagents가 맡는 구조가 낫다고 주장한다.

저자는 이를 위해 /memento, /yadumb, log.py, wt 같은 도구를 만들어 대화 요약, 불평 기록, 쉘 명령 기록, 워크트리/브랜치 자동화까지 붙였다.

결론은 분명하다. **모델은 인간 판단을 대체하는 존재가 아니라, 인간의 약점을 보완하는 보철(prosthetic)**처럼 다뤄야 한다. 검증 없이 믿으면 금방 잘못된 방향으로 간다.