NHN Cloud 개발자, AI 하네스 구축 경험기: 은총알은 없다

NHN Cloud 메시징플랫폼개발팀 이재형 개발자가 AI 에이전트를 팀원처럼 활용하기 위해 한 달간 AI 하네스를 구축한 경험을 공유했다. 기존 AI 세션은 매번 초기화되어 매번 팀의 맥락을 설명해야 하는 번거로움이 있었으나, 하네스를 정교하게 다듬으면서 AI가 스스로 업무 맥락을 이해하고 수행하는 수준까지 도달했다.

구조와 기록의 중요성

하네스 구축의 핵심은 정보를 저장하는 것이 아니라 정보를 찾는 방법을 저장하는 것이다. 저자는 500줄이 넘는 단일 파일 대신, 서비스별 지식과 팀 지식을 분리한 디렉터리 구조를 설계했다. 또한 work-log, decisions, incidents 등 세 가지 기록을 통해 AI가 과거의 실수와 결정 이유를 학습하도록 했다. 다만 AI가 잘못된 지식을 자동으로 반영하는 것을 방지하기 위해, AI가 제안한 내용은 harness-backlog에 쌓아두고 최종 반영 여부는 인간이 결정하는 규칙을 세웠다.

3단계 안전장치와 '은총알'의 부재

AI의 무분별한 실행을 막기 위해 프롬프트 텍스트 규칙, 구조적 강제, 권한 차단의 3단계 레이어를 적용했다. 특히 쓰기 권한이 없는 계정을 부여하거나 검증 스크립트만 허용하는 방식으로 물리적 제한을 두었다. 저자는 완성된 하네스 템플릿이나 자동 구축 도구가 존재하지만, 각 팀의 고유한 맥락과 시행착오를 담은 '왜'가 빠진 하네스는 쓸모없다고 강조한다. 결국 AI 도구의 성능은 모델이 결정하지만, 활용의 깊이는 사용자가 매일 조금씩 다듬어가는 맥락이 결정하며, 하루아침에 완성되는 은총알은 없다는 결론을 내렸다.