AI 에이전트 지연 시간 101: 내 AI 에이전트를 어떻게 빠르게 만들 수 있을까?

개발자는 AI 에이전트 개발 후 속도와 비용 최적화에 주목해야 합니다. 지연 시간 저감을 위해 병목 현상 진단, UX 개선, LLM 호출 횟수 축소, 호출 속도 향상, 병렬 처리 등 다섯 가지 접근법을 활용할 수 있습니다.

LangSmith와 같은 도구를 사용해 에이전트 각 단계의 지연 시간을 추적하고, '워터폴' 뷰를 통해 전체 지연 시간에 가장 크게 기여하는 단계를 식별하는 것이 첫 단계입니다.

실제 지연 시간을 줄이지 않고도 **인지 지연(perceived latency)**을 낮추는 UX 전략도 효과적입니다. 응답 토큰뿐 아니라 계획 단계나 검색 결과 등 중간 과정을 스트리밍으로 제공하거나, 이메일 어시스턴트처럼 이벤트를 기반으로 에이전트를 백그라운드에서 실행해 사용자에게 지연을 숨기는 방식이 있습니다.

모든 작업이 LLM 호출일 필요는 없습니다. 코드와 LLM 호출을 결합하는 하이브리드 접근법을 통해 불필요한 LLM 호출을 줄이는 것이 중요합니다. 또한 독립적인 LLM 호출을 병렬로 실행하거나, 더 빠른 모델이나 캐싱 기법을 적용해 개별 호출 속도를 높이는 것도 지연 시간 개선에 기여합니다.