Ghostwriter Chat 구축하기

Replit은 개발자가 Stack Overflow를 검색하거나 문서를 일일이 확인하는 번거로움을 줄이기 위해, IDE 내에서 팀원과 대화하듯 상호작용할 수 있는 Ghostwriter Chat을 개발했다. 이 제품은 Hackweek 기간에 시작되어 약 6~8주 만에 완성되었다.

**LLM(Large Language Models)**은 Ghostwriter Chat의 핵심 기술이다. 특히 응답 지연(Latency)을 최소화하기 위해 결과가 완전히 생성될 때까지 기다리는 대신 스트리밍(Streaming) 방식을 도입했다. 이를 통해 요청 후 500ms 이내에 사용자가 응답을 확인할 수 있는 빠른 사용자 경험을 제공한다.

효과적인 답변을 위해 프롬프트 구성(Prompt Construction) 과정이 매우 중요하다. 다양한 소스에서 정보를 수집하고, 적절한 컨텍스트를 선택하여 여러 모델과 API를 지원할 수 있는 다양한 프롬프트 형식으로 변환하는 기술이 적용되었다.

또한, 프로그램마다 다른 에러 출력 방식을 지원하는 Ghostwriter Debugger를 구현했다. 로그를 계속 출력하는 웹 서버부터 즉시 실행이 중단되는 스크립트까지 다양한 에러 상황에 대응한다.

토큰 제한(Token Limits) 문제를 해결하기 위해 다음과 같은 전략을 사용한다:

• 채팅 히스토리 관리: 대화의 맥락을 유지하기 위해 가장 최근 메시지를 중심으로 오래된 메시지를 삭제한다.
• 메시지 크기 제한: 프롬프트의 여유 공간을 확보하기 위해 사용자 메시지를 500자로 제한한다.
• 스마트 컨텍스트 선택: 모든 코드를 포함하는 대신, 가장 중요한 정보만을 선별하여 모델에 전달한다.