Ghostwriter Chat 구축하기

Replit은 개발자가 Stack Overflow를 검색하거나 문서를 찾아다니는 번거로움 없이, IDE 내에서 즉시 코딩과 디버깅을 수행할 수 있는 Ghostwriter Chat을 개발했다. 이 도구는 파일 컨텍스트, 채팅 이력, 프로그램 출력값을 활용하여 코딩을 돕고 오류를 해결한다.

**LLM(Large Language Models)**을 기반으로 하는 Ghostwriter Chat은 빠른 응답 속도를 위해 스트리밍(Streaming) 방식을 채택했다. 이를 통해 사용자는 요청 후 500밀리초 이내에 응답을 확인하기 시작할 수 있으며, 생성 중인 코드를 실시간으로 확인하고 중단할 수도 있다.

효율적인 프롬프트 구성(Prompt Construction) 또한 핵심이다. 다양한 소스에서 오는 정보를 선택적으로 포함하고, 여러 언어 모델과 API를 지원하기 위해 다양한 프롬프트 형식으로 변환하는 과정을 거친다.

Ghostwriter Debugger는 오류를 사전에 감지하고 클릭 한 번으로 디버깅을 지원한다. 특히 웹 서버와 스크립트 등 프로그램마다 다른 오류 출력 방식에 대응하여 작동한다.

마지막으로, LLM의 토큰 제한(Token Limits) 문제를 해결하기 위해 채팅 이력과 메시지 길이를 제한하는 등의 휴리스틱을 사용하여 가장 중요한 컨텍스트를 유지하도록 설계되었다.