LLM은 똑똑한데, 왜 우리 회사 일은 모를까

LLM은 공개된 지식에는 능숙하지만, 사내의 파편화된 정보(문서, 코드, 메신저 등)를 바탕으로 한 질문에는 답변하기 어렵다. 단순히 검색 성능을 높이는 것만으로는 정보의 최신성이나 실제 코드와의 일치 여부를 판단할 수 없기 때문이다.

토스는 이를 해결하기 위해 검색을 넘어, LLM과 사람이 함께 사용할 수 있는 신뢰 가능한 컨텍스트를 관리하는 Topic 시스템을 개발했다. Topic은 정보의 출처와 관계, 최신성, 충돌 상태를 관리하는 공통 계층 역할을 수행한다.

Topic의 핵심은 세 가지 출처를 하나의 ContentUnit으로 정규화하는 것이다.

• 문서: Markdown의 제목 계층을 보존하여 맥락을 유지한다.
• 사내 메신저: 개별 메시지가 아닌 스레드(Thread) 단위로 요약하여 논의의 결론과 결정 상태를 보존한다.
• 코드: 단순 텍ext 분할이 아닌, 심볼과 동작 단위로 구조화하여 관리한다.

또한, 신뢰도를 단순히 하나의 점수로 압축하지 않고, 출처, 최신성, 충돌 등 여섯 가지 축을 기준으로 검증한다. 이를 통해 LLM이 어떤 근거로 답변을 생성했는지 명확히 파악하고, 모호한 결정은 사람에게 넘기는 정교한 품질 관리를 수행한다.