웹 리서치 자동화

LangChain 팀은 웹 리서치를 LLM의 핵심 응용 분야로 보고 초기에는 자율적으로 웹을 탐색하는 에이전트를 구축했다. 하지만 에이전트는 반복적인 검색 과정에서 비효율적인 모습을 보였으며, AI가 가진 병렬 처리 강점을 활용해야 한다는 점을 깨달았다.

이에 따라 여러 검색을 동시에 실행하고 페이지를 병렬로 읽는 방식으로 접근법을 변경했다. 수집된 정보 중 가장 관련성이 높은 청크를 추출해 LLM 컨텍스트 윈도우에 로드하는 방식으로, 이는 결국 리트리버로 진화했다.

구체적인 구현 과정은 다음과 같다.

• LLM을 이용해 관련 검색 쿼리 여러 개 생성
• 각 쿼리에 대한 검색 실행
• 쿼리당 상위 K개 링크 선택 (병렬 검색 호출)
• 선택된 링크의 정보 로드 및 합성

이 방식은 PrivateGPT와 같은 프라이빗 모드에서도 쉽게 구성할 수 있으며, 에이전트적 속성을 추가해 성능을 더 높일 수 있는 가능성을 제시한다.