대규모 언어 모델이 복잡한 질의응답을 위한 Few-shot Retrieval 성능을 개선할 수 있을까?

복잡한 질문에 답하기 위해서는 여러 단계의 추론을 거쳐 흩어져 있는 정보를 찾아야 하는 Multi-hop Question Answering (MQA) 능력이 필수적이다. 일반적으로 MQA 시스템은 관련 문서를 찾는 Retriever와 답변을 생성하는 Reader로 구성된다.

하지만 MQA를 위한 고품질의 질문-경로(Question-Path) 데이터셋을 구축하는 것은 비용이 매우 많이 들며, 특히 저자원 언어나 특정 도메인에서는 데이터 부족 문제가 심각하다. 기존의 데이터 효율적 검색 방식은 주로 단일 홉(Single-hop) QA에 국한되어 있었다.

이를 해결하기 위해 제안된 PromptRank는 두 단계로 작동한다.

• 1단계 (Unsupervised Retrieval): TF-IDF와 같은 단순한 비지도 학습 방식을 사용하여 질문과 관련이 있을 가능성이 있는 초기 문서 경로 세트를 선정한다.
• 2단계 (Reranking): 선정된 경로들에 대해 LLM을 활용하여 질문과의 관련성을 재평가(Rerank)한다.

PromptRank의 핵심은 특정 문서 경로가 주어졌을 때 해당 질문이 생성될 확률, 즉 **조건부 가능도(Conditional Likelihood)**를 계산하여 점수를 매기는 방식에 있다. 이를 통해 데이터 구축 비용을 최소화하면서도 복잡한 다중 홉 추론 환경에서 정교한 검색 성능을 구현할 수 있다.