LLM의 복잡한 질의응답 Few-shot 효율성을 높이기 위한 PromptRank 접근법

복잡한 질문에 답하기 위해 여러 문서를 거쳐야 하는 **멀티-홉 질의응답(MQA)**은 질문과 관련된 문서 경로를 찾는 것이 핵심이다. 하지만 대규모 질문-경로 쌍 데이터셋을 구축하는 데는 막대한 비용이 들며, 단순한 발견법은 부정확한 문서를 포함할 위험이 크다.

PromptRank는 이러한 문제를 해결하기 위해 두 단계의 프로세스를 제안한다. 먼저 TF-IDF와 같은 단순 비지도 검색 방식을 통해 질문과 관련될 가능성이 있는 초기 문서 경로 세트를 선택한다. 이후 더 정교한 리랭커(Reranker) 모델이 각 경로의 관련성을 재평가한다.

리랭커의 핵심은 **점수 함수(Scoring Function)**에 있다. PromptRank는 경로($T_c$)가 주어졌을 때 질문($q$)이 생성될 조건부 확률인 $P_{LM}(q|T_c)$를 계산한다. 이는 다음과 같은 장점이 있다.

• 사전 훈련과의 조화: 문서 뒤에 질문이 오는 FAQ나 설문 데이터의 LM 사전 훈련 방식과 일치한다.
• 표면 형태(Surface Form) 민감도 해결: 경로의 길이에 따라 확률이 변하는 문제를 방지하고, 동일한 시퀀스인 질문의 확률을 비교함으로써 더 공정한 평가가 가능하다.

또한, 경로 프롬프트(Path Prompt) 구성 시 '이전 문서를 읽고 질문을 하라'와 같은 **지침(Instruction)**을 활용하여 모델이 더 관련성 높은 경로에 높은 점수를 부여하도록 유도한다.