LG AI Research 337

LG AI 연구원은 과학적 질문에 대한 정교한 추론을 위해 QASA (Question Answering on Scientific Articles) 접근론 및 벤치마크를 제안했다. 기존 기계독해 환경보다 복잡한 연상 및 논리적 추론이 필요한 과학 문헌의 특성을 반영하여, 전문가 수준의 질의-응답 쌍 1,798개를 포함하고 있다.

제안된 QASA 방법론은 질문에 답하기 위해 다음의 3단계 멀티스텝 추론 과정을 거친다.

• Step 1. Associative Selection: 질문과 연관된 논문의 핵심 단락들을 추출한다.
• Step 2. Rationale Generation: 추출된 단락을 바탕으로 주요 답변, 설명, 보조 정보를 포함하는 근거를 생성한다.
• Step 3. Systematic Composition: 생성된 모든 근거를 중복 없이 통합하여 가독성 높은 최종 답변을 작성한다.

실험 결과, 사전 학습 모델 중에서는 **InstructGPT(175B)**가 가장 우수한 성능을 보였으나, 파인튜닝된 Flan-T5 모델이 Full-stack QA 태스크에서 InstructGPT를 능가하는 성능을 기록하며 QASA의 효과적인 테스트 베드임을 입증했다. 또한, 근거 생성(Rationale Generation) 단계를 생략할 경우 성능이 하락하여 해당 단계의 중요성이 확인되었다.