[ACL 2022] 자연어 이해를 위한 검색 기반 지식 확장 방법 - LG AI Research BLOG

일반적인 언어 모델은 학습된 코퍼스에 의존하지만, 특정 단어 간의 관계나 상식 같은 '지식' 정보를 결합하면 성능을 크게 높일 수 있다. 이를 위해 검색 기반의 다양한 연구들이 진행되고 있다.

REALM은 언어 모델 학습 과정에 **지식 검색기(Knowledge Retriever)**를 도입하여, 검색 모델과 인코더를 동시에 비지도 학습 방식으로 훈련시킨 모델이다. 당시 T5(11b) 모델보다 높은 성능을 기록하며 주목받았다.

**DPR(Dense Passage Retrieval)**은 질문과 가장 연관성이 높은 문단을 찾기 위해 두 개의 인코더를 사용하며, In-batch negatives를 활용해 학습 효율을 극대화한 연구다. 이는 기존 엘라스틱 서치를 뛰어넘는 딥러닝 검색 성능을 보여주었다.

RETRO는 파라미터를 늘리는 대신 수조 개의 토큰을 활용하는 방식으로, 교차 어텐션(Cross-attention) 구조를 통해 긴 텍스트의 지식 정보를 모델에 추가한다. 이는 동일한 파라미터에서도 데이터 활용 방식에 따라 성능이 크게 향상됨을 입증했다.

WebGPT는 사람이 웹 브라우저를 사용하는 방식에서 영감을 얻어, Bing 검색 엔진을 통해 최신 정보를 가져오도록 GPT-3를 파인튜닝한 연구다. 반면 REINA는 프롬프트 러닝 아이디어를 활용해, 훈련 데이터 내에서 유사한 데이터를 찾아 모델에 함께 입력함으로써 성능을 높이는 방법을 제시했다.