LG AI Research 221

일반적인 언어 모델은 기본 코퍼스를 사용해 학습하지만, 특정 단어 간의 관계나 상식 같은 **지식 정보(Knowledge Information)**를 모델에 내재화하려는 시도가 이어지고 있다.

REALM은 언어 모델 학습 과정에 지식 검색기(Knowledge Retriever)를 도입한 모델이다. 기존 연구와 달리 비지도 학습 모드로 검색기를 학습시키며, Knowledge-Augmented Encoder를 통해 외부 정보를 입력값에 결합함으로써 당시 기존 모델인 ORQA나 T5(11b) 대비 높은 성능을 기록했다.

**DPR(Dense Passage Retrieval)**은 벡터 검색 연구에서 널리 인용되는 모델로, 질문과 문단 각각에 특화된 두 개의 인코더를 사용하여 가장 관련성이 높은 문단을 찾아낸다. 특히 In-batch negatives를 활용해 학습 효율을 높였으며, 기존의 TF-IDF/BM25 방식을 뛰어넘는 성능을 보여주었다.

RETRO는 파라미터를 늘리는 대신 수조 개의 토큰이 포함된 데이터를 활용하는 방식이다. REALM과 유사하게 입력값에 관련 지식을 추가하는 아이디어를 사용하지만, 더 긴 문서 청크를 처리할 수 있다는 특징이 있다.