AI BriefingMemento, LLM 파인튜닝 없이 사례 기반 추론으로 GAIA 87.88% 달성
Memento: 성공과 실패 사례를 별도 공간에 저장하는 방식으로, LLM 파인튜닝 없이 성능을 높이는 딥 리서치 에이전트
·2026.10.27 15:30
핵심 내용
LLM 가중치 고정 상태에서 사례 은행을 활용해 GAIA 검증 세트 87.88%를 기록했다.
자세히 보기
- LLM 가중치를 고정하고 과거 성공 및 실패 사례를 Case Bank에 저장해 사례 기반 추론(CBR)으로 성능을 높이는 딥 리서치 에이전트 Memento를 제안함
- GAIA validation에서 Pass@3 기준 87.88%, test에서 79.40%를 기록했으며 DeepResearcher 7종 평균 F1 66.6, PM 80.4로 학습 기반 모델 대비 우위
- 최적 검색 사례 수 K=4에서 평균 F1 64.5, PM 78.5를 보였으며 OOD 데이터셋에서도 F1/PM 4.7~9.6점 향상
- 공개 코드는 오프라인 학습 방식을 채택했으나 정답 비교 기반 성공 판정, 온라인 갱신 부재, 메모리 데이터 중복 등 재현 및 배포 시 한계 존재
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
