Gemini Flash로 LongMemEval 1위 달성

실험적인 메모리 검색 시스템이 LongMemEval 벤치마크에서 Gemini 3 Flash를 활용해 96.4%(top-50)의 점수를 기록하며 1위를 차지했다. 이는 Gemini 3 Pro를 사용한 기존 모델들(Mem0 94.8%, Honcho 92.6%, HydraDB 90.79% 등)을 상회하는 결과다.

본 연구는 모델 자체의 능력보다는 **검색 품질(Retrieval Quality)**을 독립적으로 평가하기 위해 의도적으로 더 작은 모델인 Flash를 사용했다.

주요 설계 특징:

• Query decomposition: 다중 세션 질문에서 필요한 모든 정보를 포착하기 위해 서로 다른 정보 요구를 타겟팅하는 병렬 검색 수행.
• Temporal salience scoring: 의미적 유사성, 어휘적 정밀도, 시간적 돌출도(Temporal salience)를 결합하여 후보군 점수화.
• Coherence re-ranking: 답변 모델에 전달하기 전, 메모리 간의 일관성과 시간적 흐름을 고려하여 재순위화 수행.

카테고리별 성능 (top-50):

• 단일 세션(User): 98.6%
• Assistant: 100%
• Preferences: 96.7%
• Knowledge Update: 97.4%
• Multi-session: 94.0%
• Temporal Reasoning: 95.5%