[ACL 2026] 문서가 아닌 '세그먼트'에 주제를 할당하다: 토픽 모델링의 재정의

기존 토픽 모델링은 하나의 문서에 하나의 대표 주제를 강제로 할당하는 과정에서 **토픽 오염(Topic Contamination)**이 발생한다. 여러 주제가 혼합된 문서를 하나의 라벨로 압축하다 보니, 특정 주제의 비중이 왜곡되고 검색 결과의 순도가 떨어지는 문제가 있었다.

LG AI 연구원은 이를 해결하기 위해 주제 할당 단위를 문서에서 세그먼트(Segment), 즉 문장이나 절 단위로 쪼개는 SBTA(Segment-based Topic Allocation) 방식을 제안했다.

SBTA는 기존 방식 대비 다음과 같은 강점을 가진다:

• 주제 순도(Topic Purity) 향상: 의미가 집중된 구간에만 주제를 부여하여 관련 없는 내용이 섞이는 것을 방지한다.
• 세밀한 해석 가능: 세그먼트가 완결된 의미 단위이므로, 왜 해당 주제로 분류되었는지 직관적으로 파악할 수 있다.
• 실무 활용성 증대: 특정 주제의 문장만 추출해야 하는 실제 고객 리뷰 및 설문 분석 작업에 최적화되어 있다.

연구팀은 이를 검증하기 위해 SemEval-STM이라는 새로운 데이터셋을 구축했다. 실험 결과, SBTA는 기존의 문서 기반 방식(DBTA)보다 훨씬 응집력 있고 잘 분리된 주제 군집을 형성함을 확인했다.

또한 Shuffle Test를 통해 토픽 구조의 견고함을 입증했으며, LDA나 BERTopic 같은 전통적 기법보다 LLM과 결합했을 때 모든 지표에서 압도적인 성능을 보였다.