이유는 하나

LLM을 주어진 전제·규칙·문맥 위에서 일관된 추론 경로를 유지하는 구조로 보고, LoRA 기반 continual learning에서는 기존 지식과 새 지식을 재배치하는 구조로 본 뒤 두 현상이 같은 뿌리를 가질 수 있다고 제안한다.

핵심은 구조를 보존하려면 그 구조가 요구하는 특정 조건을 만족해야 한다는 점이다. 이를 minimal model of structural persistence로 정식화하고 두 가지 실험으로 검증했다.

• LLM reasoning degradation: 대화 안에 모순되는 정보가 누적될수록 논리적 추론 유지가 어려워졌다.

• 하지만 모순을 외부에서 정리해 구조화하면, 즉 과거에 참인 것과 현재 참인 것을 분리하면 성능이 더 안정적으로 유지됐다.

• 따라서 길이 자체보다 해결되지 않은 모순의 누적이 붕괴를 더 잘 설명한다는 해석을 제시한다.

• LLM catastrophic forgetting: 새 정보를 학습할 때 모델은 기존 지식을 점진적으로 축적하기보다 **덮어쓰기(overwrite)**에 가까운 방식으로 갱신되는 경향을 보인다.

• 특히 어떤 전제의 변화가 그 전제에 의존하던 관련 지식 전체의 수정을 요구할 때 코히어런스가 크게 무너진다.

요약하면, 추론 성능 저하와 catastrophic forgetting은 둘 다 “기존 구조를 유지하기 위한 조건이 깨질 때 생기는 붕괴”로 볼 수 있으며, 한쪽의 해법이 다른 쪽에도 연결될 수 있다는 주장이다.