Apple 연구: 트리 구조 직렬화, LLM 통신 정확도 60포인트 변동

언어 모델이 연산 트리를 자연어로 직렬화할 때 상당한 정보를 손실하며, 이는 Chain-of-Thought 추론에서 흔히 발생하는 문제다. Apple 연구진은 이 손실을 측정하기 위해 Round-trip 프로토콜을 제안했다. 생성기가 산술식을 단어 문제로 변환하고, 별도의 추출기가 이를 복원하며, 기호적 동등성을 정확한 오라클로 사용한다.

비대칭적 통신 손실

16개 모델의 모든 쌍을 평가한 결과, 통신 채널은 손실적이고 비대칭적임이 드러났다. 텍스트 생성 모델과 수식 추출 모델을 교체하면 정확도가 최대 60.4포인트까지 변한다. 생성과 추출에 서로 다른 모델을 조합했을 때 **92.9%**의 최고 성능을 기록했으며, 이는 동일 모델을 사용하는 경우보다 우수하다.

실패의 구조적 원인

Round-trip 실패의 최소 **73.6%**는 생성 단계에서 발생한다. 난이도는 모델 계열이 아닌 수식의 트리 구조, 즉 연산자 수, 깊이, 우측 분기 구조에 따라 결정된다. 이는 계층적 데이터 자체의 복잡성이 주요 병목 현상임을 시사한다.

채널의 학습 가능성

직렬화 병목 현상은 학습으로 개선 가능하다. 평가에 사용된 연산자와 트리 형태를 공유하는 약 3,600개의 미세 조정 예제를 사용하면, 테스트된 모든 오픈 웨이트 모델이 학습되지 않은 Gemini-3.1-Pro의 성능을 상회한다. 새로운 연산자와 어휘를 사용하는 분리된 도메인에서도 이 결과가 유지되어, 성능 향상이 의미론적 일치에 의한 것이 아님을 확인했다. 다만 프런티어 모델과의 격차는 여전히 존재한다.