Telegraph Test 벤치마크, LLM의 케이블스 레코드 읽기 성능 평문 이상 확인

벤치마크 개요 및 주요 발견

Telegraph Test 벤치마크는 관사와 불필요한 단어를 생략하고 사실만 남기는 전신문 스타일인 cablese를 LLM이 어떻게 처리하는지 평가한다. 연구 결과, LLM이 압축된 레코드(요약)를 읽을 때 평문 레코드와 비교해 이해도가 동등하거나 오히려 향상되는 것으로 나타났다.

교차 모델 매트릭스에서의 주요 발견은 다음과 같다:

• 토큰 절감 효과: 모델별로 차이를 보인다. 소문자 지시문을 사용할 때 qwen3.8-27b는 48.9%, gemma-4-31b는 40.4%, GLM-5.3-Flash는 **48.4%**의 토큰을 절감했다.
• 복원 비율: 압축된 레코드를 읽은 다운스트림 모델의 복원 비율은 0.99에서 1.10 사이였다(1.00은 평문 레코드 기준 정확도). 예를 들어 gemma-4-31b와 qwen3.8-27b를 읽기 모델로 사용했을 때 각각 1.09와 1.10의 비율을 기록해, 평문 기준보다 압축 레코드를 더 잘 이해함을 시사했다.
• 기준선 맥락: 평문 레코드 기준 정확도는 엄격한 채점과 모호한 질문으로 인해 약 **75.8%**였다(전체 지문 기준 91.5% 대비 100%가 아님). 복원 비율은 이 평문 레코드 기준선에 상대적이다.

운영적 시사점

연구는 cablese가 소비자가 모델인 에이전트 간 통신과 메모리 저장에 효과적임을 시사한다.

• 비용 효율성: 출력 토큰 비용은 입력 토큰보다 3~5배 더 비싸다. 기계가 소비하는 텍스트를 압축하면 API 비용을 크게 줄일 수 있다. 인간 검토를 위해 레코드를 평문으로 확장하면 순 절감 효과가 약 3분의 1로 줄어들지만, 아카이브는 여전히 평문보다 저렴하다.
• 모델 호환성: 이 기술은 gemma, qwen, nemotron 등 다양한 모델군에서 작동한다. 이는 전신 및 SMS 사용 이력이 학습 데이터에 잠재되어 있기 때문이다.
• 한계: gpt-5-mini처럼 추론이 필수인 모델은 간결한 형식이 내부 사고를 유발해 출력은 짧아지지만 쓰기 비용이 두 배로 증가한다. 저자는 추론을 비활성화하거나 제어할 수 있는 모델에서만 이 기술을 사용할 것을 권고한다.

다른 방법과의 비교

기사는 cablese를 다른 압축 기술과 대조한다:

• 코드북: 치환 기반 방법은 약 10% 절감에 그친다.
• 창발 프로토콜: BabelTele이나 GLOSSOGEN 같은 방법은 최대 6배까지 압축할 수 있지만, 프로토콜이 불안정하고 인간이 해독할 수 없다.
• Cablese: 모델에 따라 **25~49%**의 압축률, 결정적 동작, 인간 감사 가능성을 제공하는 중간 지점을 제시한다.

벤치마크는 github.com/Travis42/telegraph-test에서 오픈소스로 공개되었다.