AI BriefingTree-Ising, LLM 토큰 99% 절감으로 MATH-500 54.6% 달성
[Paper] Tree-Ising: Repairing Language Models with Bit-Level Ising Edits
·2026.11.11 22:32
핵심 내용
Tree-Ising이 LLM 토큰 0개로 Qwen3.5-0.8B 추론 성능을 개선했다.
자세히 보기
- Tree-Ising은 LLM 가중치 수리를 BF16 가중치 기반 희소 이산 최적화 문제로 정의하고, 이를 독립적인 QUBO 문제로 분해하여 시뮬레이티드 어닐링 또는 양자 영감 시뮬레이션 분기로 해결함
- Qwen3.5-0.8B 모델에서 MATH-500 벤치마크 54.6% 달성하여 GPT-6 Astra 에이전트의 51.7%와 베이스 모델의 7.9%를 상회함
- 가중치 수정 비율을 13~17% 줄이고 비트 플립을 2.2~2.3배 감소시킴
- 포워드 패스 요청 4회와 LLM 토큰 0개만 사용하며, 어닐링 레시피에 필요한 GPU 비용은 약 $0.90 수준임
- Qwen3.5-2B 모델에서 베이스 모델만으로 레이어와 용량을 선정할 경우 greedy GSM8K 정확도를 21.6%에서 69.4%로 향상시킴
- IBM Heron 프로세서에서 QAOA를 활용한 8변리 수리 부분 문제 실행을 개념 증명(Proof of Concept)으로 수행함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
