AI Briefing선형 계획법, GPT-6 Astra 가중치 편집 최적화해 변경량 8배 절감
·2026.11.09 09:00
핵심 내용
선형 계획법이 GPT-6 Astra의 가중치 편집을 최적화해 변경량을 8배 줄였다
자세히 보기
- 선형 계획법(LP)이 GPT-6 Astra의 가중치 변경을 결정하는 시행착오형 탐색을 대체하여, 수학 벤치마크에서 유사한 결과를 훨씬 적은 변경으로 달성함
- Qwen3.5-0.8B에서 LP 편집은 16,291개의 가중치만 변경하여 Astra 편집의 130,188개보다 훨씬 적음. GSM8K(69.6 대 68.2)와 MATH-500(51.7 대 50.9)에서는 Astra의 정확도를匹敵하거나 초과하지만, IFEval(59.7 대 61.9)에서는 낮은 점수를 기록함
- 해당 방법은 루프 방향 벡터와 특정 레이어 식별에 의존하며, 최적의 결과는 Astra의 방향과 레이어를 사용할 때 나옴. Astra 대신 휴리스틱 방향을 사용하면 성능이 전체 수정의 약 93%로 감소함
- 추론 시점에 추가되는 간단한 스티어링 벡터는 체크포인트를 수정하지 않고도 대부분의 이점을 회복하지만, LP 편집 자체는 일반적인 체크포인트임
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
