AI Briefingllama.cpp에 새로운 'Scatter' 샘플러 추가
Particle Scattering Sampler for llama.cpp
·2026.07.04 06:19
핵심 내용
llama.cpp에 확률 분포를 국소적으로 평활화하여 생성 품질을 높이는 Scatter 샘플러가 실험적으로 도입되었습니다.
자세히 보기
llama.cpp에 새로운 실험적 샘플러인 Scatter가 구현되었습니다. 이 샘플러는 모델의 다음 토큰 확률 분포 내에서 상위 후보군들 사이의 확률 질량을 미세하게 조정하여, 생성 결과물이 지나치게 경직되는 것을 방지합니다.
기존의 Temperature 조절 방식은 분포 전체를 평활화하여 낮은 확률의 '꼬리(tail)' 토큰들까지 생성에 참여하게 만듦으로써 부적절한 단어 선택이나 문맥 이탈을 유발할 수 있습니다. 반면, Scatter는 다음과 같은 특징을 가집니다.
- 국소적 평활화(Local Smoothing): 선택된 상위 K개 후보군 내에서 인접한 랭크(Rank) 간에만 확률을 교환합니다.
- 꼬리 분포 보호: 확률 분포의 머리(Head) 부분만 평활화하며, 확률이 낮은 꼬리 부분으로 확률이 새어나가는 것을 방지합니다.
- 주요 기능: 고정된 강도 조절, 엔트로피 피드백을 통한 적응형 강도 조절, 반복 토큰 흡수 기능 등을 포함합니다.
현재 이 기능은 experimental sampler로 구현되어 있으며, 기본 샘플러 체인 내에 포함되어 있으나 기본값은 비활성화(noop) 상태입니다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
