디코딩 단계 랜덤 토큰 주입으로 LLM 다양성 확대
Intermittent random token injection during decoding stage increases LLM diversity without fine-tuning
·2026.05.11 20:37
RD는 디코딩 단계에 랜덤 토큰을 넣어 LLM 다양성을 높였다.
하버드 연구진이 **Recoding-Decoding(RD)**을 제안했다. 디코딩 단계에서 무작위 priming phrase와 짧은 diverting stem을 주입해, LLM이 가장 흔한 답변 경로만 반복하지 않도록 흔든다.
- 결혼식 드레스, 연구 주제, 스타트업 이름처럼 답이 정해지지 않은 search quest에서 후보를 넓게 탐색하는 용도에 맞췄다.
- 50개 브레인스토밍 주제와 5개 공개 데이터셋의 500개 프롬프트로 평가했고, 관련성은 0.99 수준을 유지했다.
- 반복 실행이 늘어날수록 출력의 다양성과 창의성이 계속 커졌고, 더 강한 모델일수록 효과가 더 컸다.
- 미세조정 없이 적용할 수 있는 단순한 디코딩 방법으로 제시했다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.