NVIDIA, LLM 생성 제어용 LogitsProcessorZoo 공개

언어 모델의 텍스트 생성 과정에서 **Logits(로짓)**은 다음 토큰을 선택하기 위한 원시 점수입니다. 이 점수를 직접 수정하는 Logit Processing 기술을 사용하면 모델의 출력을 더욱 정밀하게 제어할 수 있습니다.

NVIDIA의 LogitsProcessorZoo는 Hugging Face의 generate 메서드와 완벽하게 호환되는 모듈형 로짓 프로세서 모음입니다. 이 라이브러리는 다음과 같은 작업에 유용합니다:

• 시퀀스 길이 제어: 생성되는 텍스트의 길이를 조절합니다.
• 핵심 구문 강제: 특정 키워드나 문구가 반드시 포함되도록 유도합니다.
• 다지선다 답변 가이드: 객관식 문제 등 특정 형식에 맞는 답변을 생성하도록 돕습니다.

기존의 디코딩 전략(Greedy search, Beam search 등)이 확률 분포를 기반으로 작동한다면, LogitsProcessorZoo는 확률 분포 자체를 직접 수정하여 모델이 문법 규칙을 준수하거나, 과도하게 일반적인 답변을 피하고, 작업 요구 사항에 맞게 출력하도록 만듭니다.