LLM의 제품화

**LLM(Large Language Models)**은 놀라운 능력을 보여주지만, 엔지니어링 측면에서는 매우 도전적인 과제를 안겨준다. Replit은 1억 개에서 1,000억 개 이상의 파라미터를 가진 다양한 크기의 모델을 배포하며 얻은 노하우를 바탕으로 LLM의 제품화 과정을 설명한다.

LLM이 무의미한 내용을 생성하거나 동일한 문구를 반복하는 문제를 해결하기 위해 다음과 같은 제어 방식을 활용한다:

• Temperature: 모델의 무작위성을 조절하여 출력의 예측 가능성을 제어한다.
• Frequency Penalty: 모델이 이전에 생성한 단어를 다시 선택할 확률을 조절한다.
• Cycle detection: 모델이 루프에 빠질 경우 출력을 자르거나 프롬프트를 통해 개입한다.
• Sampling: 다양한 온도에서 출력을 샘플링하여 최적의 결과를 선택한다.
• Layering another model: 여러 후보를 생성한 뒤 다른 모델을 사용하여 최적의 답변을 선별한다.
• Training & Fine-tuning: 반복을 방지하도록 학습시키거나 사용자 피드백을 통해 모델을 미세 조정한다.

또한, 모델 업데이트 시 성능이 퇴보하는 것을 방지하기 위해 HumanEval과 같은 표준 벤치마크를 사용하여 품질을 지속적으로 추적한다. 이와 함께 모델이 루프에 빠지는 빈도와 무의미한 응답을 생성하는 횟수를 모니터링하며, A/B 테스트를 통해 모델의 변경 사항을 검증한다.