2023년 오픈 LLM 트렌드 및 기술 요약

2023년은 오픈 소스 LLM에 대한 관심이 급증하며 폐쇄형 모델과의 논쟁이 본격화된 해였다. 오픈 모델은 연구 재현성, 커뮤니티 참여, 모델 편향성 검증 및 탄소 배출 감소 측면에서 중요한 역할을 한다.

LLM의 핵심 구성 요소

• Architecture: 현재 고성능 LLM은 대부분 decoder-only Transformer 구조를 사용한다.
• Dataset & Tokenizer: 텍스트를 token 단위로 변환하여 학습하며, 데이터 규모는 수천억에서 수조 개의 토큰에 이른다.
• Weights & Fine-tuning: 학습된 파라미터인 weights를 공개하면, 사용자는 이를 기반으로 특정 작업에 최적화된 fine-tuning을 수행하여 비용 효율적으로 모델을 활용할 수 있다.

기술적 패러다임의 변화 2022년까지는 모델의 파라미터 크기를 키우는 Scaling Laws와 emergent abilities가 주된 흐름이었으나, 2023년은 모델의 크기보다 데이터의 중요성이 부각되는 시기로 전환되었다.