우리의 눈과 귀로 현장을 이해하다: 독자 인코더와 HyperCLOVA X SEED 4B 개발기

팀네이버는 드론 영상, 위성사진, 무전 음성 등 다양한 형태의 정보를 실시간으로 처리해야 하는 환경에 최적화된 경량 옴니모달 언어모델 HyperCLOVA X SEED 4B를 개발했습니다. 이 모델은 기존의 대형 모델과 달리, 보안성과 실시간성이 중요한 국방 및 산업 현장에서의 활용을 목표로 합니다.

이번 개발의 핵심은 모델의 '눈'과 '귀' 역할을 하는 인코더를 외부 모델에 의존하지 않고 자체 기술로 완성했다는 점입니다.

• HyperCLOVA X CLIP: 외부 가중치를 사용하지 않고 처음부터(from-scratch) 학습한 637M 규모의 비전 인코더로, 한국어 OCR 및 한국적 맥락 이해에 강점을 가집니다.
• 오디오 인코더: 비디오 속 대사, 배경음, 효과음 등 소리 정보를 언어 모델이 이해할 수 있는 토큰으로 변환합니다.

HyperCLOVA X SEED 4B는 4B 규모의 경량 모델로서 고해상도 이미지 처리와 오디오 토큰 압축 기술을 적용했습니다. 이를 통해 연산 자원이 제한된 스마트폰, 로봇, 드론, 전술 차량 등 다양한 현장에서 지연 시간 없이 효율적으로 동작할 수 있는 설계력을 갖추었습니다.