OpenEBFM, 1B 모델로 제로샷 QA에서 GPT 베이스라인 이겨

🚀 OpenEBFM: Can Energy-Based Models Scale as Foundation Models? Code and Weights Released

·2026.10.30 14:22

핵심 내용

1B 파라미터 OpenEBFM이 제로샷 QA에서 GPT 베이스라인을 앞섰다

OpenEBFM은 생성 과정을 에너지 스티어링과 토큰 예측으로 분리하고, Transformer 백본을 공유하여 잠재 상태를 낮은 에너지 영역으로 최적화함
최대 1B 파라미터 모델은 19개 태스크에서 44.71%의 평균 제로샷 QA 정확도를 기록하여, 동일한 GPT 베이스라인의 39.79%를 상회함
파라미터를 268M에서 1B로 확장할 때 GPT 베이스라인보다 개선 속도가 빠르며, 학습 토큰이 증가할수록 더 낮은 검증 BPB를 달성함
논문 및 코드와 함께 전체 학습 스택, 사전 학습 체크포인트, EBFM 기반 챗봇을 오픈소스로 공개함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.