WorldTUI: 셸 백엔드 없이 터미널 인터페이스 시뮬레이션하는 360M 파라미터 모델
·2026.10.21 09:00
핵심 내용
합성 데이터로 학습한 360M 모델이 터미널 시뮬레이션에서 기존 베이스라인을 상회했다
자세히 보기
- Qwen2.5-Coder-0.5B 기반 360M 파라미터 모델이 셸 또는 파일시스템 백엔드 없이 원시 키 입력 바이트로부터 터미널 화면 변화를 예측함
- ShellBench에서 80/106, 파일 읽기 작업에서 9/13 점수를 기록하며 프롬프트 기반 Qwen2.5-Coder-0.5B(52/106)와 Qwen3-0.6B(60/106)를 상회함
- Docker 컨테이너를 통해 생성된 336k개의 합성 에피소드(약 2B 토큰)로 학습하며 333토큰 어휘와 문법 제약 디코딩을 적용함
- RTX 4090에서 투기적 검증을 통한 병렬 행 디코딩으로 대형 프레임 지연 시간을 6.7초에서 0.87초로 단축함
- int4 양자화를 통해 모델을 208MB로 압축하여 WebGPU 기반 브라우저 추론을 지원함
- DAgger에서 영감을 받은 자기 교정 학습으로 PresetBench 점수를 24/47에서 38/47로 향상시킴
- 증류 실험에서 기억 능력 보존에 실패하여 레이어 제거 대신 양자화 방식을 채택함
- 새로운 명령 조합과 복잡한 Python 연산, 중첩 디렉터리 일관성 유지에서 여전히 취약함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.