Borealis, 오디오 LLM 레시피 공개

Borealis가 러시아어·영어용 5B audio-language model과 재현 가능한 학습 레시피를 공개했다.

구성은 Whisper3-large 오디오 인코더, Qwen 4B LLM 백본, 중간 adapter 조합이다. 전체 파라미터는 약 5B지만, 실제 학습 대상은 약 500M 수준이며 LoRA + adapter 방식으로 튜닝했다.

공개 범위는 넓다.

• 데이터 파이프라인
• training code와 config
• eval 결과와 research notes
• vLLM 서빙 패치와 데모

실험에서는 최적 run의 평균 **WER 19.17%**를 기록했다. 10% text 혼합은 소폭 개선됐지만 25% text는 오히려 성능을 악화시켰고, native data가 영어 혼합보다 더 유리했다. 웹세미나처럼 잡음·에코·다중 화자가 많은 구간은 여전히 가장 어려운 케이스로 남았다.