OVH, 8GB GPU에서 초당 160토큰 처리하는 Olala mini 7A1B 공개
OVH announces Olala mini 7A1B
·2026.11.17 19:14
핵심 내용
OVH가 8GB GPU에서 초당 160토큰 속도를 내는 Olala mini 7A1B를 오픈소스로 공개했다.
자세히 보기
- OVH가 7B 파라미터 규모로, 256개 전문가 중 레이어당 1B 활성 파라미터를 사용하는 Olala mini 7A1B를 발표함
- BF16 포맷에서 Differential-TPA와 Mamba-3를 결합한 하이브리드 어텐션을 적용해 메모리 사용량을 절감함
- RTX A4500 GPU에서 초당 160토큰, GPU 없는 표준 프로세서에서 초당 50토큰의 성능을 기록함
- GPU 메모리 8GB만 필요하며 32,000토큰 컨텍스트 윈도우를 지원함
- Apache 2.0 라이선스로 Hugging Face에 오픈소스로 공개됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.