OVH, 8GB GPU에서 초당 160토큰 처리하는 Olala mini 7A1B 공개

OVH announces Olala mini 7A1B

·2026.11.17 19:14

핵심 내용

OVH가 8GB GPU에서 초당 160토큰 속도를 내는 Olala mini 7A1B를 오픈소스로 공개했다.

자세히 보기

  • OVH가 7B 파라미터 규모로, 256개 전문가 중 레이어당 1B 활성 파라미터를 사용하는 Olala mini 7A1B를 발표함
  • BF16 포맷에서 Differential-TPA와 Mamba-3를 결합한 하이브리드 어텐션을 적용해 메모리 사용량을 절감함
  • RTX A4500 GPU에서 초당 160토큰, GPU 없는 표준 프로세서에서 초당 50토큰의 성능을 기록함
  • GPU 메모리 8GB만 필요하며 32,000토큰 컨텍스트 윈도우를 지원함
  • Apache 2.0 라이선스로 Hugging Face에 오픈소스로 공개됨

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.