H2O.ai, H2O-Lightning-4B 출시

H2O.ai가 의사결정 추론을 위해 설계된 오픈 웨이트 모델 H2O-Lightning-4B를 공개했다. 이 모델은 Apache-2.0 라이선스를 따르며, 상태와 유형별 질문(선택, 예/아니오, 점수 등)을 입력받아 단일 순방향 패스로 보정된 확률을 반환한다. 생성 토큰을 제거해 추론 속도를 높이고 비용을 절감한다.

벤치마크 성능

공개 JevBench 리더보드에서 H2O-Lightning-4B는 72.5의 종합 점수를 기록하며 71.5점을 받은 Jev 1.13을 제쳤다. 현재 해당 벤치마크에서 가장 높은 점수를 기록한 오픈 모델이다.

기술 사양

• 기본 모델: Qwen3.5-4B를 파인튜닝했다.
• 서빙: 표준 vLLM과 리포지토리에 포함된 소형 오픈 심(shim)과 호환된다.
• 지연 시간: H100 GPU에서 의사결정당 약 30 ms가 소요된다.
• 프라이버시: 데이터는 로컬에 유지되며 호출당 수수료가 없다.

향후 출시

회사는 12B와 31B 버전의 출시를 예고했다. 내부 테스트 결과, 이 대형 모델들은 단일 순방향 패스 구조를 유지하면서도 Jev보다 더 나은 성능을 보이는 것으로 나타났다.