Liquid AI, 결정 모델 d1 공개

Liquid AI가 텍스트 생성이 아닌 분류, 라우팅, 점수 매기기에 특화된 첫 결정 모델(Decision Model) d1을 공개했습니다. 이 모델은 TypeSafe AI의 System One 모델(Jev)과 동일한 인터페이스를 사용하며, 출력 토큰이 항상 0으로 고정되어 입력 길이에 따라 비용과 지연이 결정됩니다.

주요 특징 및 사용 가이드

• LLM과의 차별점: 답이 정해진 선택지 중 하나인 경우 d1을, 새로운 문자열 생성이 필요한 경우 LLM을 사용합니다. d1은 낮은 지연, 보정된 확률(Calibrated Probability), 스키마 오류 없음, 병렬 평가 등의 장점을 가집니다.
• 질문 유형: 예/아니오 확률을 반환하는 Noul, 범주 선택과 신뢰도를 반환하는 Choice, 순서형 척도 점수를 반환하는 Score 세 가지 유형을 지원합니다.
• 신뢰도 계산: Choice 응답의 confidence는 1순위 확률이 아니라 옵션 수(K)와 1순위 확률(p_max)을 기반으로 보정됩니다. 옵션이 많을수록 동일한 1순위 확률에서도 낮은 confidence 값을 가집니다.

성능 및 벤치마크 검증

Liquid AI는 d1이 Hugging Face Decision Index에서 Jev를 넘은 첫 모델이라고 주장했으나, 자체 재현 결과 종합 점수 차이는 1.0점(d1 58.9 vs Jev 57.9)에 불과했습니다. Arts 영역에서는 우위였으나 Knowledge 영역에서는 열세를 보였습니다. 외부 벤치마크(typed-decisions)에서는 d1이 Jev보다 정확도(0.742 vs 0.727)와 KL 발산, ECE 지표에서 우수한 것으로 나타났습니다.

도입 시 고려사항

현재 d1은 가중치가 비공개이며 Liquid API로만 제공됩니다. 미세조정이나 온디바이스 실행은 지원되지 않으며, 요금표와 사용 한도, 지원 언어 목록 등 구체적인 운영 정보가 문서화되지 않았습니다. 한국어 신뢰도 또한 검증되지 않은 상태입니다.