추천Qwen-2.5-1B-RLCD: M4 Max에서 JSON 추출 속도 7배 높이는 병렬 디코딩

Apple Silicon의 MLX 프레임워크를 활용해 구조화된 데이터 추출 속도를 극대화한다. 기존 방식처럼 토큰을 하나씩 생성하는 대신, KV-Cache를 병렬로 브로드캐스트해 여러 필드를 동시에 평가한다. 이를 통해 M4 Max 기준 최대 7배의 지연 시간 단축을 달성한다.

JSON 스키마의 각 필드 후보군만 로그잇 슬라이싱으로 검증해 100% 유효한 문법을 보장한다. 최대 255개의 선택지를 가진 고카디널리티 분류나 28개 필드의 엔터프라이즈 티켓 트리아지 같은 복잡한 작업도 지원한다. 모든 필드에 대해 보정된 신뢰도 점수를 함께 반환해 결과의 정확성을 검증하기 쉽다.

Qwen-2.5-1B 기반 모델로, 로컬 환경에서 경량화된 추론이 가능하다. 웹 인터페이스를 통해 병렬 디코딩과 일반 자기회귀 생성의 성능 차이를 시각적으로 비교할 수 있다. 금융 사기 탐지나 코드 보안 감사 등 빠른 응답이 필수적인 분류 및 라우팅 작업에 적합하다.