DetLLM, 정수 연산으로 하드웨어 무관 비트 동일 LLM 추론 달성

• DetLLM은 부동소수점 대신 정확한 정수 연산을 사용해 전방 전파(행렬 곱셈, softmax, 정규화, 로터리 임베딩)를 수행함으로써 LLM 추론의 비결정론성을 제거함. 하드웨어나 배치 크기와 무관하게 비트 단위로 동일한 출력을 보장함.
• Qwen3-0.6B 모델을 A100, H100, 다양한 CPU에서 9가지 구성으로 테스트한 결과, 정수 연산은 단일 고유 해시를 생성한 반면 부동소수점 연산은 덧셈 순서 라운딩 오류로 인해 9개의 서로 다른 해시를 생성함.
• WikiText2 퍼플렉시티 20.72를 기록하여 모델 품질을 유지함(fp16 대비 20.95). 커널 최적화 후 A100에서 초당 최대 106.3토큰의 디코딩 속도를 달성함.
• 양수(dyadic) 스케일 양자화와 토큰별 활성화 양자화를 통해 배치 불변성을 확보하여 결정론을 달성함. 하드웨어 특정 명령어에 의존하는 것은 int8 행렬 곱셈 디스패칭뿐임.

기술적 구현

• I-LLM 프레임워크의 정수 연산자를 사용하며, 미세 조정 없이 보정 패스와 닫힌 형식(smoothing) 트릭만 필요함.
• Exp, softmax, RMSNorm, SwiGLU에 시프트 기반 정수 알고리즘을 적용하고, 로터리 임베딩을 위해 사전 계산된 int16 사인/코사인 테이블을 사용함.
• TorchDispatchMode 가드가 부동소수점 텐서의 부재를 강제하고, argmax는 일관성을 위해 가장 낮은 토큰 ID 쪽으로 동점을 처리함.

한계 및 범위

• 부동소수점에서 정수로 변환하는 과정 자체가 재현 불가능하기 때문에, 이 보장은 특정 준비된 아티팩트에 한정됨.
• 프리필 속도는 fp16보다 현저히 느리며(약 0.13배), 현재 구현은 단일 모델 크기에 대한 개념 증명임.