AI Briefinginside-llm, 양자화 LLM 토큰 분기 시각화
I have created a tool to observe what happens inside an LLM. Also allows for the comparison of two quantizations of the same model to see at what point they diverge, token by token
·2026.11.16 06:46
핵심 내용
inside-llm이 브라우저에서 양자화 LLM 간 토큰 분기를 시각화한다
자세히 보기
- 오픈소스 도구 inside-llm은 llama.cpp를 통해 GGUF 모델 1~2개를 로드하여 브라우저에서 LLM 내부 동작을 시각화함
- 토큰 확률 스트림을 밝기로 나타내고, 두 모델이 분기되는 지점은 마젠타색 마크로 강조함
- 페널티, top-k, top-p, min-p, temperature, GBNF 등 전체 샘플러 체인을 시각화하여 각 단계별 후보 생존 여부를 표시함
- 로짓 렌즈(logit lens) 기능을 통해 레이어별 예측을 2D 맵 또는 3D 지형도로 매핑함
- 단일 C++17 프로세스와 Svelte 5 프론트엔드로 구성되며, Linux와 Windows에서 CUDA 및 Vulkan을 지원함
- 두 모델이 동일한 토크나이저를 공유하고 VRAM에 동시에 적재되어야 하며, 127.0.0.1에서 로컬 실행되며 텔레메트리를 수집하지 않음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
