AI Briefing#tokenizer
#tokenizer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#tokenizer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Claude Haiku 5.5는 토큰 단가가 75% 낮아졌지만 토큰 사용량이 늘었다
Claude 토크나이저가 약 15,000개 엔트리로 재현되며, Anthropic이 Vocab을 축소하는 이유와 이점이 분석되었다.
Claude Sonnet 5의 토크나이저 변경으로 동일 작업 시 비용이 최대 2배까지 증가할 수 있다.
Liquid AI가 LFM2.5-8B-A1B 모델의 어휘 사전을 65K에서 128K로 처음부터 재학습 없이 확장하는 기법을 공개했다.
Gigatoken은 HuggingFace 토크나이저 대비 최대 1353배 빠른 속도를 제공하는 오픈소스 토크나이저다.
이론적으로는 난해한 최적의 Tokenizer 찾기 문제를 정수 선형 계획법(ILP)을 통해 실무적으로 해결하는 알고리즘을 제안한다.
기존 tiktoken 및 Hugging Face 토크나이저보다 2~5배 빠른 Zig 기반 멀티스레드 토크나이저 ztok이 출시되었습니다.
SQLite 문법을 직접 컴파일한 SQL 파서·포매터·LSP 도구가 공개됐다.
Claude 4.7은 토큰이 1.3~1.45배 늘지만 strict instruction following은 소폭 개선됐다.