AI Briefing#tokenization
#tokenization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#tokenization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Microsoft Research가 KLS 추측을 증명하고 코딩 에이전트 비용을 25.4% 절감했다.
생성 비용 가중 어휘 선택으로 Qwen3-4B 기반 채점 모델의 추론 비용을 77% 줄였다.
17개 LLM 평가 결과 환각 발생률 33~60%로 나타나며 검증 계층 부재가 주요 원인으로 지목됐다.
연구진이 바이트화 기술로 기존 LLM을 저비용으로 바이트 모델로 변환해 성능을 개선했다.
LLM 컨텍스트 윈도우는 단일 요청 처리 가능한 토큰 총량이지만, 긴 입력일수록 중간 정보 인출률이 떨어지는 'Lost in the Middle' 현상이 발생하므로 선별적 관리가 중요하다.
SIMD와 캐싱 기술로 텍스트 처리 속도를 GB/s 단위로 높인 토크나이저 GigaToken이 공개됐다.
Claude Sonnet 5가 새로운 토크나이저를 도입해 같은 텍스트가 1.4배 더 많은 토큰을 생성하게 되어, 정가 유지에도 불구하고 실제 비용은 9월부터 30% 이상 증가한다.
에이전트 RL 학습 시 디코딩된 토큰을 재인코딩하여 발생하는 토큰 불일치 문제를 방지해야 한다.
Transformers v5는 토크나이저 설계와 학습된 어휘를 분리하여 모듈성과 커스텀 편의성을 대폭 강화했다.