AI Briefing#text-generation
#text-generation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#text-generation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
DiffusionGemma가 Gemma 4를 이산 확산 모델로 개조해 H100에서 1,500TPS를 달성했다.
NVIDIA가 Hugging Face와 호환되는 LLM 생성 제어용 라이브러리 LogitsProcessorZoo를 공개했다.
동일 모델의 초기 레이어를 활용해 텍스트 생성 속도와 메모리 효율을 높이는 Self-Speculative Decoding 기술을 소개한다.
Intel Gaudi 2 가속기에서 Llama 2 모델을 효율적으로 실행하기 위한 Optimum Habana 기반의 텍스트 생성 파이프라인 사용법을 소개한다.
Hugging Face의 오픈 소스 LLM 모델, 라이선스, 서빙 도구 및 PEFT 기술을 정리한 가이드이다.
LLM 추론의 병목인 메모리 대역폭 문제를 해결하여 텍스트 생성 지연 시간을 최대 10배 단축하는 새로운 디코딩 기법을 소개한다.
Transformers 라이브러리에 텍스트 반복 문제를 해결하는 Contrastive Search가 도입되었다.
Hugging Face transformers에서 TensorFlow와 XLA를 결합해 텍스트 생성 속도를 최대 100배까지 높일 수 있다.
Transformers 라이브러리에서 특정 단어를 포함하도록 텍스트 생성을 제어하는 Constrained Beam Search 기능을 소개한다.