AI Briefing#pytorch
#pytorch와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#pytorch와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Pinterest는 DPP에서 SSD와 soft spacing으로 피드 다양성과 품질을 함께 최적화했다.
Netflix는 Ray·PyTorch·vLLM 위에 유연한 LLM Post-Training Framework를 구축했다.
광고 랭킹 모델의 표현력을 높이기 위해 기존 Two-Tower 구조를 탈피하고 GPU 기반의 새로운 서빙 아키텍처를 구축했다.
Hugging Face가 AMD GPU용 ROCm 커널을 쉽게 빌드하고 공유할 수 있는 도구를 공개했다.
torch.compile은 shape가 바뀌면 재컴파일하고 guard로 실행 범위를 제한한다.
PyTorch의 AoT 컴파일을 활용해 ZeroGPU Spaces의 모델 추론 속도를 최대 1.8배 높이는 방법을 소개한다.
Hugging Face가 커스텀 CUDA 커널의 개발부터 배포까지 지원하는 kernel-builder 라이브러리를 공개했다.
HuggingFace가 초보자도 쉽게 Vision Language Model을 학습할 수 있는 경량 툴킷 nanoVLM을 공개했다.
Hugging Face가 timm의 다양한 컴퓨터 비전 모델을 transformers 생태계에서 사용할 수 있게 하는 TimmWrapper를 공개했다.
AMD의 5세대 EPYC CPU 'Turin'이 공개되었으며, LLM 추론 성능을 이전 세대 대비 최대 2배 향상시켰다.
Hugging Face의 분산 학습 프레임워크인 Accelerate가 1.0.0 버전 출시를 발표했다.
Hugging Face의 Transformers 모델을 KerasHub에서 직접 로드하여 사용할 수 있게 되었다.
FuriosaAI가 LLM 및 멀티모달 모델 추론에 최적화된 고효율 AI 가속기 RNGD를 공개했다.
DeepSpeed와 PyTorch FSDP의 내부 정밀도 처리 방식 차이가 모델 학습 결과에 미치는 영향을 분석한다.
Hugging Face가 Optimum 라이브러리를 위한 범용 PyTorch 양자화 백엔드인 Quanto를 출시했다.
글로벌 기업들은 2024년 AI 인프라 확장을 계획 중이며, 특히 GPU를 대체할 비용 효율적인 추론용 인프라 확보에 집중하고 있다.
SDXL 모델의 추론 속도를 높이고 메모리 사용량을 줄이기 위한 fp16 적용 및 메모리 효율적 어텐션 활용법을 소개한다.
OpenAI의 RLHF 코드를 재현하며 PPO 구현 시 주의해야 할 핵심 기술적 세부 사항을 정리했다.
기존 PyTorch 코드와 혼합하여 사용할 수 있으며, 동일한 하드웨어에서 훈련 및 추론 속도를 약 15% 향상시킨다.
torchserve thread 설정과 ipex pinning으로 CPU serving 성능을 4배 끌어올렸다.
BERT와 GPT2의 핵심인 MLM과 CLM 원리를 설명하고, PyTorch로 트랜스포머 인코더를 직접 구현하여 도메인 특화 모델을 구축하는 방법을 소개한다.