AI Briefing#triton
#triton와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#triton와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
신규 커널 퓨징 기법이 B200에서 정규화 지연 90%를 숨기고 어텐션을 35% 가속했다
PyTorch Helion이 컴파일 타임 휴리스틱으로 vLLM 커널 대비 1.27x 성능을 달성했다.
Meta의 TLX가 Blackwell GPU에서 20-25% E2E MFU를 달성했다.
B300 GPU에서 Mamba-2 순전파 속도를 최대 1.82배 높인 cuTile 커널이 공개됐다.
비선형 RNN의 병렬 훈련을 지원하는 오픈소스 라이브러리 ParaRNN이 공개되어 최대 200배 속도 향상을 달성했다.
네이버클라우드가 Helion DSL을 활용해 B200 GPU의 Mamba-2 커널을 최적화해 단일 레이어 연산 속도를 1.33배 높였다.
NVIDIA Blackwell GPU에서 Flash Attention v2 대비 최대 3.5배 빠른 블록 대각 어텐션 커널을 구현했다.
Meta가 추천 모델 추론 시 발생하는 중복 데이터 복제 오버헤드를 제거하는 IKBO 기술을 공개했다.
팔면체 매개변수화와 결합 양자화를 통해 트랜스포머의 KV Cache 압축 성능을 극대화한 OCTOPUS가 공개되었다.
스탠퍼드 CS336 과정은 데이터 정제부터 Triton 기반 FlashAttention2 구현, DPO 정렬까지 LLM 개발 전 과정을 다룬다.
OpenAI Triton을 활용해 NVIDIA와 AMD 모두 지원하는 고성능 MoE 추론 커널을 개발했다.
Triton으로 구현된 Fused MoE dispatch 커널이 Megablocks 대비 높은 효율과 AMD 호환성을 제공한다.
AI 커널의 이식성은 신화이며, 최고 성능은 하드웨어별 DSL에서 나온다고 주장했다.
FlashQLA는 GDN Chunked Prefill을 CP·fused kernel로 최적화해 FLA Triton 대비 최대 3배 빨라졌다.
카카오페이가 모델 서빙의 정합성과 성능을 개선하기 위해 프레임워크를 비교하고 최적화하는 과정을 공유했다.