단일 노드 LLM RL 학습 툴킷 AReno 공개

AReno는 Ant Group의 ASystem 팀 엔지니어들이 개발한 로컬 LLM post-training 툴킷이다. 단일 노드에서 최대 성능을 내도록 최적화되어 있어, 별도의 클러스터 구축 없이도 빠른 post-training이 가능하다.

주요 특징은 다음과 같다:

• Plug-and-play: 별도의 클러스터나 런처 설정 없이 다양한 post-training 방식을 즉시 사용할 수 있다.
• Lightweight: 외부 백엔드 없이 PyTorch와 FlashAttention 등 필수 라이브러리만 사용하는 독립형 패키지다.
• Agentic RL 지원: OpenAI 호환 프록시를 통해 에이전트 함수를 실행하고, 토큰 및 보상 데이터를 기반으로 학습할 수 있다.
• 확장성: 새로운 알고리즘, 모델 어댑터, 보상 함수 등을 코어 변경 없이 쉽게 등록할 수 있다.