현대 LLM 아키텍처의 PyTorch 학습용 구현 모음 'OpenArch' 공개

Sebastian Raschka의 LLM Architecture Gallery에 기반한 현대 오픈소스 LLM 아키텍처의 PyTorch 수작업 구현 모음인 'OpenArch'가 공개됐다. 이 프로젝트는 프로덕션 라이브러리의 속도 및 샤딩 최적화로 인한 가독성 저하 문제를 해결하기 위해, 구조적 선택지를 명확히 드러내는 '읽기'에 최적화된 단일 파일 구현을 제공한다.

주요 구현 아키텍처

현재 Llama 2/3/4, DeepSeek R1, Qwen 3, Gemma 3, Kimi K2, GLM 4.5, GPT-OSS 등 주요 모델의 forward pass가 완성되었다. 각 구현은 Attention(MHA, GQA, MLA 등), Normalization(RMSNorm, QK-Norm 등), Positional Encoding(RoPE, YaRN 등), MoE 라우팅 등 핵심 컴포넌트를 명시적으로 비교할 수 있도록 구성됐다.

프로젝트 목표 및 특징

• 학습 및 교육 목적: transformers 등 프로덕션 라이브러리와의 경쟁이 아닌, 아키텍처 이해를 돕기 위한 참고 자료로 설계됨
• 확장 계획: Sebastian Raschka의 LLM Architecture Gallery에 포함된 아키텍처들을 순차적으로 구현할 예정이며, 현재 Grok-2.5 및 일부 멀티모달 모델은 개발 중임
• 라이선스: 프로젝트 자체는 Apache License 2.0을 따르며, 개별 모델 구현은 원본 모델의 라이선스를 준수해야 함