순수 C 신경망 라이브러리

notorch.h와 notorch.c 두 파일로 구성된 순수 C 신경망 학습·추론 라이브러리 NoTorch가 공개됐다.

• 규모는 약 3300 LOC이며, cc -O2 notorch.c your_model.c -lm -o train 형태로 1초 이내 컴파일을 목표로 한다.
• autograd 31개 연산을 제공하고, backward는 finite-difference 검증을 거쳤다.
• 최적화와 학습 기능으로 Adam/AdamW/Chuck, gradient clipping, accumulation, checkpointing, NaN guard, LR schedule을 포함한다.
• 모델 구성 요소로 SwiGLU, GQA, RoPE, MHA, GEGLU, RMSNorm, LayerNorm을 지원한다.
• BitNet b1.58 ternary quantization의 forward/STE backward와 BLAS sgemm fast path를 제공한다.
• BPE tokenizer, GGUF loader(F32/F16/Q4_0/Q5_0/Q8_0/Q4_K/Q6_K), LoRA-style freezing, DPO/GRPO/knowledge-distillation 예제를 포함한다.
• 백엔드는 Apple Accelerate(macOS), OpenBLAS(Linux), CUDA를 지원한다.

작성자는 nanoGPT를 NoTorch로 포팅해 Dracula 코퍼스로 재학습했다고 밝혔고, 2019년형 Intel i5 MacBook, 8GB RAM에서 변환기 두 개를 동시에 돌려도 총 222MB 수준이라고 주장했다.

일반적인 CPU 환경에서는 약 1억 파라미터까지를 현실적인 상한으로 제시했고, 더 큰 모델은 GPU를 권장했다.