higgsfield: 트릴리온 파라미터 모델, GitHub 커밋 하나로 분산 학습

수십억에서 수조 파라미터 규모의 LLM 학습을 위해 복잡한 클러스터 설정과 환경 의존성 지옥에서 벗어나게 해준다. GPU 자원 할당, 실행, 모니터링을 자동화하며, ZeRO-3 Deepspeed와 PyTorch FSDP를 지원해 대규모 모델의 효율적인 분산 처리를 가능하게 한다.

GitHub Actions와 연동되어 코드 커밋만으로 노드에 실험을 배포하고 실행한다. 600개가 넘는 인자를 정의하는 YAML 지옥 대신 간단한 인터페이스로 실험을 구성하며, 체크포인트 저장 및 재현성 확보를 위한 버전 관리까지 자동으로 처리한다.

Azure, LambdaLabs, FluidStack 등 주요 클라우드 환경에서 검증되었으며, Ubuntu 기반의 SSH 접근이 가능한 노드라면 즉시 활용 가능하다. 표준 PyTorch 워크플로우를 따르므로 기존 코드와 호환성이 높고, LLaMA 70B 같은 대형 모델을 분산 환경에서 학습하는 데 최적화되어 있다.