8년 만에 오픈소스 PyTorch curvature 라이브러리를 전면 재작성했다

pytorch-hessian-eigenthings가 v1.0.0a1 알파로 다시 정리됐다. PyTorch 모델의 Hessian, Generalized Gauss-Newton(GGN), empirical Fisher를 대상으로 고유값과 고유벡터를 계산하고, 전체 Hessian을 만들지 않고도 곡률 구조를 분석한다.

핵심 알고리즘은 Lanczos, stochastic power iteration, Hutch++ 기반 trace 추정, Stochastic Lanczos Quadrature다. 큰 모델에서도 Hessian-vector product만으로 동작해 메모리 병목을 줄이며, HuggingFace와 TransformerLens transformer까지 지원한다.

LM-scale 작업에서는 hf_lm_loss_of_output()가 CUDA 환경이면 Triton fused kernel을, 그 외에는 torch.compile 경로를 자동 선택한다. 문서상 이 경로는 eager 대비 속도와 peak memory를 개선한다.

새 API에서는 0.x 인터페이스가 제거됐고, 기존 사용자는 hessian-eigenthings==0.0.2로 고정해야 한다. param_filter로 특정 파라미터 블록만 골라 분석할 수 있고, FSDP처럼 double-backward가 부담스러운 환경을 위한 finite-difference HVP 경로도 제공한다.