LoRA Speedrun – 파인튜닝 기술을 위한 공개 워크클락 리더보드

LoRA/QLoRA와 같은 매개변수 효율적 미세 조정(PEFT) 기술의 성능을 객관적으로 비교하기 위한 LoRA Speedrun 프로젝트가 공개되었습니다. 기존 논문들이 서로 다른 모델, 데이터, 하드웨어를 사용하여 성능을 보고하던 한계를 극복하기 위해 설계되었습니다.

핵심 규칙 및 환경:

• 고정된 환경: Qwen2.5-1.5B 모델, GSM8K 데이터셋, NVIDIA L40S GPU(Modal sandbox)를 사용하여 변수를 통제합니다.
• 측정 지표: 특정 정확도(GSM8K 57% 이상)를 달성하는 데 걸리는 **실제 소요 시간(Wall-clock time)**을 기준으로 합니다.
• 검증 체계: 모든 기록은 동일한 하드웨어에서 3회 재실행하여 검증된 데이터만 인정됩니다.
• 자율성: 참가자는 LoRA Rank, 양자화 방식, 학습률 스케줄, 시퀀스 패킹, 커스텀 커널 사용 여부 등을 자유롭게 선택할 수 있습니다.

이 프로젝트는 nanoGPT의 사례처럼, 파인튜닝 기술 간의 공정한 경쟁을 통해 실질적인 최적화 기법을 발굴하는 것을 목표로 합니다.