Parameter Golf가 AI 지원 연구에 남긴 교훈

OpenAI는 Parameter Golf라는 제한형 ML 챌린지를 열어, 고정된 FineWeb 데이터셋에서 held-out loss를 최소화하되 모델 가중치와 학습 코드를 합쳐 16MB 이하, 학습은 8×H100에서 10분 안에 끝내야 하는 조건을 걸었다. 참가자는 베이스라인, 데이터셋, 평가 스크립트를 받아 GitHub PR로 제출했고, OpenAI는 8주 동안 이를 운영했다.

1,000명+ 참가자가 2,000건+ 제출을 냈고, 기록 트랙에서는 각 제출을 직접 재현해 제출 시점에 진짜 기록이었는지도 확인했다. 눈에 띈 결과는 기존 개선안을 잘 조합한 최적화, GPTQ-lite와 full Hessian GPTQ 같은 양자화, score-first per-document LoRA test-time training, self-generated GPTQ calibration, 그리고 CaseOps tokenizer, XSA, SmearGate·BigramHash, mini depth recurrence 같은 새 모델링·데이터 아이디어였다.

가장 큰 변화는 AI coding agents의 광범위한 사용이었다. 에이전트는 실험 비용을 낮추고 진입 장벽을 줄였지만, 심사·출처 표기·스코어링에는 새로운 부담을 만들었다. OpenAI는 하루 수백 건씩 들어오는 제출을 처리하려고 Codex 기반 triage bot을 돌렸고, 규칙 밖의 강한 아이디어가 다른 에이전트에 의해 반복 복제되는 문제도 겪었다.

비기록 트랙은 더 실험적이었고, 15개 제출을 골라 기술적으로 흥미로운 접근을 소개했다. 절반이 naive baseline 1.22 BPB를 넘겼고 최고 성적은 1.12 BPB였으며, RunPod의 $1,000,000 compute 후원도 더 많은 참여를 가능하게 했다. OpenAI는 이런 오픈 챌린지가 머신러닝 감각과 집요함을 드러내는 인재 발굴 창구가 될 수 있다고 정리했다.