AI BriefingOPAL, LLM 에이전트로 학습 중 옵티마이저 코드 재작성해 정적 레시피 상회
·2026.10.21 09:00
핵심 내용
OPAL이 LLM 에이전트로 옵티마이저 코드를 재작성해 정적 베이스라인을 상회했다
자세히 보기
- OPAL은 LLM 에이전트가 학습 동향을 실시간으로 관찰하여 옵티마이저 소스 코드(
updater.py와analysis.py)를 재작성하도록 허용하며, 정적으로 미리 정의된 레시피를 대체함 - modded-nanogpt 벤치마크(162M GPT)에서 다양한 배치 크기와 언어 데이터셋에 걸쳐 OPAL이 최고의 정적 베이스라인(Shampoo, Muon, AdamW)과 동등하거나 이를 초과함
- 이미지 생성 작업에서 OPAL은 공식 레시피 대비 FID-50K 점수를 개선하여 LightningDiT-XL/1은 1.83(공식 2.18), RAEv2-B는 3.19(공식 3.39)를 기록함
- 시스템은 그래디언트 스파이크와 과적합과 같은 엣지 케이스를 커스텀 클리핑 게이트 및 학습률 조정 구현을 통해 자율적으로 처리함
- 논블로킹 구현으로 인해 월클록 오버헤드는 최소(1.01x~1.14x)이며, GPU 컴퓨트 비용에 비해 API 비용(LightningDiT 실행 시 약 $6.42)은 무시할 수준임
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
