워털루대, 영어 설명을 로컬 실행 Neural Program으로 변환하는 PAW 공개

워털루대(University of Waterloo) 연구팀이 영어 텍스트로 함수를 설명하면 이를 로컬(CPU 포함)에서 실행 가능한 Neural Program으로 컴파일하는 오픈소스 프로젝트 **ProgramAsWeights(PAW)**를 공개했다.

컴파일과 추론의 분리

PAW의 핵심은 Compilation과 Inference를 분리하는 아키텍처다. 고정된 태스크에 대해 반복 실행은 작은 모델이 담당하고, 큰 모델은 태스크별 weights를 생성하는 역할을 수행한다. 생성된 함수는 저장, 배포, 일반 코드와 조합이 가능하다.

• Standard Compiler: Finetuned Qwen3-4B가 Frozen Qwen3-0.6B(interpreter)용 LoRA adapter를 생성한다.
• Neural Program 구성: 태스크 특화 LoRA adapter와 컴파일 시 생성된 클린업된 태스크 설명 및 input/output 예시(Pseudo-program)로 구성된다.
• 메커니즘: text-to-LoRA 방식과 유사하며, (task description, input, output) triple로 학습된다. Gradient는 frozen interpreter를 통과해 compiler 및 adapter 생성 레이어로 흐름.

성능 및 Compile by Training

FuzzyBench 평가에서 PAW(0.6B interpreter)는 **73.4%**의 Exact-match accuracy를 기록하며, Baseline(Qwen3-32B direct prompting)의 68.7%를 상회했다.

• Compile by Training: 고정밀도 모드로, 생성된 LoRA adapter를 초기값으로 사용하여 Teacher model이 합성한 예시로 100 steps finetuning을 수행한다. 배포 환경에서 약 1분이 소요된다.
• FuzzyBench-Hard: 원본 평가에서 exact match가 없었던 subset에서 **83.6%**의 Semantic accuracy를 달성했다.
• 이후 추론 시 teacher 호출 없이 로컬에서 실행된다.

전망 및 활용

연구팀은 대규모 모델이 tool builder 역할을 수행하고, 기능 설명 입력 시 소형 neural program을 반환하여 소프트웨어에 통합하는 장기적 비전을 제시했다. 예제 코드는 hosted compiler를 사용하거나, GPU 보유 시 자체 compiler 호스팅이 가능하며 released model weights를 이용해 로컬에서 실행할 수 있다.