PorTAL: LLM을 위한 휴대 가능한 작업 어댑터

기존의 LoRA와 같은 매개변수 효율적 미세 조정(PEFT) 방식은 특정 베이스 모델에 종속되어, 새로운 모델이 출시될 때마다 처음부터 다시 학습해야 하는 비용 문제가 있다. 모델 출시 주기가 빨라짐에 따라 이러한 반복적인 재학습 비용은 기업의 큰 부담이 되고 있다.

PorTAL은 이러한 문제를 해결하기 위해 모델에 의존하지 않는 **task latent(z_t)**와 **hypernetwork decoder(D_b)**를 도입했다. 이 구조는 베이스 모델에 관계없이 공통된 핵심(shared core)을 공유하며, 새로운 모델로 전이할 때는 각 모델에 맞춘 얇은 converter만 소량의 데이터로 재학습(refit)하면 된다.

PorTAL의 주요 성과는 다음과 같다:

• 높은 전이 성능: Qwen3-1.7B/4B에서 학습된 지식을 새로운 Qwen3-8B 모델에 적용했을 때, 기존 LoRA 성능의 **~98%**를 회복했다. 또한 Gemma-3-4B에서도 **~94%**의 성능을 보였다.
• 기존 방식 압도: 기존의 Cross-LoRA 방식이 새로운 모델에서 약 14%의 성능만 회복한 것과 비교하면 압도적인 수치다.
• 데이터 및 비용 효율성: 기존 LoRA 방식보다 절반 정도의 데이터만으로도 유사한 성능에 도달할 수 있으며, 더 나은 calibration(보정) 성능을 제공하여 미세 조정에 필요한 연산량(FLOPs)을 크게 절감한다.