AutoAdapt: 대규모 언어 모델을 위한 자동 도메인 적응

AutoAdapt는 법률, 의료, 클라우드 장애 대응처럼 높은 신뢰성이 필요한 영역에서 LLM 도메인 적응을 자동화하는 프레임워크다. 입력된 목표, 도메인 데이터, 그리고 latency·hardware·privacy·cost 제약을 바탕으로 실행 가능한 적응 파이프라인을 설계한다.

핵심은 **Adaptation Configuration Graph(ACG)**다. 이 구조화된 구성 그래프가 RAG, supervised fine-tuning, LoRA 같은 접근을 포함한 적응 공간을 정리해, 유효한 파이프라인만 탐색할 수 있게 한다.

그 위에서 계획 에이전트가 전략을 고르고 이유를 설명하며, 필요 조건과 맞지 않는 선택은 배제한다. 단순히 블랙박스 최적화를 돌리는 방식이 아니라, best practices와 명시적 제약을 반영해 실행 가능한 워크플로를 만든다.

마지막으로 AutoRefine가 예산을 고려한 refinement loop로 하이퍼파라미터를 조정한다. 제한된 피드백 속에서도 다음 실험을 전략적으로 고르며, 수작업으로는 수주 걸릴 수 있는 튜닝을 더 재현 가능하고 감사 가능한 과정으로 바꾼다.

실험에서는 추론, 질문응답, 코딩, 분류, cloud-incident diagnosis 등 다양한 작업에서 경쟁 baselines보다 더 안정적인 성능을 보였다. 추가 비용은 평균 약 30분의 시간과 $4 수준으로 작았고, 성능 향상 대비 오버헤드가 낮았다.

의미는 분명하다. 도메인 적응을 더 이상 임기응변이 아니라 엔지니어링 절차로 다룰 수 있게 되며, 결과를 더 빨리 만들고 더 쉽게 재현하고 더 엄격하게 감사할 수 있다. 프레임워크는 open source로 공개됐다.