Mind Lab, Macaron-V1으로 continual learning을 시험하다

Mind Lab은 경험을 통해 AI가 지속적으로 개선되는 continual learning을 핵심 방향으로 삼고, Macaron-V1을 개발했다. 회사는 2025년 10월 설립됐으며 xAI, DeepMind, DeepSeek, ByteDance Seed, MIT, 칭화대 출신 인력으로 구성됐다.

6월 공개한 Macaron-V1-Preview는 GLM-5.1에 약 10억 개 파라미터 규모의 LoRA 전문가 모듈 5개를 결합했다. 출시 2주 만에 연간반복매출(ARR) 1,000만 달러를 기록했으며, 회사가 제시한 벤치마크에서는 기반 모델과 GPT-5.4, Claude Opus 4.6을 앞섰다.

핵심 기술은 여러 LoRA 어댑터를 조합하는 **MoL(Mixture of LoRA adapters)**이다.

• 작업 유형에 따라 가장 적합한 전문가 모듈을 동적으로 선택한다.
• 사용 중 축적된 데이터를 전용 LoRA 어댑터로 증류해 지속적으로 업데이트한다.
• 이를 통해 전체 모델을 재학습하지 않고도 사용자별 성능을 개선한다.

7월 21일 공개된 정식 버전은 두 모델로 구성된다. Venti는 GLM-5.2를 기반으로 한 7,480억 파라미터 모델이며, 이 가운데 7,440억 개는 동결된 기반 모델이고 40억 개는 Mind Lab이 학습한 LoRA 어댑터다. 어댑터 4개는 각각 대화, 에이전트, 코딩, UI 생성 기능을 담당한다.

Tall은 로컬 배포를 위한 경량 모델로, Qwen 3.6을 기반으로 500억 파라미터를 갖췄다. 두 모델 모두 200만 토큰 컨텍스트 윈도우를 기본 지원하며, 회사가 공개한 벤치마크에서 Macaron-V1은 12개 테스트 중 6개에서 최고 수준의 성능을 기록했다.

Mind Lab은 전체 파라미터를 크게 바꾸지 않고 LoRA 어댑터 40억 개만 추가해 GLM-5.2의 기능을 확장했다. 이 결과는 post-training과 continual learning이 차세대 모델 성능을 높이는 주요 경로가 될 수 있음을 보여준다.