MIT, Flow Matching 모델의 안전 규칙을 최종 출력 단계에서 강제하는 'HardFlow' 개발

MIT 연구팀이 생성형 AI의 최종 출력에 대해 예외 없는 안전 규칙을 강제하는 알고리즘 HardFlow를 개발했다. 이 방법은 Flow Matching 기반 모델에 적용되며, 재학습 없이 기존 모델에 직접 사용할 수 있다.

핵심 메커니즘

기존 방식은 생성 과정의 모든 중간 단계에서 제약을 강제하여 탐색 자유도를 제한하고 최종 품질을 낮추는 문제가 있었다. HardFlow는 이를 해결하기 위해 최종 단계에서만 규칙 충족을 요구하도록 제어 문제를 재정의했다. velocity field에 미세한 조정(nudges)을 가해 짧은 one-step 문제들의 시퀀스로 분해하고 순차적으로 해결하는 방식이다.

성능 및 검증

시뮬레이션 환경에서 6개의 경쟁 방법 대비 규칙 100% 준수와 더 나은 결과 품질을 달성했으며, 계산 시간 증가는 없었다. D3IL(로봇 팔), 미로 탐색, 물리적 프로세스 제어, 텍스트 기반 이미지 편집 등 4가지 벤치마크에서 테스트되었다. 논문은 IEEE Transactions on Pattern Analysis and Machine Intelligence에 게재되었다.

한계점

현재까지의 결과는 모두 시뮬레이션 내에서만 수행되었으며, 실제 물리 로봇이나 배포된 시스템에서의 검증은 이루어지지 않았다. 또한 LLM 출력과 관련된 모호한 안전 규칙 처리나 Autoregressive LLM 등 다른 생성 모델 계열로의 확장 가능성은 아직 확인되지 않았다.