모델이 학습할 때: 테스트 타임 트레이닝의 원리와 영향

기존 AI 모델은 학습이 끝나면 가중치가 고정되어 동일한 질문에 항상 같은 답을 내놓는다. 반면 **테스트 타임 트레이닝(Test-Time Training)**은 사용자가 질의하는 동안 모델이 그 프롬프트에 대해 그라디언트 스텝을 수행하며 가중치를 실시간으로 변경하는 방식이다. 이는 GPS가 일시적인 우회로가 아닌, 매일의 교통 패턴에 맞춰 영구적인 단축 경로를 학습하는 것과 유사하다.

이 방식은 기존 트랜스포머 아키텍처와 비교했을 때 세 가지 주요 변화를 가져온다.

• 메모리 효율성: 컨텍스트 길이에 따라 선형적으로 증가하는 KV-cache 대신, 고정된 크기의 가중치로历史信息을 압축하여 메모리 사용량이 컨텍스트 길이와 무관하게 일정하게 유지된다.
• 추론 속도 향상: 컨텍스트 길이에 관계없이 추론 지연 시간이 일정하게 유지되어, 스탠퍼드 연구에 따르면 최대 2.7배 더 빠를 수 있다.
• 서버 비용 증가: 사용자마다 모델 가중치가 달라지므로, 하나의 공유 모델 대신 사용자별 독립된 모델 인스턴스를 서빙해야 한다. 이는 GPU 및 칩 사용량 증가를 의미한다.

따라서 테스트 타임 트레이닝은 긴 컨텍스트 처리와 대규모 사용자 동시 서비스 사이의 트레이드오프를 내포한다. 코딩 에이전트처럼 장기 세션에서 사용자 맞춤형 컨벤션을 학습할 때 비용 대비 효과가 크지만, 일회성 고객 지원 질문에는 기존 공유 모델이 더 경제적이다.