강화학습을 시퀀스 모델링 문제로 해결하는 Decision Transformer

전통적인 **심층 강화학습(Deep RL)**은 에이전트가 환경과 상호작용하며 보상을 최대화하는 정책을 찾는 과정에서 Temporal Difference(TD) learning을 활용한다. 하지만 TD learning은 타겟 값의 불안정성 때문에 네트워크 층을 깊게 쌓기 어렵다는 한계가 있다.

이러한 문제를 해결하기 위해 제안된 **Decision Transformer(DT)**는 강화학습을 자연어 처리의 sequence modeling 문제로 재정의한다. DT는 기존의 action-value function을 학습하는 대신, 특정 상태에서 원하는 가치를 얻기 위해 어떤 행동을 해야 하는지를 직접 학습한다.

**DT의 주요 특징은 다음과 같다:

• Transformer 구조를 활용하여 복잡한 레이어를 안정적으로 쌓을 수 있음
• Supervised Learning 방식으로 정책을 학습하여 TD learning의 불안정성 극복
• 환경과의 실시간 상호작용 없이 주어진 데이터를 활용하는 Offline RL에 최적화

최근에는 이러한 DT의 구조를 확장한 Generalized DT 모델도 함께 주목받고 있다.