DeepSeek, 대규모 에이전트 학습용 샌드박스 인프라 'DSec' 공개

DeepSeek이 대규모 LLM 에이전트 학습 및 평가를 위한 프로덕션급 샌드박스 인프라 **DeepSeek Elastic Compute (DSec)**를 공개했다. DSec는 강화학습(RL) 워크플로우에서 에이전트가 저장소 검사, 도구 호출, 서비스 상호작용을 수행할 수 있는 격리된 상태 유지 실행 환경을 제공한다.

아키텍처 및 기능

DSec는 FnCall, 컨테이너, microVM, full-VM 등 다양한 샌드박스 백엔드를 통합 SDK로 노출한다. 클러스터 전반에 걸쳐 배치 및 라이프사이클을 관리하며, 독립적으로 버전 관리되는 레이어로 환경을 구성한다. 주요 기술 특징은 다음과 같다:

• 고밀도 실행: 메모리 공유, 회수, CPU 스케줄링을 결합해 자원 활용률을 극대화한다.
• 온디맨드 이미지 로딩: 클러스터 전체 분산 파일시스템인 **Fire-Flyer File System (3FS)**에서 이미지 데이터를 로드해 재사용률이 낮은 대용량 이미지 코퍼스를 처리한다.
• RL 공동 설계: 상태 유지 롤아웃 실행과 선점 가능한 GPU 학습을 분리해, 유휴 자원을 회수하면서도 롤아웃 상태를 보존한다.
• 안전 메커니즘: 보상 해킹(reward hacking) 등 에이전트의 오작동을 완화한다.

프로덕션 규모 및 성능

DSec의 단일 프로덕션 유닛은 약 160개 노드로 구성되며, 하루에 약 300만 개의 샌드박스를 처리한다. 실제 운영 환경에서는 38만 개 이상의 동시 샌드박스를 지원하고, 초당 5,000개 이상의 샌드박스 생성 속도를 유지한다. 평가 결과 DSec는 환경 설정 및 이미지 배포 오버헤드를 줄이고, 메모리 효율성을 개선하며, 고밀도 오버커밋 조건에서도 지연 시간에 민감한 성능을 유지하는 것으로 나타났다.