DeepSeek Elastic Compute (DSec)

DSec은 대규모 LLM 에이전트 학습과 평가를 위해 FnCall, 컨테이너, microVM, 전체 VM을 통합 SDK로 제공하는 프로덕션 샌드박스 플랫폼임 에이전트 작업은 샌드박스를 대량으로 동시에 생성하고, CPU가 쉬는 동안에도 상태를 유지하므로 탄력적 배치와 고밀도 자원 관리가 필요함 독립적으로 버전을 관리하는 환경 계층을 조합하고 3FS 기반 온디맨드 이미지 로딩, 메모리 공유와 회수, CPU 스케줄링을 결합해 준비 비용과 자원 낭비를 줄임 강화학습 프레임워크와 공동 설계해 상태를 유지하는 롤아웃과 선점 가능한 GPU 학습을 분리하고, 중단 시 상태 보존과 유휴 자원 회수를 지원함 단일 운영 단위는 약 160개 노드에서 하루 약 300만 개의 샌드박스를 처리하며, 프로덕션에서 동시 실행 38만 개 이상과 초당 생성 5,000개 이상을 지원함 에이전트 학습에 필요한 실행 플랫폼 에이전트는 단일 텍스트 답변을 만드는 대신 실행 환경과 반복적으로 상호작용함 코드베이스 탐색, 도구 호출, 명령 실행, 실패 확인, 파일 수정을 수행함 컴퓨터 사용 작업에서는 브라우저와 데스크톱 애플리케이션의 GUI를 조작함 DeepSeek Harness(DSH), OpenCode, 다중 에이전트 학습 하네스 등이 이런 실행 모델을 지원함 에이전트 학습 파이프라인은 환경과 데이터 구성, 강화학습(RL) 롤아웃, 보상 계산, 정책 갱신, 정기 평가로 구성됨 롤아웃은 모델이 파일을 읽고 명령과 도구를 실행하면서 작업별 실행 궤적을 만드는 단계임 보상 계산은 종료 코드, 표준 출력, 테스트 통과율, 작업별 검증기 등의 실행 신호를 이용함 정책 갱신은 수집한 궤적과 보상으로 모델 매개변수를 갱신하며, 평가는 유사한 실행 경로를 거치되 모델 능력 측정에 사용함 비동기 롤아웃은 생성과 정책 최적화를 파이프라인화하고 완료된 샘플을 계속 보충해 높은 동시성을 유지하며 장기 지연 작업의 영향을 줄임 정책 갱신이나 스케줄러 선점 사이에 롤아웃을 중단하고 재개할 수 있어 세션 수명주기와 상태 일관성 관리가 중요함 각 작업에는 저장소, 의존성, 서비스, 평가 스크립트, 코딩 하네스를 갖춘 격리 환경이 필요함 수정하지 않은 소프트웨어 스택, 패키지 관리자, 빌드 도구, 브라우저, 에뮬레이터를 실행할 만큼 실제 머신과 가까워야 함 샌드박스 부하의 일곱 가지 특성 폭발적인 생성 요청이 발생하며, 하나의 작업이 최대 32K개 인스턴스를 요청할 수 있음 배치와...