DeepSeek, 추론 엔진을 오픈소스로 공개

DeepSeek이 대규모 프로덕션 서비스를 구동하는 추론 프레임워크 DeepInfer를 공개함. 이번 공개 버전은 대규모 서빙에 필요한 핵심 기능을 갖춘 오프라인 추론을 제공함 지원 모델은 DeepSeek-V4.1-Flash이며, NVIDIA SM100 GPU와 Huawei Ascend 950 NPU에서 실행할 수 있음 최적화 커널과 병렬 처리 외에 DSpark와 신뢰도 기반 검증 스케줄링, 제한된 구간만 재처리하는 SWA bounded replay로 디코딩과 프리필 작업을 가속하거나 줄임 배치 불변 추론과 결정적 샘플링을 지원하지만 두 기능은 NVIDIA에서만 사용할 수 있음. 정규식, JSON 스키마, EBNF 문법으로 출력을 제한하는 구조화 출력도 지원함 완전한 추론 서비스를 구성하려면 KV 캐시 시스템, VE/Prefill/Decode 분리, 데이터 병렬 복제본 간 부하 분산을 별도로 갖춰야 함 공개 범위와 지원 환경 DeepInfer는 DeepSeek의 대규모 프로덕션 서비스를 구동하는 고성능 추론 프레임워크이며, 이번 릴리스의 제공 범위는 오프라인 추론임 지원 모델은 DeepSeek-V4.1-Flash이며, 기본 체크포인트는 deepseek-ai/DeepSeek-V4.1-Flash-1017임 첫 실행 시 Hugging Face 캐시에 다운로드하며, 로컬에 저장된 체크포인트를 사용할 수도 있음 실행 관련 내용은 예제 문서에서 확인할 수 있음 지원 하드웨어는 NVIDIA SM100 GPU와 Huawei Ascend 950 NPU임 커널, 병렬 처리와 실행 스케줄링 최적화 커널, 모델 런타임, 샘플러 런타임을 제공함 커널 구성에는 FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, 커스텀 TileLang 커널이 포함됨 병렬 처리 방식으로 Attention DP / balanced CP, MoE EP + EPLB를 지원함 비동기 스케줄링은 CPU 배치 스케줄링과 디바이스 실행을 겹쳐 수행하며, 기본으로 활성화됨 배치 스케줄러는 오버헤드가 없는 스케줄러를 표방함 디코딩 가속과 프리필 작업 축소 DSpark와 신뢰도 기반 검증 스케줄링은 초안 토큰으로 디코딩을 가속하고, 신뢰도 추정치를 이용해 검증 시점을 배정함 최대 초안 길이를 제어할 수 있으며 기본값은 5임 디코더 SWA bounded replay는 제한된 길이의 끝부분만 재처리해 디코더 프리필 작업을 줄임 기본 ...