NVIDIA Run:ai - 여러 팀이 GPU를 나눠 쓰도록 관리하는 Kubernetes 기반 플랫폼

4 hours ago 4

여러 팀이 공유하는 GPU 인프라에서 AI 개발, 학습, 추론 작업을 배치하고 자원을 배분하는 NVIDIA의 오픈소스 플랫폼
GPU 하나를 여러 작업에 나눠 할당하고, 남는 자원을 동적으로 활용해 유휴 GPU를 줄이는 방식
작업 우선순위와 공정한 배분, 자원 회수, GPU 간 연결 구조를 고려한 배치 지원
부서와 프로젝트별 GPU 할당량과 사용 정책을 설정해 특정 팀의 자원 독점 방지
여러 Kubernetes 클러스터의 작업과 자원을 한곳에서 관리하며, 온프레미스와 클라우드, 혼합 환경에 배포 가능
개발용 작업 공간부터 단일/분산 학습, 추론 서비스까지 관리하고 Kubeflow, Ray, KServe 등과 연동
웹 UI와 CLI, REST API를 제공하며, MCP 서버로 AI 어시스턴트에서도 작업 가능
GPU와 노드, 작업별 자원 사용량을 모니터링하고 역할별 접근 권한 관리
Kubernetes/OpenShift에 자체 설치하며 폐쇄망 배포 지원. 오픈소스 배포판은 NGC 인증 없이 설치 가능
Apache 2.0 라이선스

Read Entire Article