Grace Blackwell에는 새 스케줄러가 필요하다: 같은 랙에서 사용 가능한 GPU 27% 확대

NVL72는 랙 내 72개 GPU를 NVLink로 연결하지만, 다중 노드 작업이 여러 랙에 흩어지면 여전히 InfiniBand 병목을 겪음. 하드웨어 성능을 활용하려면 랙을 고려한 작업 배치가 필요함 학습의 텐서 병렬화와 전문가 병렬화는 연산으로 완전히 숨기기 어려운 통신을 수반함. Hugging Face 측정에서는 텐서 병렬화 통신을 NVLink에서 InfiniBand로 옮기자 학습 처리량이 43% 감소함 NVIDIA 모델에서 노드 사용 불가율이 2%일 때, 랙의 18개 노드를 모두 할당하는 대신 16개 노드와 예비 노드 2개로 운영하면 사용 가능한 용량이 27% 증가함 NVIDIA GR00T N1.7 사전 학습 비교에서는 512개 GB300 GPU를 랙 인지형 슬라이스 정책으로 배치하자 임의 배치 대비 처리량이 14.4% 증가함 공유 클러스터에서는 작업 종료 시점 차이로 빈 노드가 여러 랙에 흩어지는 단편화가 발생함. 랙 규모 작업을 지속적으로 실행하려면 초기 배치뿐 아니라 장애 복구와 동적 재배치도 필요함 학습에서 NVLink가 중요한 이유 대규모 학습은 수천 개 GPU에 모델을 분할하고, 주어진 연산 예산 안에서 분할된 모델의 복제본을 병렬 실행함 텐서 병렬화(TP) 는 계층의 가중치 행렬을 GPU에 나눔 전문가 병렬화(EP) 는 전문가 혼합(MoE) 계층의 전문가를 서로 다른 GPU에 배치함 파이프라인 병렬화(PP) 는 모델을 계층 단위로 GPU에 나눔 데이터 병렬화(DP) 는 분할된 모델의 복제본들이 서로 다른 학습 데이터를 병렬 처리하도록 함 이 가운데 TP의 all-reduce와 EP의 all-to-all은 학습의 임계 경로에 있어 NVLink 안에 유지하는 것이 특히 중요함 기존 NVLink는 단일 노드 내부 통신에 한정돼 다중 노드 작업은 InfiniBand나 AWS EFA, GCP GPUDirect-TCPX 같은 클라우드 연결을 사용해야 했음 NVL72는 랙 전체를 하나의 NVLink 패브릭으로 연결해 노드 간 통신 대역폭을 한 자릿수 차수만큼 높임 다만 작업이 랙 경계를 넘으면 다시 InfiniBand의 제약을 받음 텐서 병렬화와 전문가 병렬화의 통신 구조 텐서 병렬화에서는 각 GPU가 계층 가중치의 일부만 저장하고 계산함 Transformer의 자기 어텐션과 MLP 블록은 각각 핵심적으로 두 번의 연속 행렬 곱셈(GEMM)으로 구성됨 Megatron-LM은 첫 GEMM을 열 방향, 두 번...