Cerebras CS-4, 랙 규모 AI 추론 시스템

1 hour ago 1

Cerebras가 3개의 WSE-3 Turbo를 탑재한 랙 규모 AI 시스템 CS-4를 공개했으며, 프로덕션 GPU 시스템보다 추론 속도를 최대 30배 높임 WSE-Turbo를 기반으로 CS-3 대비 와트당 처리량을 최대 10배 높여 처리량과 상호작용성을 함께 확보함 웨이퍼 간 연결 지연을 2마이크로초까지 줄여 매개변수 10조 개가 넘는 모델에서도 초당 1,000개 이상의 토큰을 생성함 Nexus Platform Architecture로 컴퓨팅·전력·I/O를 모듈화하고 부품 수를 50% 줄여 배포 시간을 수일에서 수시간으로 단축함 전력·냉각·네트워크 인프라를 컴퓨팅 모듈과 분리해 시설을 먼저 검증할 수 있으며, 첫 출하는 이번 분기에 시작됨 성능과 시스템 구성 CS-4는 시스템당 WSE-3 Turbo 3개를 탑재하며, 각 웨이퍼는 이전 세대보다 최대 2배 빠름 새로운 전력·냉각·I/O 설계로 웨이퍼당 성능을 높이고, Nexus 랙 규모 플랫폼으로 하이퍼스케일 데이터센터의 신속한 배포를 지원함 WSE-Turbo 기반 추론은 프로덕션 GPU 시스템보다 최대 30배 빠르며, 프로덕션에서 이용 가능한 가장 빠른 추론 기록을 달성함 처리량과 초대형 모델 지원 CS-3보다 와트당 처리량이 최대 10배 높고, 프로덕션 GPU 시스템보다 최대 30배 빠르게 토큰을 생성함 웨이퍼 간 연결 지연을 2마이크로초로 줄여 매개변수 10조 개가 넘는 모델에서도 초당 1,000개 이상의 토큰을 처리함 매개변수 수십조 개 규모에서도 상호작용 가능한 디코딩 성능을 유지하도록 설계됨 Nexus Platform Architecture CS-4는 새로운 Cerebras Nexus Platform Architecture의 첫 제품으로, 컴퓨팅·전력·I/O를 세 가지 기반 요소로 모듈화함 각 요소에 새로운 설계를 적용해 제조와 배포뿐 아니라 유지보수와 업그레이드도 단순화함 모듈형 Wafer-Scale Backpack 각 Wafer-Scale Backpack은 웨이퍼, 전력 변환, 직접 액체 냉각, 고속 I/O, 제어 전자장치를 소형 3차원 패키지에 통합한 독립형 조립체임 기존 구성보다 부품 수를 50% 줄여 제조를 단순화하고, 배포 시간을 수일에서 수시간으로 단축함 고밀도 전력 공급 전력 공급 장치를 프로세서에서 0.5mm 거리에 배치해, 약 50mm 떨어진 일반 GPU 보드보다 약 100배 가까움 보드 단위 전력 손실을 거의 제거함으로써 WSE-3...

Read Entire Article