DeepX, 2세대 AI 칩 DX-M2 테이프아웃 완료 - 5W 미만에서 최대 1,000억 파라미터 모델 추론 목표

한국 엣지 AI 반도체 스타트업 딥엑스가 2세대 가속기 DX-M2의 테이프아웃을 완료함. 로봇과 드론처럼 전력과 발열 제약이 큰 기기에서 생성형 AI를 직접 실행하도록 설계함 5W 미만에서 전체 200억~1,000억 파라미터 규모의 모델을 초당 10~30토큰으로 실행하는 것이 목표. 활성 파라미터는 약 30억~200억 개이며, 메모리 대역폭은 전작의 3배인 150GB/s로 높임 Samsung의 LPDDR5x-PIM으로 GEMV 연산을 넘기면 Llama3.1-8B 처리량이 DX-M2 단독 대비 6.7배가 될 것으로 시뮬레이션에서 예측함. 다만 전체 소비전력도 2.7배로 늘어나며, 동일 전력에서는 약 2배의 성능 향상을 예상함 로봇 시장에서는 Nvidia Isaac에서 자체 Newton 라이브러리로 전환하는 경로를 개발 중임. 호환 라이브러리 17개를 구현했으며, 전체 로봇 소프트웨어 스택은 아직 개발 단계임 DX-M2 샘플은 2027년 3월, 양산은 2027년 가을을 목표로 함. 후속 DX-M3는 2028년 출시 예정이며 칩렛과 LPDDR6-PIM을 채택할 계획임 DX-M2의 온디바이스 추론 목표 DX-M2는 전력과 발열 제약이 큰 로봇, 드론 등 엣지 기기에서 생성형 AI를 실행하도록 설계한 2세대 가속기임 1세대 DX-M1은 비전 응용을 대상으로 하며 현재 양산 중임 M2는 M1과 같은 5 W 전력 예산 안에서 200억~1,000억 파라미터 모델을 초당 10~30토큰으로 실행하는 것을 목표로 함 해당 모델의 활성 파라미터는 약 30억~200억 개이며, 처리 속도는 모델에 따라 달라짐 메모리 대역폭은 50 GB/s에서 150 GB/s로 증가함 DeepX에 따르면 NPU 설계 개선으로 전력 효율이 2배가 됐고, 2 nm 공정 전환으로 다시 2배가 됐으며 80 TOPS를 달성할 수 있음 대규모 전문가 혼합(MoE) LLM을 처리하고, 추측 디코딩(speculative decoding)과 TurboQuant를 지원함 DeepX는 5 W 수준의 소비전력으로 드론을 비롯한 배터리 구동 기기에 정교한 AI를 배치하는 것을 목표로 함 LPDDR5x-PIM의 작동 방식과 성능 한계 AI 추론은 메모리와 연산 장치 사이의 가중치 이동에 제약을 받으며, 특히 GEMV(일반 행렬-벡터 곱셈) 에서는 무작위 메모리 접근이 연산을 늦춤 메모리 내 연산(PIM) 은 GEMV처럼 메모리 병목이 큰 연산을 메모리 칩 내부에서 수행함 유효 ...