AI 반도체 전쟁, 학습에서 추론으로… ‘메모리 벽’ 깨는 d-매트릭스[최중혁의 월가를 흔드는 기업들-창업가편]

AI 추론 반도체 기업 ‘d-매트릭스’ 공동창업자 겸 CEO 시드 셰스 인터뷰인공지능(AI) 반도체를 둘러싼 경쟁의 무게중심이 옮겨가고 있다. 지난 몇 년간 업계의 관심은 모델을 만드는 ‘학습(training)’에 쏠려 있었다. 더 큰 모델을 더 빨리 훈련하기 위해 그래픽처리장치(GPU)를 얼마나 확보하느냐가 경쟁력의 척도였다. 그러나 챗GPT 등장 이후 수억 명이 매일 AI를 사용하면서 무게중심은 이미 만들어진 모델을 실제로 구동하는 ‘추론(inference)’으로 이동하고 있다.추론의 세계에서는 경쟁의 규칙이 다르다. 학습이 얼마나 많은 연산을 처리할 수 있느냐의 싸움이라면, 추론은 사용자가 질문을 던진 뒤 답을 받기까지 걸리는 시간을 줄이는 싸움이다. 최근 코딩 에이전트나 실시간 음성 비서처럼 사람과 정보를 주고받는 속도 자체가 제품의 성패를 가르는 응용 서비스가 쏟아지면서 지연시간(latency)은 부가적인 사양이 아니라 핵심 성능 지표가 됐다.그런데 지연시간을 좌우하는 것은 의외로 연산 능력이 아니다. 병목은 ‘메모리’에 있다. 대규모언어모델(LLM)은 수백억∼수천억 개의 파라미터로 이뤄져 있다. AI가 답변을 한 토큰씩 만들어낼 때마다 이 거대한 모델의 데이터와 앞선 대화의 문맥을 메모리에서 반복해 읽어와야 한다. 연산 유닛이 아무리 빨라도 데이터를 가져오는 통로가 좁으면 전체 처리 속도는 그 한계를 벗어날 수 없다. 업계에서 ‘메모리 장벽(memory wall)’이라고 부르는 문제다.메모리 안에서 연산하는 d-매트릭스실리콘밸리 산타클라라에 본사를 둔 d-매트릭스(d-Matrix)는 이 문제를 정면으로 겨냥한 AI 추론 전용 반도체 기업이다. GPU와 고대역폭메모리(HBM)를 나란히 배치하는 기존 구조 대신 메모리 안에 연산 기능을 직접 넣는 ‘디지털 인메모리 컴퓨팅(DIMC·Digital In-Memory Computing)’ 아키텍처를 택했다. 데이터를 연산 유닛까지 실어 나르는 대신 데이터가 있는 자리에서 계산을 마쳐, 데이터 이동에 드는 시간과 전력을 줄이겠다는 발상이다.d-매트릭스의 최고경영자(CEO) 시드 셰스(Sid Sheth)는 퍼듀대에서 전기공학 석사(MSEE) 학위를 받은 뒤 20년 넘게 반도체 업계에서 경력을 쌓아온 인물이다. 인텔에서 펜티엄 마이크로프로세서와 네트워크 프로세서 그룹의 엔지니어링·관리 직책을 거쳤다. 2001년에는 혼성신호 네트워킹 반도체 기업 아엘루로스(Aelur...