Qwenputer: Qwen3.5 내부에서 작동하는 결정론적 RISC-V CPU

Qwenputer는 Qwen 3.5 4B의 가중치에 RISC-V CPU를 컴파일해 넣은 실험 모델로, 외부 실행 환경이나 도구 호출 없이 모델의 순전파 안에서 산술 연산과 C, MicroPython 코드를 실행함 Gated DeltaNet 상태를 정확한 RAM으로 활용하며, CPU 회로를 추가 레이어와 차원의 가중치로 변환함. 기존 Qwen 가중치는 그대로 유지하고 별도 학습이나 사후 학습도 하지 않음 32비트 RV32IM CPU는 공식 riscv-tests를 통과했으며, 참조 머신의 중간 보정 없이 1,800만 개 명령을 연속 실행하는 동안 오류가 없었음 NUPA 긴 정수 산술 정확도는 기본 Qwen의 48.6%에서 100%로 높아져 Python 도구를 제공한 경우와 같았으며, 일반 텍스트 출력의 변화는 측정 잡음 수준에 머묾 체크포인트가 18.8GB로 커지고 전용 드라이버가 필요하며, CPU 명령마다 여러 토큰을 디코딩하므로 큰 계산에 밀리초가 아닌 초 단위 시간이 걸리는 실험적 구현임 Gated DeltaNet을 정확한 RAM으로 사용 Qwen3-Next와 Qwen 3.5는 어텐션 레이어 4개 중 3개에 선형 RNN인 Gated DeltaNet을 사용하며, 각 헤드는 델타 규칙으로 갱신하는 상태 행렬을 유지함 Qwenputer는 게이트와 쓰기 강도 beta를 모두 1로 설정하고 원핫 키를 사용해 상태 행렬을 정확히 주소 지정할 수 있는 메모리로 만듦 게이트는 새 값을 쓰기 전에 전체 상태에 곱해지는 값으로, 0.9이면 매 토큰마다 기억이 줄어들지만 1이면 감쇠하지 않음 beta가 1이면 선택한 방향의 기존 값을 새 값과 혼합하지 않고 완전히 교체함 원핫 키는 하나의 원소만 1이고 나머지가 0인 벡터로, 정확히 한 행을 선택함. 쓰기는 해당 행만 덮어쓰고 원핫 쿼리는 정확한 값을 읽음 GDN 상태 크기는 대화가 길어져도 일정하므로, KV 캐시가 커지는 일반 어텐션을 RAM으로 사용하는 것보다 비용이 훨씬 낮음 델타 규칙 기반 선형 어텐션이 연상 메모리 또는 빠른 가중치(fast weights) 로 작동한다는 원리는 Schlag 등의 ICML 2021 논문 Linear Transformers Are Secretly Fast Weight Programmers에 이미 등장함 이번 구현의 차이는 실제 배포 모델 내부에서 CPU 전체를 실행할 만큼 정확하고 주소 지정 가능한 메모리로 만든 데 있음 기본 Qwen 3....