내 노트북의 Qwen 3.8 27B도 모델 가중치를 해석할 수 있다

노트북에서 실행한 Qwen 3.8 27B가 도구나 코드 실행 없이 신경망 가중치만 읽고, 해당 모델이 학습한 게임 중 Pac-Man, Pong, Breakout을 식별함 실험은 단순화한 게임을 강화학습한 정책 신경망의 부동소수점 가중치를 텍스트로 전달하고 게임을 맞히게 하는 방식이며, 게임별 프롬프트는 가중치를 제외하면 동일함 로컬 실행에는 17GB 모델을 사용했으며, 성공한 세 게임의 응답에 각각 약 46~65분이 걸림 네 번째 게임인 Freeway는 식별에 실패하고 Pac-Man과 비슷한 게임으로 판단해, 모든 사례에서 성공한 것은 아님 가중치 직접 해석과 코드를 이용한 가중치 수정은 구분해야 하며, 이번 결과만으로 소스 코드의 시대가 끝나거나 기계가 이해 불가능한 방식으로 스스로를 수정하는 미래를 단정하기는 어려움 Weight-Space Programming의 성과와 구분할 쟁점 Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights는 GPT-6 Astra 같은 최첨단 모델이 텍스트로 전달받은 신경망 가중치를 해석하고 수정하는 능력을 탐구함 연구진은 논문 형태로 작성했지만 이를 블로그 게시물로 분류함 LLM이 신경망의 각 부분이 무엇을 계산하는지, 또는 무엇을 계산해야 하는지 추론해 가중치를 분석하고 변경하는 작업을 Weight-Space Programming이라고 부름 연구 결과에 따르면 GPT-6 Astra는 원시 가중치만 보고 네트워크의 학습 과제를 알아내고, 환경 피드백 없이 작은 게임용 네트워크를 처음부터 작성할 수 있음 이렇게 작성한 네트워크가 PPO로 1억 스텝 학습한 네트워크보다 뛰어난 게임 성능을 보임 Qwen3.5-0.8B의 수학 능력 개선 실험에서는 경사값 없이 가중치의 0.016% 를 수정함 Qwen의 모델 카드에서도 경고하는 추론 반복 문제를 가중치에서 찾아 수정함 동일한 샘플링 설정에서 MATH-500 점수는 7.9%에서 48.1%로 상승했고, 별도 조정 없이 IFEval도 3배로 높아짐 Astra가 학습 루프를 작성하는 것은 허용하지 않음 다만 도구 없이 가중치를 읽는 능력과 코드를 사용해 다른 모델을 개선하는 능력은 별개의 질문임 spaCy 개발자 Matthew Honnibal은 두 능력을 혼동시킨다는 이유로 오해를 부르는 연구라고 비판함 Sean Goedecke의 ...