모델은 의도적으로 더 멍청해지고 있다

최근 소형/MoE 모델은 적은 활성 매개변수로도 수학·코딩 추론 성능을 높이는 대신, 세부 정보 회상 능력은 약해지는 모습을 보임 사실 지식(factual knowledge) 은 많은 모델 용량을 차지하고 빠르게 낡지만, 문제 분해·검산·되돌아가기 같은 추론 절차는 여러 문제에 반복 사용할 수 있음 모델에는 폭넓은 기본 지식만 남기고, 버전·가격·인물·API 같은 세부 정보는 검색·문서·도구 호출로 실행 시점에 공급하는 구조가 더 효율적일 수 있음 이렇게 하면 코딩 에이전트가 오래된 내부 지식 대신 현재 프로젝트의 문서와 의존성을 확인하고, 잘못된 정보도 출처를 찾아 수정 가능한 문제로 바꿀 수 있음 더 나아가 세부 지식을 모델 밖으로 충분히 옮기면 프런티어급 추론을 훨씬 작은 로컬 모델에서 실행할 가능성도 있다는 전망이지만, 아직 가설에 가까움 추론은 강해지고, 세부 정보 회상은 약해짐 GLM-5.2는 토큰당 약 40B 활성 매개변수로 AIME 2026에서 99.2%, Qwen3.5는 17B로 91.3%를 기록함 DeepSeek V4-Flash는 전체 284B 매개변수 가운데 토큰당 약 13B만 활성화함 Qwen3.5 9B는 양자화하면 6GB VRAM에 들어가면서도 10B 미만 모델에서 높은 종합 성능을 보임 반면 도구 없이 세부 정보를 직접 회상하는 SimpleQA에서는 Gemini 2.5 Pro가 53%였고, Qwen3.5 4B/9B는 Artificial Analysis의 지식 평가에서 80~82%의 환각률을 기록함 이런 차이는 모델 용량을 수많은 세부 정보를 저장하는 데 쓰기보다 재사용 가능한 추론 능력에 집중하는 절충으로 해석할 수 있음 사실 지식은 많은 저장 공간이 필요함 Physics of Language Models의 통제된 실험에서는 모델의 사실 지식 저장 용량을 매개변수당 약 2비트 수준으로 측정함 잘 알려지지 않은 사람의 생년, 지역별 인구, npm 패키지 함수의 인수 순서처럼 수많은 세부 정보를 가중치에 직접 넣으려면 많은 매개변수가 필요함 반면 추론에는 여러 문제에서 반복해서 사용할 수 있는 비교적 작은 절차 집합이 있음 문제를 작은 단위로 분해 중간 상태를 추적 결과를 검산 실패한 단계에서 되돌아감 증류와 검증 가능한 과제를 활용한 강화학습은 이런 추론 절차를 더 작은 모델로 옮기는 데 유리함 Phi-4처럼 수학에는 강하지만 일반 지식 문제에는 상대적으로 약한 모델도, 단순한 약점이 아...