신경망은 깔끔하다

신경망의 뉴런과 회로는 먼저 분해하거나 재구성하지 않아도 직접 이해할 수 있다는 가설임. 무관한 개념의 혼합처럼 보이던 현상 상당수는 재귀적 일반화와 관찰 도구의 오류로 설명할 수 있음 대표적인 중첩 사례였던 고양이/자동차 뉴런은 V자 형태를, 자동차 정보를 개 뉴런에 숨긴 것으로 해석했던 회로는 공유 자세를 처리하는 것으로 재해석함 InceptionV1 마지막 층의 해석 가능성은 도구 개선과 재학습으로 높아졌으며, 같은 규모의 현대적 ConvNeXt에서는 약 99% 에 도달함 Qwen3-32B 초기 조사에서는 뉴런 극의 약 90% 가 하나의 주된 역할과 관련된 곁가지를 가진 것으로 추정함. 뉴런 제거 실험으로 진단, 인물 추론, 확신 표현 등의 계산 경로도 검증함 모든 신경망에서 중첩이 없음을 증명한 결과는 아니며, 해석 비율도 잠정적임. 완벽한 특징 목록을 재구성하기보다 원래 회로를 탐색하고 가설을 검증하는 자동화된 과학 연구를 우선하자는 제안임 핵심 가설과 ‘중첩’의 구분 수개월간 이미지 모델과 언어 모델을 조사한 결과, 네트워크 자체의 메커니즘을 읽고 실험하는 접근이 연구진의 예상보다 잘 작동함 뉴런, 연결, 데이터 흐름을 관찰하고 설명을 검증하는 정상과학 방식과, 가정한 특징을 재구성 목적함수로 추출하는 방식을 구분함 후자의 접근은 원래 네트워크가 실제로 뒤엉켜 있다면 필요할 수 있지만, 이를 출발점으로 가정할 근거는 약하다고 봄 재귀적 일반화(recursive generalization) 는 뉴런이 관련된 여러 방향으로 가지를 뻗으며 역할을 확장하는 현상임 각 확장은 국소적으로 이해할 수 있어도 여러 단계를 거친 최종 역할은 하나의 인간 개념으로 묶기 어려울 수 있음 iy를 감지하던 뉴런이 diy, 이어 iy가 없는 do it yourself까지 반응 범위를 넓힌 사례가 있음 Multimodal Neurons의 결합 특징 관찰과 이어지지만, 이번에는 학습 중 가지가 계속 성장하는 과정을 확인함 여기서 문제 삼는 중첩(superposition) 은 서로 드물게 간섭한다는 이유로 무관한 계산을 같은 뉴런에 넣는 ‘임의 압축 저장’임 일반화는 공유 패턴과 국소적 유사성 때문에 대상을 묶고, 중첩은 서로 무관해 충돌이 적다는 이유로 묶는다는 차이가 있음 늘어진 개 귀의 다양한 각도를 묶는 것과, 개 귀와 라틴어 시를 함께 담당하는 것은 서로 다른 예측을 만듦 ‘차원보다 특징이 많다’는 정의는 별개임. 읽기 ...