어텐션이 필요한 것은 아니다 (2025)

Causal Grassmann은 명시적인 어텐션 가중치 대신 국소 토큰 쌍의 부분공간을 기하학적 특징으로 변환해 정보를 섞는 시퀀스 모델임 셀프 어텐션을 텐서 리프팅으로 해석하고, 고차원 쌍별 상호작용이 모델 전체의 동작을 소수의 불변량으로 기술하기 어렵게 만든다는 문제의식에서 출발함 Wikitext-2에서 1,300만~1,800만 파라미터의 Grassmann 언어 모델은 비슷한 크기의 Transformer 기준 모델과 검증 퍼플렉시티 차이가 10~15% 이내였음 SNLI에서는 DistilBERT 위에 얹은 Grassmann 분류 헤드가 Transformer 헤드보다 소폭 높은 정확도를 기록했지만, 전체 모델이 어텐션을 사용하지 않는 실험은 아님 혼합 연산의 계산량은 랭크와 윈도 수가 고정되면 시퀀스 길이에 선형으로 증가하지만, 현재 구현은 중간 길이 시퀀스에서 최적화된 GPU 어텐션 커널보다 스텝당 느림 어텐션을 텐서 리프팅으로 보는 출발점 셀프 어텐션은 은닉 상태에서 Q, K, V를 생성하고, QKᵀ를 softmax로 정규화한 L×L 가중치 행렬로 값을 혼합함 각 헤드와 계층에서 모든 위치 쌍에 별도 가중치가 생기며, 토큰 표현 외에도 고차원 쌍별 관계가 계속 변화함 개별 어텐션 맵은 시각화할 수 있지만, 여러 계층과 헤드의 합성 효과를 소수의 명시적 불변량으로 요약하기는 어려움 연구의 중심 가설은 대형 Transformer의 해석 불가능성이 깊이나 파라미터 수뿐 아니라, 핵심 연산인 고차원 텐서 리프팅에도 뿌리를 둔다는 것임 의미 다양체 위의 기하학이라는 시각에서는 은닉 상태를 다양체 위의 점으로, 순전파를 그 위의 경로로 볼 수 있음 어텐션은 쌍별 상호작용 공간으로 표현을 올리고, 후속 신경망 계층은 그 자유도를 유용한 흐름으로 정렬하고 제약함 추론은 계층을 거듭하며 의미 다양체의 내재적 구조를 표본화하고 정제하는 과정으로 볼 수 있음 목표는 어텐션이 쓸모없음을 입증하거나 모든 곳에서 대체하는 것이 아니라, 표현의 기하학적 진화 규칙을 다른 방식으로 설계하는 것임 Grassmann 다양체와 Plücker 좌표 Grassmann 다양체 Gr(k, r) 는 Rʳ의 모든 k차원 선형 부분공간의 집합이며, 차원은 k(r−k)임 모델은 2차원 부분공간을 나타내는 Gr(2, r)에 집중하며, 이 다양체의 차원은 2(r−2)임 Plücker 임베딩은 부분공간의 기저 벡터들을 외적으로 결합해 사영 공간의 점으로 옮김 ...