DeltaNet 계열 선형 어텐션 변형 살펴보기

소프트맥스 어텐션에서 출발해 고정 크기 상태를 쓰는 선형 어텐션, 오류만 기록하는 DeltaNet, 전체 상태를 감쇠하는 Gated DeltaNet, 채널별로 감쇠하는 Kimi Delta Attention(KDA)까지 단계적으로 유도함 기본 선형 어텐션은 과거 key-value 외적의 합을 상태 (S_t)에 저장해 시퀀스 길이에 선형으로 동작하지만, 새 값을 대입하지 않고 기존 연관에 더하는 가산 쓰기 간섭이 발생함 DeltaNet은 현재 key에서 예측한 값과 목표 value의 차이에 (\beta_t)를 곱해 기록하며, 즉시 재구성 조건·온라인 경사하강·랭크 1 상태 갱신이라는 세 해석이 같은 수식으로 이어짐 Gated DeltaNet은 스칼라 (\alpha_t)로 상태 전체를 먼저 감쇠하고, KDA는 이를 대각 행렬 (D_t=\operatorname{Diag}(\alpha_t))로 확장해 key 채널마다 서로 다른 비율로 정보를 유지하거나 삭제함 같은 KDA 점화식을 디코드용 융합 순환 Triton 커널과 학습·긴 프리필용 청크 방식으로 실행하며, 청크 방식은 토큰 내부 의존성을 삼각 풀이로 복원해 행렬 곱으로 재구성함 표기법과 전개 순서 bra-ket 표기에서 (\lvert q\rangle)는 열벡터, (\langle k\rvert)는 행벡터, (\langle k\vert q\rangle)는 스칼라, (\lvert v\rangle\langle k\rvert)는 행렬임 하나의 인과적 어텐션 헤드와 실수 벡터를 사용하고, DeltaNet key는 정규화되어 있으며 상태는 key 공간에서 value 공간으로 사상한다고 가정함 전개 순서는 소프트맥스 어텐션 → 선형 어텐션 → DeltaNet → Gated DeltaNet → KDA이며, 마지막에 순환 및 청크형 Triton 구현으로 연결됨 DeltaNet 계열 가운데 두 변형은 최신 Qwen과 Kimi 모델 계열에서 사용됨 이차 복잡도 어텐션에서 선형 상태로 일반적인 인과적 소프트맥스 어텐션은 key와 query의 유사도를 계산하고, 모든 과거 key에 대한 점수를 분포로 정규화한 뒤 value 벡터의 가중합을 출력함 길이 (T)인 시퀀스에는 (T^2)개의 key-query 쌍이 있음 자동회귀 추론에서는 key와 value를 캐시할 수 있지만 캐시 크기가 시퀀스와 함께 늘어남 새로운 query도 전체 과거를 확인해야 함 소프트맥스 분모는 현재 query와 모든 ...