Kimi Linear: 표현력과 효율을 높인 어텐션 아키텍처(2025)

Kimi Linear는 KDA와 MLA를 3:1로 배치한 하이브리드 구조로, 동일한 학습 조건에서 전체 MLA보다 단기·장기 문맥과 강화학습 평가 전반에서 높은 성능을 기록함 핵심 모듈인 Kimi Delta Attention(KDA) 은 Gated DeltaNet의 헤드 단위 망각 게이트를 채널 단위로 세분화해, 유한한 RNN 메모리의 각 특성 차원이 독립적인 망각률을 갖도록 함 특수한 Diagonal-Plus-Low-Rank(DPLR) 전이 행렬과 청크 단위 병렬 알고리듬으로 일반 DPLR보다 연산량을 줄였으며, 연산자 효율은 약 100% 향상됨 활성 파라미터 3B·전체 파라미터 48B 모델을 1.4T 토큰으로 학습해 MMLU-Pro 4K에서 51.0점, RULER 128K에서 84.3점과 3.98배 가속을 달성했으며, 1M 토큰에서는 MLA보다 출력 토큰당 시간이 6.3배 빨라짐 장문 생성 시 KV 캐시를 최대 75% 절감하면서 기존 전체 어텐션 파이프라인의 캐시·스케줄링 인터페이스를 바꾸지 않고 적용할 수 있고, KDA 커널과 vLLM 구현 및 모델 체크포인트도 공개됨 장기 추론에서 전체 어텐션이 만드는 병목 에이전트형 LLM과 강화학습 기반 테스트 시간 확장은 긴 궤적, 도구 사용 상호작용, 복잡한 의사결정 공간을 추론 중 처리해야 함 표준 소프트맥스 어텐션은 시간 복잡도가 제곱으로 증가하고 KV 캐시가 문맥 길이에 비례해 커지므로 처리량, 문맥 확장, 실시간 상호작용을 제한함 선형 어텐션은 계산 복잡도를 낮출 수 있지만 표현력이 제한돼 짧은 시퀀스의 언어 모델링에서도 소프트맥스 어텐션보다 성능이 낮았음 최근의 게이팅·감쇠 메커니즘과 델타 규칙(delta rule) 은 중간 길이 시퀀스에서 품질 격차를 줄였지만, 순수 선형 구조는 유한 상태 용량 때문에 장기 시퀀스 모델링과 문맥 내 검색에 제약이 있음 일부 전역 어텐션 계층과 다수의 선형 계층을 결합한 하이브리드 구조가 품질과 효율의 절충안으로 등장했으나, 기존 모델은 규모가 제한적이거나 다양한 벤치마크 평가가 부족했음 선형 어텐션에서 Gated DeltaNet까지 기본 선형 어텐션은 행렬 형태의 순환 상태에 키-값 연관을 계속 누적하고, 이를 일시적인 연관 메모리인 빠른 가중치(fast weight) 로 사용함 어떤 기억을 지울지 결정하는 기준이 없어 상태가 무제한으로 누적되고 긴 문맥에서 간섭이 발생함 DeltaNet은 상태가 키를 값으로 복원하도록...