Kimi K3 아키텍처 개요와 설계 노트

지난해 공개된 Kimi Linear를 48B에서 2.8T로 확장한 프로덕션 모델로, 현재 공개 가중치 모델 가운데 규모가 가장 큼 새로 도입한 LatentMoE는 대형 선형 계층을 다운 프로젝션해 압축하고, 전체 구조는 일반 MoE와 어텐션을 추론 효율 중심 구성요소로 대체함 어텐션 잔차(attention residuals) 는 계층 간 잔차를 어텐션 점수 기반 가중치로 연결해 검증 손실과 다운스트림 성능을 일관되게 소폭 개선함 어텐션 잔차로 훈련 비용은 약 4%, 추론 비용은 약 2% 늘어나며, 모든 RoPE 계층을 제거하고 전체에 NoPE를 적용함 네이티브 멀티모달 지원까지 추가해, Kimi Linear의 대규모 확장과 추론 효율·잔차 경로 개선을 함께 추구함 Kimi Linear에서 2.8T로 확장 Kimi K3는 Kimi Linear를 48B에서 2.8T로 확장한 프로덕션 버전이며, 현재 공개 가중치 모델 중 가장 큰 규모임 Kimi Linear 대비 새로 추가된 LatentMoE는 Nemotron 3 Ultra의 방식과 본질적으로 같음 다중 헤드 잠재 어텐션과 마찬가지로 대형 선형 계층을 다운 프로젝션해 압축함 Nemotron 3와 DeepSeek V4 등에서 나타난 흐름처럼 추론 효율 개선에 초점을 맞춤 일반 MoE를 LatentMoE로 대체함 일반 어텐션 대신 다중 헤드 잠재 어텐션과 Kimi Delta Attention을 사용함 잔차 경로와 위치 정보 어텐션 잔차는 효율 최적화가 아닌 잔차 경로 개선을 위한 구성요소로, Kimi Linear에도 이미 적용됐음 DeepSeek V4의 mHC(manifold-constrained Hyper-Connections)가 잔차 경로를 넓히는 것과 달리, 어텐션 잔차는 계층 사이의 잔차를 연결함 각 잔차의 중요도나 기여도를 나타내는 어텐션 점수를 연결 가중치로 사용함 기술 보고서 기준으로 검증 손실과 다운스트림 성능이 일관되게 소폭 개선되지만, 훈련 비용은 약 4%, 추론 비용은 약 2% 증가함 모든 RoPE 계층을 제거하고 NoPE, 즉 위치 임베딩 없음을 전체 계층에 적용함 최근 다른 아키텍처는 슬라이딩 윈도 어텐션 같은 로컬 어텐션에 RoPE를, 전역 계층에 NoPE를 사용하는 경향이 있었음 NoPE만 사용한 기존 아키텍처도 있지만, Kimi K3는 확인된 범위에서 이를 전면 적용한 최초의 프런티어급 모델임 네이티브 멀티모달 지원 Kimi K3에는 네이티...