Turbovec - Rust로 구현한 벡터 검색용 Google TurboQuant

Turbovec은 Google Research의 TurboQuant를 기반으로 한 Rust 벡터 인덱스로, 1,000만 개 float32 문서가 차지하는 31GB를 4GB로 줄이면서 FAISS보다 빠르게 검색함 별도 학습이나 매개변수 조정 없이 벡터를 즉시 추가하며, ARM의 NEON과 x86의 AVX-512·AVX2를 활용한 SIMD 검색으로 측정된 모든 구성에서 FAISS IndexPQFastScan을 앞섬 100K 벡터·1K 쿼리·k=64 벤치마크에서 4비트 검색은 FAISS보다 ARM에서 평균 3.5배, x86에서 3.4배 빨랐고 2비트에서는 각각 26%, 20% 빨랐음 sync(path)는 변경분만 충돌 안전하게 저장하고, 검색 시 허용 목록을 SIMD 커널 내부에서 적용하며, IdMapIndex는 안정적인 외부 ID와 O(1) 삭제를 지원함 Python과 Rust에서 로컬로 실행되며 LangChain·LlamaIndex·Haystack·Agno와 연동할 수 있어, 메모리·지연 시간·데이터 외부 반출을 제한해야 하는 RAG 구성에 사용할 수 있음 프로젝트 개요 Turbovec는 데이터와 무관하게 동작하고 별도 학습 단계가 없는 TurboQuant 양자화기를 구현한 Rust 벡터 인덱스이며 Python 바인딩도 제공함 2비트 또는 4비트로 벡터를 압축하며, 1,536차원 FP32 벡터 하나를 6,144바이트에서 2비트 기준 384바이트로 줄여 16배 압축함 벡터를 추가하면 바로 인덱싱되므로 말뭉치가 커져도 재학습, 매개변수 조정, 전체 재구축이 필요 없음 관리형 서비스 없이 머신이나 VPC 안에서 실행되며, 오픈소스 임베딩 모델과 결합해 외부 연결이 차단된 RAG 스택을 구성할 수 있음 검색과 필터링 검색 커널은 데이터베이스 벡터를 복원하지 않고 쿼리를 같은 공간으로 한 번 회전한 뒤 코드북 값을 이용해 직접 점수를 계산함 아키텍처별 SIMD 경로를 제공함 ARM은 NEON SDOT·SMMLA를 사용함 최신 x86은 AVX-512 VNNI·vpermb·AVX-512BW를 사용함 지원 기능에 따라 AVX2와 스칼라 경로로 대체됨 search()에 ID 허용 목록이나 슬롯 비트마스크를 전달하면 필터를 SIMD 커널 내부에서 적용함 허용 슬롯이 없는 32개 벡터 블록은 LUT 조회와 점수 계산 전에 건너뜀 점수를 계산한 블록 안의 비허용 슬롯은 힙 삽입 단계에서 제외함 선택 범위가 좁을수록 결과를 사후 폐기하...