NVIDIA Personal AI Router - 여러 컴퓨터에 로컬 AI 요청을 나눠 보내는 도구

4 hours ago 2

같은 네트워크의 컴퓨터들을 연결해 여러 앱과 에이전트의 AI 요청을 분산 처리하는 로컬 추론 라우터
Ollama와 LM Studio를 지원하며, OpenAI/Ollama 호환 API로 기존 앱과 에이전트를 연결 가능
실행 가능한 추론 엔진과 모델이 있는 컴퓨터 중에서 현재 작업량을 고려해 요청을 보내며, 여러 에이전트가 동시에 작업하는 환경에 적합
요청 하나는 컴퓨터 한 대에서 처리하므로, 여러 GPU의 메모리를 합치거나 모델 하나를 여러 기기에 나눠 실행하는 도구는 아님
데스크톱 앱에서 엔진 설치와 모델 다운로드, 작업 현황과 GPU/메모리 사용량을 관리하고, 6자리 PIN으로 다른 컴퓨터를 연결
Windows 11/Linux/macOS 컴퓨터를 섞어 구성할 수 있으며, x64와 arm64 지원
현재는 대기 작업량과 GPU 사용률 중심으로 분배하며, GPU 종류나 가용 메모리, 모델의 메모리 상주 여부까지 고려하지 않아 성능이 비슷한 컴퓨터끼리 구성하는 편에 적합
클라이언트와 모델 공급원, 추론 엔진을 모두 로컬로 구성하면 프롬프트와 응답을 로컬 네트워크 안에서 처리 가능
운영체제별 설치 파일과 화면 없는 서버용 터미널 인터페이스 제공
Apache-2.0 라이선스. 사용하는 추론 엔진과 모델에는 별도 라이선스가 적용될 수 있음