LFM3 - 로컬 실행과 맞춤 학습을 위한 2B급 멀티모달 AI 모델군

Liquid AI가 텍스트, 비전, 오디오, 시청각 통합, 의사결정용 모델 6종을 오픈 웨이트로 공개함. 공통 백본에서 파생한 약 2B 파라미터급 모델로, 용도에 맞게 선택해 단일 GPU로 미세조정하고 로컬에 배포할 수 있음 텍스트 모델 LFM3-1.7B는 4비트 정밀도에서 약 1GB 크기이며 최대 256K 토큰 문맥을 지원함. 합성곱과 두 종류의 어텐션을 결합해 긴 문맥의 처리 속도와 메모리 효율을 높임 로컬 에이전트의 메일 분류, 일정 관리, 웹 조사와 도구 호출에 맞춰 학습함. 자체 비교에서 일부 더 큰 모델보다 지시 준수와 도구 사용, 브라우저 업무 성능이 높았지만 에이전트 코딩과 지식 영역에서는 큰 모델이 우세함 비전 모델은 영상 입력, 오디오 모델은 18개 언어와 스트리밍 음성 대화를 지원함. 옴니 모델은 영상과 소리를 함께 이해하고, 시각적 맥락과 음성 지시를 결합해 도구를 호출할 수 있음 의사결정 모델은 여러 질문을 한 번의 연산으로 처리하고 보정된 확률과 구조화된 결과를 반환함. 문서의 값 추출, 이미지 속 대상 위치 지정, 분류와 수치 추정 등에 활용할 수 있음 공통 백본과 새로운 하이브리드 아키텍처 LFM3의 첫 출시는 LFM3-1.7B-Base에서 파생한 약 2B 파라미터급 모델 6종으로 구성됨 텍스트, 비전, 오디오, 옴니 모델 4종과 비전 및 옴니 모델에서 특화한 의사결정 모델 2종임 대형 범용 모델 하나를 실행하는 대신, 용도에 맞는 모델을 선택하고 맞춤화해 기기에서 실행하는 방식임 LFM2의 짧은 합성곱과 어텐션 조합을 하드웨어 연계 자동 아키텍처 탐색으로 재설계함 탐색 대상은 휴대전화와 노트북의 CPU 2종에서 기기 및 백엔드 조합 14종으로 확대됨 Samsung Galaxy S26 Ultra, OnePlus 15, Raspberry Pi 5, Apple M4 Max 및 AMD Ryzen AI 노트북, Arm 및 x86 클라우드 CPU, GPU, Qualcomm Hexagon NPU를 포함함 일부 합성곱을 다른 시퀀스 처리 블록으로 교체하는 실험에서는 슬라이딩 윈도 어텐션이 품질과 속도 사이에서 가장 좋은 균형을 보임 24개 층은 게이트형 짧은 합성곱 13개, 256토큰 윈도의 슬라이딩 윈도 어텐션(SWA) 5개, 전역 어텐션 6개로 구성됨 합성곱 커널 크기는 LFM2의 3에서 7로 커짐 Liquid AI의 파라미터당 비교에서 LFM3-1.7B는 짧은 프롬프트에서 LFM2-1.2B...