로보틱스를 위한 Gemini 4 Argon

6 days ago 15

Gemini 4 Argon은 물리 추론, 코드 생성, 시각적 의미 추론을 결합해 로봇 제어부터 시뮬레이션 구축, 데이터 주석, 연구와 자기 개선까지 지원함 3D 환경의 물리적 공간 문제 해결 능력을 평가하는 ERQA 벤치마크에서 순수 추론으로 87% 를 기록해 다른 모든 프런티어 모델을 앞섬 폐루프 시각 피드백으로 실제 로봇과 영상 월드 모델을 제어하며, 로봇 카메라 영상이나 사람의 1인칭 영상, 손그림으로 물리 시뮬레이션을 구축함 조작 영상의 접촉과 실수를 구분해 계층적 사후 주석과 작업 진행도를 생성하고, 진행이 없는 재시도 구간의 학습 가중치를 낮출 수 있음 시뮬레이션 데이터로 범용 VLA 모델을 개선한 사례에서는 실제 로봇 성공률이 56%에서 75% 로 높아지고, 작업 완료 시간이 35초에서 24초로 줄어듦 로봇 제어: 시뮬레이션 연습과 시각 피드백 Gemini 4 Argon은 범용 물리 추론 모델로, ERQA에서 3D 환경의 물리적 공간 문제를 순수 추론으로 풀어 87% 를 기록함 Boston Dynamics Spot 사례에서는 다리 12자유도와 팔 6자유도를 제어해 페달식 쓰레기통에 탄산음료 캔을 버림 MuJoCo에서 관절 구조를 갖춘 쓰레기통 디지털 트윈을 만들고, 세 다리로 균형을 잡는 동작을 연습한 뒤 실제 페달을 밟고 캔을 놓음 손목 카메라로 캔을 확인하고, 전방 카메라로 오른쪽 앞발의 목표 위치가 페달 중앙인지 검증함 foot-verifier와 hand-verifier로 구성된 2개 에이전트가 발의 페달 접촉과 쓰레기통 내부의 3D 손 정렬을 확인한 뒤 캔을 놓도록 함 제로샷 제어 사례에서는 단순한 로봇 팔로 쓰러진 머그잔을 세우고 구겨진 냅킨을 안에 넣음 보정된 손목 카메라의 2cm 좌표 격자, 집게 중심과 닫힘 방향 표시, 관측 상태를 이용하는 시각 좌표 하네스와 기본 동작을 결합함 작업에 따라 거친 제어 2~4회, 집기 전 공중 정렬 검증 4~7회, 정밀 시각 서보 제어 8~20회의 모델 호출 방식을 선택하도록 함 매 동작 뒤 새 영상으로 결과를 확인하며, grasp_failed 상태에서는 다시 관찰해 폐루프로 복구함 Gemini Omni World Model에서는 흩어진 Scrabble 타일 G, R, A, N, O를 A - R - G - O - N 순서로 정렬하는 33단계 영상 실행을 유도함 한 번의 고정 프롬프트 대신 중간 키프레임을 확인하고 타임스탬프가 있는 동작 프롬프트를 반복...

Read Entire Article




피플앤툴즈 네트워크
🛍 샵