StreamRender-H3 - 실시간 스트리밍 확산 렌더링으로 구현하는 코드 기반 인터랙티브 세계

코드 기반 게임 엔진이 세계의 상태와 규칙을 관리하고, 비디오 모델이 엔진의 시맨틱 맵을 사실적인 영상으로 바꾸는 구조임 시맨틱 맵은 장면 구조와 움직임을 전달하고, 참조 이미지와 프롬프트는 외관을 결정함. 같은 플레이 흐름도 엔진을 바꾸지 않고 다른 모습으로 렌더링할 수 있음 MiniMax-H3 Ref2VA를 스트리밍 생성에 맞게 학습하고 2단계 노이즈 제거로 증류함. 초기 장면과 최근 출력을 문맥으로 유지해 청크 사이의 일관성을 확보함 GB200 GPU 8개에서 스트리밍 단계당 확산 렌더링 시간을 799.7ms에서 218ms로 줄여 3.67배 가속함. 이는 전체 입력-화면 지연 시간과는 구분해야 함 학습과 검증은 모두 동일한 레이싱 게임 시나리오에 한정됨. 현재 전체 MiniMax-H3 DiT를 GPU 8개에서 실행하며, 다른 게임으로의 확장과 모델 경량화, 화질 개선이 후속 과제임 세계의 규칙과 영상 생성을 분리하는 구조 세계 로직에는 조회 가능한 도로 위치, 실행 가능한 충돌 규칙, 같은 장소로 돌아갔을 때 유지되는 지도처럼 명시적이고 제어 가능한 상태가 필요함 코드는 이 정보를 직접 유지하므로 규칙 수정, 동작 디버깅, 상호작용 재현이 가능함 비디오 모델은 같은 장면 구조와 움직임에 재질, 조명, 스타일 등 서로 다른 외관을 적용함 StreamRender-H3는 코드 기반 게임 엔진과 스트리밍 확산 렌더러를 중간 상태 표현으로 연결함 엔진이 상태와 플레이어 입력을 처리하고, 비디오 모델이 최종 화면을 생성함 최종 렌더링에 전통적인 3D 파이프라인을 사용하지 않으면서 세계에 대한 제어를 유지하는 구조임 NVIDIA DLSS 5가 렌더링된 프레임의 색상과 모션 벡터에 사실적인 조명과 재질을 더한다면, StreamRender-H3는 시맨틱 맵만으로 전체 외관을 생성함 참조 이미지와 프롬프트를 교체하면 같은 상태 스트림을 황혼이나 눈 덮인 장면 등으로 바꿀 수 있음 코드 엔진과 시맨틱 인터페이스 데모의 엔진은 three.js 기반 브라우저 레이싱 게임이며, 세 종류의 정보를 관리함 지도: 장면의 기하 구조와 배치, 객체와 클래스, 트랙 경계와 방호벽, 주변 풍경을 코드로 유지함 물리와 규칙: 고정 시간 간격으로 이동, 충돌, 비플레이어 캐릭터 동작을 갱신하므로 같은 입력은 같은 궤적을 만듦. 스크립트 에이전트로 재현 가능한 세션도 기록할 수 있음 상호작용 피드백: 입력을 적용한 뒤 객체 위치와 카메라 방향을 ...