OpenDLSS - NVIDIA의 DLSS 5 신경 렌더링 네트워크를 Vulkan으로 재구현

DLSS-NR 빌드 310.8.0의 71블록 네트워크를 재구현해, 최종 이미지뿐 아니라 75개 블록 경계의 중간값까지 원본과 바이트 단위로 일치함 업스케일러가 아닌 생성형 신경 렌더링 네트워크로, 엔진이 그린 프레임을 같은 해상도로 다시 렌더링하며 주입한 노이즈에서 세부 묘사를 생성하고 스타일 설정에 따라 톤, 구조, 피부를 조정함 네이티브 구현은 텐서 코어에서 FP8 연산과 FP16 누적을 사용하며, RTX 4070 SUPER에서 전체 네트워크 실행에 1080p 기준 최소 7.8ms, 4K 기준 최소 29.3ms가 걸림 독립적인 WebGPU 포트도 텐서 코어와 FP8 없이 동일한 캡처와 비트 단위로 일치하는 결과를 냄. 512×512 실행 시간은 브라우저 포트 72ms, 네이티브 구현 2.7ms임 가중치는 사용자가 별도로 제공해야 하며 저장소에는 가중치나 이를 구하는 방법이 없음. 네이티브 구현은 Windows와 NVIDIA Ada 이상 GPU가 필요하고, 별도 네트워크인 DLSS-SR은 구현하지 않음 네트워크 구조와 입출력 OpenDLSS-NR은 DLSS-NR 빌드 310.8.0과 같은 Swin / ViT 네트워크를 실행하며, 75개 블록 경계의 중간값까지 원본과 일치함 U-net 구조에 이동 윈도 트랜스포머 블록을 배치하고 최하단에 전역 ViT를 둠 6개 풀링 레벨에 걸쳐 71개 블록을 사용함 활성값은 FP8 E4M3, 누적 연산은 FP16이며 가중치 크기는 141MiB임 생성형 신경 렌더링은 이미 렌더링한 프레임을 다시 그리는 방식이며, 입력과 출력의 해상도가 같음 주입한 노이즈로 세부 묘사를 생성하고 스타일 설정에 따라 톤, 구조, 피부를 조정함 NVIDIA가 사용하는 명칭으로, 해상도를 높이는 업스케일링과는 다름 입력은 렌더링 프레임의 저동적 범위 프록시, 가우시안 노이즈 3개 레인, 재투영한 이전 프레임 출력, 조건 지정 스칼라 5개로 구성됨 픽셀마다 f32 채널 4개를 출력하며, RGB 잔차와 시간적 블렌딩 로짓 1개에 해당함 전체 그래프는 network.md에서 확인할 수 있음 NVIDIA의 DLSS 5: Generative Neural Rendering 보고서와 프로젝트 페이지에도 모델 설명이 있음 네이티브 실행 경로와 브라우저 포트 C++20 호스트가 Vulkan 컨텍스트, 모델 로딩과 가중치 재배치, 커널 래퍼, 네트워크 그래프를 관리함 산술 연산의 CPU 참조 구현과 dlss5vk 도구도...