[NDC 26] “AI가 반복적인 아트 리뷰를 대신할 수 있을까”

진승범 넥슨게임즈 ‘퍼스트 디센던트’ 아트실 부실장은 17일 ‘넥슨 개발자 콘퍼런스(NDC)’에 참석해 시네마틱 제작 과정에서 반복되는 아트 리뷰 작업을 AI가 대신할 수 있는지 연구·개발한 과정을 공유했다.

그는 ‘당신이 AI에게 리뷰를 맡긴다면 - 시네마틱 제작 파이프라인에서 실험한 AI 리뷰의 가능성과 경계’라는 주제의 강연에서 “AI에게 업무를 맡기는 것은 조건부로 가능한 것 같다”라면서도 “다만 AI에게 일을 떠넘기는 것이 아니라 AI가 무엇을 보고 어떤 기준으로 판단하고 어디까지 말할지를 사람이 명확하게 정해놓았을 때만 가능하다”라고 강조했다. AI가 모든 것을 자동으로 하는 것이 아니라 결국 AI가 담당할 업무의 영역과 명확한 판단 기준은 사람이 설계해야 한다는 의미다.

그는 2009년부터 약 18년간 시네마틱 연출 관련 업무를 해온 개발자다. 현재는 넥슨게임즈 ‘퍼스트 디센던트’ 팀에서 시네마틱 연출 제작을 진행하고 있다.

이날 발표의 시작은 영상 제작 과정에서 발생하는 반복적인 피드백을 AI가 대신할 수 없을까라는 의문에서 출발했다. 진 부실장에 따르면 과거 ‘퍼스트 디센던트’ 영상 제작 과정에서 가장 많이 했던 말은 ‘여기 애니메이션 튑니다’다. 기본적으로 수많은 피드백이 반복되고 이 과정에서 스트레스도 쌓이고 해당 영상에 익숙해지는 문제도 발생한다. 이에 냉정한 제3의 눈이 필요하다는 생각을 하게 됐고 AI가 이를 대신할 수 있지 않을까 의문이 들었다는 설명이다.

이에 그는 실제 프로젝트 리뷰 기록 134건을 항목별로 분류했고 60%는 접지나 클리핑, 밝기, 타이밍처럼 객관적으로 확인 가능한 항목들이었다고 한다. 나머지 40%는 연출 의도나 모션 느낌, 의도된 스타일처럼 사람이 판단해야 하는 영역이었다. 리뷰의 60%는 AI도 체크할 수 있겠다고 판단한 지점이다.

초기에는 단순하게 제미나이에게 리뷰를 맡겼다. 결과는 그럴듯했지만 실무에 바로 쓰기는 어려웠다. 이에 작업 파이프라인에 바로 가져다 쓸 수 있는 리뷰를 도출하기 위해 AI의 분석을 리뷰로 바꿔주는 플랫폼 ‘리뷰 허브’를 구축하게 됐다.

‘리뷰 허브’ 제작은 검수 기준을 코드로 만드는 일부터 시작했다. 애니메이션 관련 18개, FX 관련 12개 등 총 30개 코드를 제작해 같은 문제를 같은 이름으로 부를 수 있게 했다. 가령 ‘발이 미끄러진다’, ‘접지가 이상하다’, ‘움직임이 부자연스럽다’ 등 같은 문제이지만 다른 표현으로 리뷰하는 것을 ‘Foot Sliding’으로 통일했다.

이후에는 기준 코드를 ‘리뷰 허브’의 운영 구조로 통합했다. 작업자가 완료 영상을 올리면 AI가 30개의 기준 코드로 셀프 체크하고 작업자는 결과를 보고 스스로 고칠 것인지 제출할 것인지를 선택한다. 이어 기준 코드 역시 계속 검토를 받도록 컴펌권자가 동의하거나 오류로 판정했을 때 그 결과가 코드별 스코어카드로 쌓이게 했다. 정밀도가 60% 이하로 떨어진 코드는 자동으로 비활성화될 수 있도록 설계하기도 했다.

다만 FX 리뷰와 달리 애니메이션 리뷰는 체크가 잘되지 않았다. 3D 움직임이 2D 픽셀로 투영되면서 미세한 본 회전 결과나 1~2프레임의 튐 현상을 놓치기 쉬웠다고 한다.

이에 진 부실장은 버전 2를 제작하고 FBX를 도입하기로 했다. FBX는 오토데스크가 만든 3D 데이터 교환 포맷이다. 캐릭터의 뼈대가 실제로 어떻게 움직이는가가 그대로 남아 있는 원본 로그라고 생각하면 된다고 한다.

다만 완벽한 리뷰가 될 수 있을 것이라고 기대한 그의 생각과는 다른 결과가 나왔다. 영상과 FBX를 함께 분석하기보다 영상을 덜 보기 시작했다는 설명이다.

이에 버전 3에서는 AI가 데이터를 어떻게 읽어야 하는지부터 재정의했다. 첫 번째로 FBX의 개념을 재정의해 영상 밖의 다른 판단 기준이 아닌 영상 안에 있는 캐릭터 움직임의 3D 표현이라고 설정했다. 두 번째로 ‘튄다’는 현상을 재정의해 한 프레임의 수치 변화가 아니라 움직임 흐름에서 벗어났다가 다시 복귀하는 과정 전체를 봐야 한다고 설계했다.

이후 영상과 FBX가 제대로 묶이기 시작했고 그는 통합의 핵심은 데이터 추가가 아니라 AI가 데이터를 읽는 전체 설정이 필요하다는 점을 알게 됐다고 덧붙였다.

그는 “결국 정보가 많다고 더 좋은 리뷰가 되는 것은 아니고 무엇을 누가 어떻게 보는지 명확하게 하는 것이 먼저였다”라고 강조했다.

그는 AI가 찾은 문제를 어떻게 전달할 것인가에 대해 고민한 과정도 소개했다. 가령 접지, 관통, 클리핑, 튀는 이슈 등은 텍스트로 전달해도 충분하지만 ‘무게감이 부족해요’와 같은 텍스트 피드백은 각자의 해석 여지가 너무 커 제대로 해결되지 않는 경우가 많다고 한다. 이에 그가 생각한 방법이 생성형 모델로 만든 영상으로 가이드하는 방법이다. 일종의 레퍼런스가 될 수 있는 영상을 생성해 작업자가 올바르게 수정할 수 있도록 돕는 방안이다. 다만 그는 이런 영상을 최종 수정본이나 최종 퀄리티의 목표로 여기면 안 된다고 강조하기도 했다.

끝으로 그는 이런 과정을 거치면서도 아직 실무에 도입은 못했다고 설명했다. AI가 모션의 느낌을 판단하지 못했고 AI 모델과 설정에 따라 결과도 천차만별이다. 레퍼런스 영상이 원본 맥락을 그대로 유지하지 못하는 것도 풀어야 할 숙제라고 한다.

현재 그는 실무 파이프라인에 적용했을 때의 디테일한 수정, 기존 리뷰 툴인 싱크스케치와의 통합 가능성 확인, 2개 이상 캐릭터의 FBX를 분석했을 때 어떤 결과를 얻을 수 있는지에 대한 검토를 진행해야 한다고 강조했다. 또 기준 코드별 프롬프트를 생성하고 실제로 어떤 프롬프트들이 생성되는지도 확인이 필요하다고 한다. AI 모델별 분석과 생성에 대한 장단점 비교도 다음 과제로 남아 있다.

그는 “이 구조는 시네마틱 리소스에만 쓰이는 것이 아니고 발표의 핵심은 특정 분야가 아니라 리뷰를 구조화하는 방식”이라며 “명확한 기준을 잡을 수 있는가, AI가 후보를 낸 영역과 사람이 최종 판단할 영역을 나눌 수 있는가, 수정 방향을 참고 가능한 가이드로 제시할 수 있는가가 성립하는 영역이라면 어디든 같은 구조를 활용할 수 있다고 생각한다”라고 밝혔다.

한편 ‘NDC’는 국내 게임업계 최대 지식공유 행사다. 지난 16일 경기도 성남시 판교 넥슨 사옥 일대에서 개막했다. 오는 18일까지 사흘간 총 51개 세션에서 전문가들의 지식과 경험 공유가 이뤄질 예정이다.