Karpathy의 펠리컨

• LLM 평가는 ‘자전거를 탄 펠리컨 SVG 만들기’ 같은 단일 결과물에서 벗어나, 세계와 게임을 절차적으로 구현하는 장시간 작업으로 확장되기 시작함
• Opus 5에 《The Lord of the Rings》 첫 문단과 100만 토큰 예산을 주고 Three.js 렌더링을 요청하자, 약 2시간 동안 5,500줄의 코드를 작성함
• 결과물은 다소 어설펐지만, 여러 폴리곤 자산을 3차원 좌표에 배치하고 애니메이션으로 연결해 이야기를 구현함
• 사람이 직접 만들기에는 지나치게 맞춤화된 작업도 LLM의 인내력과 약 10달러의 비용을 활용하면 주문형으로 제작할 수 있음
• 다만 비디오를 효율적으로 인식하거나 생성한 게임을 직접 플레이하며 검증하기 어려워, 스크린샷에 의존하는 과정에서 오류와 완성도 문제가 남음

100만 토큰으로 만든 주문형 세계

• Opus 5에 《The Lord of the Rings》 첫 문단을 제공하고, 100만 토큰 안에서 Three.js로 렌더링하도록 요청함
  • 약 2시간 동안 5,500줄의 코드를 작성함
  • 폴리곤 자산을 절차적으로 만들고 3차원 좌표에 배치한 뒤, 이야기 전개에 맞춰 애니메이션화함
• 결과는 매끄럽지 않았지만, LLM이 여러 시각 자산과 움직임을 조율해 실제로 작동하는 결과물을 완성함
• 사람이 시간 대비 가치가 낮아 시도하지 않던 초맞춤형 콘텐츠도 약 10달러에 생성할 수 있음
• 상상한 세계에 플레이어를 관찰자 NPC나 등장인물로 투입하는 형태로 확장할 수 있으며, 이를 ‘X를 소재로 한 일회성 GTA’를 주문형으로 만드는 개념에 비유함

게임 생성에서 드러난 검증 한계

• 세계와 게임은 LLM이 자신의 결과물을 직접 검증하기 어려운 영역임
  • 비디오를 효율적이고 자연스럽게 인식하지 못함
  • 자신이 만든 게임을 직접 플레이하며 확인하기도 어려움
• Opus 5는 여러 시점의 스크린샷을 느리고 수고스럽게 확인해야 했고, 그 과정에서 몇 차례 실수해 어설픈 부분을 다수 남김
• 멀티모달 인식과 게임 플레이 능력은 장시간 생성 작업의 완성도를 높이기에 여전히 부족함