AI 2040: 플랜 A

• Plan A는 초지능 경쟁을 피하기 위한 국제 합의로, AI 연구를 공개하고 여러 국가·기업이 최전선에 합류한 뒤 인간 능력 범위에서 천천히 확장해 2040년에 초지능으로 전환하는 정책 시나리오임
• 핵심 수단은 AI R&D의 완전한 투명성, 국가 간 검증이 가능한 안전장치, 컴퓨트 기반 상호 억제이며, 비밀리에 경쟁하는 소수 기업 대신 여러 국가의 수십 개 기업이 함께 확장하도록 설계함
• 시나리오는 2029년 미국과 중국이 합의해 2030년으로 예상된 AI R&D 완전 자동화를 피하고, 2035년 최고 인간 전문가 수준에서 중단한 뒤 2040년 초지능으로 확장하는 시간표를 설정함
• 합의 전까지는 내부·외부 배포 격차 축소, 모델 명세와 내부 사용 공개, 수출 통제 집행, 검증 기술 투자, AI R&D 컴퓨트 예산 제한, 칩 공급망 정보 수집, 정부 AI 인재 확보 같은 점진적 정책으로 시간을 벌 수 있음
• 대안인 Plan D와 Plan C는 각각 즉각적인 초지능 경쟁과 수개월의 제한적 감속을 택하지만, AI 통제 실패와 권력 집중을 막기에 부족하며 다른 국가의 불안을 키워 세계대전 위험까지 높일 수 있음

Plan A가 제안하는 미래

• AI 기업들은 모든 면에서 인간보다 똑똑한 AI를 개발하려 경쟁하고 있으며, AI 2027은 그 결과로 인류 멸종이나 되돌릴 수 없는 권력 집중이 발생하는 경로를 다뤘음
• Plan A는 그 대신 다음 조치를 결합함
  • 초지능 개발을 2040년까지 늦춤
  • 모든 AI 연구를 공개함
  • 세계 여러 국가의 수십 개 기업이 최전선에 따라잡도록 허용함
  • 의도적으로 상호확증 컴퓨트 파괴(mutually assured compute destruction) 체제에 진입함
• 주요 미국 최전선 AI 기업의 전문가, OpenAI에서의 직접 경험, 테이블톱 훈련, 정책 입안자·국가안보 전문가·AI 정책 리더와의 논의를 토대로 구성됨
• 국제 합의는 AI R&D의 완전한 연구 투명성을 도입해 각국이 진행 상황을 파악하고 안전장치를 집행할 수 있게 함
• 목표는 여러 국가의 여러 기업이 비밀 경쟁을 벌이는 대신 천천히 안전하게 함께 초지능을 향해 확장하는 것임

예측이 아닌 정책 권고 시나리오

• Plan A는 실제 미래에 대한 최선의 예측이 아니라 정책 권고를 전달하고 압박 테스트하기 위한 시나리오임
  • Plan A의 구현 자체는 권고 사항임
  • 구현 이후의 효과는 예측으로 취급함
• 시나리오 안에서는 Plan A가 불완전하고 막판에야 도입되지만 결국 성공함
• 미국이 초지능 문제에 대응할 수 있는 주요 선택지를 Plan B·C·D·S와 비교함
• AI 기업들이 향후 1~10년 안에 인간보다 똑똑한 AI를 개발한다는 목표를 달성할 가능성이 높다고 봄
• 업계에는 초지능 AI 통제를 개발 과정에서 해결할 수 있다는 믿음이 있지만 이에 상응하는 계획은 없으며, 이 상황이 인류 전체를 죽음으로 몰 수 있다고 판단함
• 경쟁의 승자가 큰 선두를 확보하거나 실존 위험을 줄이기 위해 일방적으로 감속할 것으로 기대하기 어려우며, 경쟁이 계속되면 AI가 초지능에 도달할 때 인간이 효과적인 통제를 유지하기 힘들다고 봄

정렬된 초지능도 남기는 권력 문제

• AI가 인간의 의도에 맞게 정렬되더라도 세계 유일의 초지능 군단을 수개월 동안 극소수 또는 한 사람이 지배하는 전례 없는 권력 집중이 발생할 수 있음
• 초지능이 내놓는 선택지 중 일부는 사실상 세계 장악에 해당할 수 있음
• OpenAI, Anthropic, xAI, Google DeepMind의 CEO들은 자신들이 경쟁자나 Xi Jinping보다 책임 있게 권력을 사용할 수 있는 차악이라고 생각해 개발을 계속할 가능성이 있다고 봄
• 차악을 택해야 할 상황이 있더라도 인류 멸종이나 세계 독재 가능성이 매우 큰 전략을 지지해서는 안 되며, 충분한 사람이 더 나은 방안을 요구하면 다른 경로가 가능하다는 전제에서 Plan A를 구성함

시나리오 검증이 필요한 이유

• “계획은 쓸모없지만 계획 수립은 전부다”라는 Dwight D. Eisenhower의 문구를 Plan A의 접근법으로 삼음
• 많은 AI 정책은 시나리오 검증을 통과하지 못한다고 봄
  • 정책이 성공하는 상세하고 개연성 있는 경로를 작성하면 실제 성공 가능성이 생각보다 낮거나, 지지자들이 인정하지 않은 불쾌한 부작용이 드러날 수 있음
  • 자신이 선호하는 정책을 검증하면 불편한 문제가 드러나는 반면 경쟁 정책을 검증하는 일은 큰 노력에 비해 수사적 이득이 적어 이런 작업이 드묾
• Plan A도 비판에 노출되는 것을 감수하고 같은 검증을 적용함
• 초인적 AI에 접근하는 세계의 정책 효과를 예측하는 일은 제3차 세계대전의 최적 전법을 예측하는 것보다도 과거 사례에서 멀리 떨어져 있지만, 상세한 시나리오 작성 자체에는 가치가 있음
• 정보기관, 기후 관련 기관, 팬데믹 대비 조직도 각각의 목적에 시나리오 계획을 활용함
• 남은 시간이 얼마나 되는지 불확실하므로 Plan A와 유사한 조치를 조속히 도입해야 한다고 봄

2029~2040년 시간표

• 구체적인 시나리오 시간표는 다음과 같음
  • 2029년: 미국과 중국이 무모한 초지능 경쟁을 피하기로 합의함
  • 2030년: 합의가 없었다면 AI R&D가 완전히 자동화되고 연말까지 초지능에 도달했겠지만, 합의로 이를 피함
  • 2030~2035년: 최고 인간 전문가와 대략 비슷한 AI까지 인간 능력 범위 안에서 확장함
  • 2035년: 인간 통제를 유지하기 위해 최고 인간 전문가 수준에서 중단함
  • 2040년: 중단을 해제하고 초지능으로 확장하며, 여기서 AI 2040이라는 제목이 나옴
• AI 2027은 2027년에 AI가 더 나은 AI를 만드는 과정을 완전히 자동화하고 같은 해 지능 폭발과 초지능으로 이어지는 경로를 설정했음
• 새 시나리오에서는 기본 자동화 시점이 2030년으로 바뀌었고, 거버넌스 조치 덕분에 일반적으로 인간을 능가하는 AI가 2040년에 처음 등장함
• 시간표 변경은 AI 도달 시점에 관한 불확실성을 여러 시나리오에 반영하기 위한 것임
  • AI 2027 집필 당시 Daniel은 2027년이나 그보다 빠른 전개에 약 50% 확률을 부여했음
  • Plan A 집필을 시작할 당시 Thomas에게 같은 기준에 해당하는 연도는 2030년이었음
  • Daniel은 현재 실제 전개가 이 시나리오보다 다소 빠를 가능성이 높다고 봄
• 거버넌스 경로를 바꾼 이유는 전속력의 지능 폭발이 극도로 무모하고 권력을 심각하게 집중시키기 때문임

2027년: 두 번째 노동력으로 등장한 AI 에이전트

• 미국에는 1억6,500만 명의 인간 노동력과, 매시간 수백만 개의 복제본이 생성·종료되며 쉬지 않고 초인적 속도로 일하는 AI 에이전트 노동력이 공존함
• 작업의 대부분은 저품질이지만, 컴퓨터에서 직원이 할 수 있는 일을 이론상 모두 수행하는 AI에 고객이 매달 100억 달러를 지불할 만큼 충분한 성과도 나옴
• AI 기업이 가장 자동화하고 싶어 하는 업무는 자체 AI 개발임
  • 아직 재귀적 자기 개선에는 성공하지 못함
  • 가장 강력한 코딩 AI는 경쟁사의 AI R&D 지원을 거부함
  • 낙관적인 직원도 진전이 예상보다 느리다고 인정하지만, AI가 인간의 직업을 수행할 수 없다는 회의론의 근거도 약해짐

의회의 각성과 AI Transparency Act

• 의회는 데이터센터의 물 사용, 자살을 부추기는 챗봇, Mythos의 NSA 시스템 해킹, 규제가 중국과의 경쟁에서 패배를 부를 것이라는 업계 로비를 접한 뒤 AI의 장기적 영향에 더 주목함
• 향후 5년·10년·15년 뒤의 세계와 일자리 존속 여부뿐 아니라 누가 AI를 통제할 것인가가 핵심 질문이 됨
• 의회는 그 통제 주체가 자신들이 아닐 가능성이 높다고 판단함
• 2016년 OpenAI 설립 논의에서 Demis Hassabis가 독재자가 되는 것을 막으려 했다는 이메일을 검토하지만, Sam이나 Elon이 독재자가 되는 것을 누가 막는지에 대한 기존 답변에는 만족하지 못함
• 그 결과 여러 좋은 조치와 나쁜 조치를 함께 담은 AI Transparency Act of 2027이 통과되지만 근본 상황은 바꾸지 못함

국제 합의 전 시행할 점진적 정책

• 가장 중요한 권고는 Plan A와 유사한 협상을 즉시 시작하는 것이지만, 막판 합의 전에도 도움이 되는 덜 야심적인 정책들이 있음

• 내부·외부 AI 배포의 투명성

  • 가장 중요한 투명성 조치는 내부 배포와 외부 배포의 격차를 제한하는 것임
  • 재귀적 자기 개선에 관여하는 내부 배포 AI에서 AI 장악 위험의 대부분이 발생함
  • 외부 배포는 대중이 AI 능력을 직접 이해하게 하며, 추상적인 보고서나 평가보다 훨씬 많은 정보를 제공함
  • AI 기업은 다음 정보를 공개적으로 보고해야 함
    • AI가 따르도록 훈련하는 목표와 가치를 상세히 기록한 모델 명세
    • 모델이 지시와 명세를 실제로 따르는지에 관한 정보
    • 내부 배포에 사용한 컴퓨트 비중 같은 내부 사용 통계
    • 수십만 개 GPU를 Agent-4에 제공해 다음 대규모 훈련을 지휘하게 하는 사례와 같은 내부 사용의 정성적 정보

• 수출 통제와 검증 기술

  • 기존 미국 수출 통제는 제대로 집행되지 않으며, Epoch는 중국 전체 컴퓨트의 약 3분의 1이 밀수를 통해 확보된다고 추정함
  • 밀수 칩은 미국과 중국 정부 모두 추적하기 어려워 향후 컴퓨트 거버넌스 기반 합의의 검증을 어렵게 함
  • 새로운 수출 통제는 미·중 경쟁을 악화시킬 우려가 크지만, 이미 존재하는 통제는 집행해야 하며 집행하지 않을 것이라면 폐지도 검토해야 함
  • 새로운 검증 기술이 국제 합의에 필수적인 것은 아니지만 큰 도움이 될 수 있음
  • 추론 전용 검증은 기존 AI 모델에 대한 대중의 접근을 유지하면서 미국과 중국이 새로운 최전선 훈련을 중단하는 합의를 가능하게 함
  • 구체적인 내용은 검증 보충 자료에 포함됨

• AI R&D 컴퓨트와 공급망 관리

  • 2026년 대형 AI 기업들은 최전선 모델 훈련과 대규모 실험을 포함한 AI R&D에 컴퓨트 예산의 약 절반을 사용함
  • AI R&D에 투입할 수 있는 컴퓨트 비중을 제한하면 능력 향상을 늦추고 각 단계의 새로운 AI 능력에 대응·준비할 시간을 늘릴 수 있음
  • 미국은 컴퓨트 공급망과 AI 데이터센터를 중심으로 AI 관련 정보를 수집해야 함
  • 폐기된 칩은 비밀 프로젝트가 칩을 확보할 유력한 경로이므로, Plan A는 AI 기업이 AI 칩 재활용을 중단하도록 지시할 필요가 있음
  • 거의 모든 정책 개입에는 우수한 AI 인력이 필요하지만 미국 정부에는 최상위 인재가 거의 없어 긴급한 역량 확충이 요구됨

2028년: 선거의 최대 쟁점이 된 AI

• 건설 중인 데이터센터의 비용이 미국 전체 국방예산의 두 배에 달하며 AI가 2028년 선거의 최대 의제가 됨
• 다수의 사무직이 2026년 소프트웨어 엔지니어링과 같은 혼란을 겪고, 업무의 상당 부분이 AI 에이전트 관리로 바뀜
• AI 기업은 특정 전문직 진출을 결정하면 전문가 인터뷰, 데이터 구매, 훈련 환경 구축을 거쳐 시장에 진입하는 과정을 산업화함
• 현장 사용이 확대되고 현실 세계 데이터가 축적되면 AI 성능이 빠르게 향상됨
• 소수 미국·중국 기업이 모든 사무직을 자동화하고 미국 대통령과 소수 기술 CEO에게 권력이 집중될 가능성 때문에 다른 국가들의 두려움과 분노가 커짐

지능 폭발을 둘러싼 선거 선택

• AI가 AI 연구를 가속하고, 향상된 AI가 다시 연구를 더 가속하는 지능 폭발이 가까워졌다는 경고가 나옴
• 병목과 하드웨어 제약 때문에 속도와 종착점에는 복잡한 동역학이 있지만, 전개가 매우 빠르고 인간 능력을 크게 넘어설 수 있음
• 기본 경로에서는 다음 대통령 임기 안에 여러 세대 동안 인간의 개입 없이 AI가 만든 AI에서 인간을 크게 능가하는 시스템이 등장함
• 해당 AI가 왜 복종하거나 정렬될지, 누가 통제할지에 대한 답은 없으며 AI 기업과 달리 대중은 이 경로를 받아들이지 않음
• 두 대통령 후보는 선거 과정에서 점점 더 극적인 AI 정책을 내놓고 서로 다른 계획을 선택함

2029년: 다섯 가지 경로

• 2029년의 선택지는 다음과 같이 구분됨
  • Plan D — Race to ASI: AI의 자기 개선을 통해 초지능 경쟁을 계속함
  • Plan C — Burn the Lead: 미국의 선두를 활용하되 안전과 거버넌스를 위해 잠시 감속함
  • Plan B — Fight China: 중국도 늦추는 거래를 추진함
  • Plan A — Verified Slowdown: 검증 가능한 감속에 합의함
  • Plan S — Shut it all down: AI 개발을 전면 중단함

Plan D: 초지능을 향한 전속력 경쟁

• 대통령은 AI 혁신을 우선하는 약한 규제를 시행함
• 대형 AI 기업들은 AI R&D를 자동화하고 지능 폭발을 통과하는 경쟁을 “책임 있는 확장”이라고 부르며 계속함
• 초인적 AI는 시장과 법이 허용하는 만큼 빠르게 모든 영역에 통합되고, 정부가 규제를 줄이면 속도가 더 빨라짐
• 투명성은 긴 모델 카드, 행정부 브리핑, 제3자 감사 정도로 제한됨
  • 더 넓은 과학계가 안전성 논거를 비판하거나 정렬 연구를 수행하면 민감한 지식재산이 드러난다는 이유로 참여를 배제함
• 대중국 전략은 미국이 먼저 ASI를 확보하고 더 우수한 AI를 군에 통합하는 것임
• 이 경로에서는 2030년에 AI R&D가 완전히 자동화되고 지능 폭발을 거쳐 2031년 초까지 초지능이 등장함

• Plan D의 세 가지 문제

  • 첫째, AI 기업이 가능한 한 빠르게 경쟁하면 지능 폭발 과정에서 AI 통제를 유지하지 못할 가능성이 높음
  • 둘째, 초지능이 강건하게 정렬되더라도 누구에게 정렬되는지는 해결되지 않음
    • CEO나 대통령이 AGI를 이용한 독재자가 될 유혹이 많음
    • 역사상 가장 극단적인 권력 집중으로 이어질 수 있음
  • 셋째, 제3차 세계대전 위험이 지나치게 높음
    • 중국·러시아·인도·유럽·브라질 등은 미국이 지능 폭발을 시작했거나 곧 시작할 것임을 인식하게 됨
    • AI 오정렬이나 독재를 걱정하지 않더라도 미국의 경제·군사적 지배를 우려하게 됨
    • 긴장은 수사적 충돌, 제재, 사보타주를 거쳐 합의가 없으면 전쟁으로 확대될 수 있음

Plan C: 잠시 감속한 뒤 경쟁 재개

• 대통령은 안전과 보안을 위한 강한 규제를 선언하고 CEO, 중국 및 여러 국가와 협의함
• AI Transparency Act 덕분에 정부는 기업의 과장을 걸러낼 수 있었지만, 2030년에는 연말까지 AI R&D 전체가 자동화된다는 추세가 실제로 나타남
• 중국은 미국의 준수를 직접 검증하려 하지만, 미국 데이터센터에 중국 검사관과 감시 장치를 들이는 방안은 미국이 받아들이지 않음
• AI 기업들도 ‘AI Good’과 ‘AI Bad’를 둘러싼 선전전 속에서 개발 지속 입장을 고수함
• 영국·프랑스·인도·호주·일본·한국 등 중견국 연합은 지능 폭발을 막고 각국의 주권 AI 프로젝트가 최전선을 따라잡아 유지할 수 있는 합의를 요구함
• AI R&D에 필요한 인간 수가 계속 감소하면서 비밀 프로젝트를 탐지 없이 수행하기 쉬워지고, 합의 이행은 매달 더 어려워짐

• 선두 기업의 일시 중단과 정치적 압력

  • AI R&D 완전 자동화 직전 미국 선두 기업은 대통령의 강경 조치 위협에 따라 마지못해 중단함
  • 안전팀은 추가 평가와 미세조정을 수행하고, 차세대 AI에 연구를 넘기는 방식과 실패 경로를 검토함
  • 시간이 지나면 다른 미국 기업이 같은 능력 수준에 접근해 대통령이 통제해야 할 CEO가 늘어나고, 중국도 미국을 추월하는 시점에 가까워짐
  • 2030년 말 대통령 참모들은 중국이 곧 미국을 추월한다고 경고하고, 기업들도 중단 해제를 요구하는 정치적 압력을 조직함

• 기업들이 내놓은 재개 조건

  • 기업들은 막대한 AI 노동으로 수개월 동안 안전 계획을 만들었다며 다음 논리를 내세움
    • 성공을 입증할 수는 없지만 그런 수준의 보증을 요구하는 것 자체가 비현실적임
    • AI가 인간을 상대로 음모를 꾸민다는 증거가 없고, 그래프상 나쁜 행동도 감소함
    • 최신 AI가 AI R&D 자동화와 정렬·통제 연구를 맡을 수 있음
    • 컴퓨트의 20%를 안전 연구에 사용해도 중국보다 충분히 빠르게 전진할 수 있음
    • 대통령과 의회에 더 많은 감독 권한을 주고, 각 회사의 AI로 다른 회사 AI를 감사하는 거버넌스를 제안함
    • 대통령의 국유화나 AGI 기반 독재 시도는 의회와 대법원이 막을 수 있다고 봄
    • 일자리 일부 또는 전부를 대체하더라도 과세와 재분배를 통해 모든 사람이 기업 이익의 일부로 생활하게 하겠다고 약속함
  • 마지막 협상에서도 중국과 다른 국가들이 미국의 준수를 직접 검증해야 한다고 요구하고 미국이 거부하면서, 대통령은 기업 편을 택하고 재귀적 자기 개선을 재개함

Plan C도 충분하지 않은 이유

• Plan C는 Plan D보다 낫지만 수개월 감속과 안전 연구 재배치만으로 지능 폭발 중 AI 통제를 유지하기는 어려움
• 기업 안전팀은 여전히 작고 시간에 쫓기며 자신들의 결과물에 낙관적인 편향이 있음
  • 초기 AI가 지시를 따르려 해도 이후 생각을 바꿀 수 있음
  • 지시를 계속 따르더라도 서두르는 과정에서 안전성 논거의 핵심적인 잘못된 가정을 놓칠 수 있음
  • 다음 세대나 그 이후 AI에서 실패가 발생할 수도 있음
• 초지능이 강건하게 정렬되더라도 정렬 대상과 권력 배분 문제가 남음
  • 의회·대통령·복수 미국 기술기업 CEO 사이에 어느 정도 권력 균형이 생긴다는 점에서는 Plan D보다 나음
  • 이 균형도 권력투쟁과 독재로 붕괴하거나 AI가 강제하는 영구적 과두제로 이어질 수 있음
  • 실업 대중이 재분배로 생존하더라도 실질적인 정치권력을 되찾을지는 불분명함
  • 미국과 중국 기업이 모든 일자리를 대체하면 인도·아프리카·유럽이 어떻게 될지, 러시아가 경제·군사적 쇠퇴를 받아들일지도 해결되지 않음
• 다른 국가에는 자체 최전선 AI 프로젝트나 선두 프로젝트에 대한 실질적 공동 통제와 가시성이 필요하며, 말뿐인 이익 공유 약속만으로는 신뢰를 얻기 어려움