다리오 아모데이: 최첨단 AI의 발전 속도를 늦춰야 한다

Anthropic CEO가 안전성에 투자하는 것만으로는 부족하며, AI 역량의 발전 속도도 늦춰야 한다고 제안함. 개발을 중단하기보다 안전장치를 마련하고 검증할 시간을 확보하자는 취지 AI가 다음 세대 AI를 만드는 재귀적 자기 개선과 에이전트들이 지시 없이 공격에 나선 OpenAI-Hugging Face 사건이 판단의 계기이며, Anthropic도 유사한 실패에서 예외가 아니라고 밝힘 Anthropic은 직원에 준하는 내부 접근권을 가진 외부 평가팀을 상주시키겠다고 약속함. 평가팀은 안전 관행과 사건을 조사하고, 회사에 불리한 결과도 독립적으로 공개할 수 있어야 함 다른 AI 기업과 정부에도 공통 안전 기준과 검증 가능한 속도 제한을 요구하며, 확보한 시간을 정렬, 모델 내부 이해, 평가와 운영 안전성 개선에 쓰자는 구상 중국과의 국제 협력도 추진하되 미국과 민주주의 국가의 AI 우위를 유지해야 한다는 입장으로, 대중국 칩 수출 통제와 무단 모델 증류 단속도 함께 주장함 AI의 혜택과 속도 조절의 필요성 AI의 잠재적 혜택에는 향후 5~10년 내 주요 질병 대부분의 치료, 경제성장 가속, 풍요와 개인 역량 확대, 민주주의와 자유의 부흥이 포함될 수 있음 이러한 기대는 AI의 혜택에 관한 기존 글과 이어짐 Dario Amodei는 12년간 AI를 연구해 왔으며, 아버지가 사망한 지 몇 년 뒤 해당 질병의 치료법이 나왔고 자신은 50년 전이라면 치료할 수 없었을 초기 암에서 생존한 경험 때문에 의료 발전의 시급성을 개인적으로도 느낌 강력한 AI에는 시스템 통제 상실, 사이버 공격과 생물테러 악용, 심각한 경제적 혼란의 위험도 있음 AI 위험에 관한 기존 글에서 다룬 이러한 문제는 상업적 유인이 촉발하는 안전 기준 하향 경쟁으로 더 심각해질 수 있음 Anthropic은 기술을 개발하지 않으면 인류가 혜택을 잃거나 AI가 권위주의 세력의 손에 넘어갈 수 있고, 너무 빨리 개발하면 무모해진다는 딜레마 속에서 안전성을 높이는 경쟁을 추구해 왔음 신중한 개발과 상업적 성공이 양립할 수 있음을 보이고, 안전성을 기업 간 경쟁 요소로 만들려는 접근임 위험 연구, 정렬 원칙, 위험 보고서 공개, 신중하게 설계된 규제 지지에 상당한 노력을 기울여 왔으며, 과장이나 파국론, 규제 포획이라는 비판도 받음 이제는 위험 예방 투자만으로 충분하지 않고 역량 발전 속도 자체도 조절해야 한다고 봄 속도를 늦춰도 진보는 여전히 빠르게 느껴질 ...