공포의 전염

AI가 10년 안에 모든 인간을 죽일 확률이 10%를 넘는다는 예측은 인류 멸종이라는 극단적인 결과를 내세우지만, 그에 걸맞은 구체적인 근거가 부족하다는 비판을 받음 기술 전반을 이해할 수 없는 대중은 분야별 전문가를 신뢰할 수밖에 없으며, 전문가가 퍼뜨린 공포는 뒤따르는 증거보다 빠르게 확산될 수 있음 공포를 느끼는 전문가가 많아지면 그 숫자 자체가 증거처럼 작용하고, 겉으로 드러나는 합의에 반대 목소리가 묻힐 수 있음 컴퓨터 공학에 기반한 반론의 핵심은 지능만으로 공학적 작업을 수행할 수 없다는 것임. AI도 인간이 책임과 통제 구조를 갖춰 설계한 물리 시스템 위에서 실행됨 멸종 위험을 주장하는 쪽이 주장에 상응하는 증거를 제시해야 하며, 전문가에게는 대중의 신뢰를 남용하지 않고 특히 경고를 신중하게 할 책임이 있음 거짓 바이러스 경고가 실제 피해로 번진 경험 대학 1학년 때 컴퓨터과학을 공부하던 학생들이 일반 대중의 기술 이해 부족을 비웃다가, 옆 전산실의 인문학 전공 학생들에게 컴퓨터 바이러스가 퍼지고 있다고 속이는 장난을 실행함 학기말 과제를 작성하던 학생들로 가득한 전산실에서 바이러스가 컴퓨터과학 전산실을 빠져나왔다며, 확산을 막으려면 플로피 디스크를 꺼내야 한다고 큰 소리로 경고함 반응은 붐비는 극장에서 불이 났다고 외친 것과 같은 집단적 공황이었음 학생들은 디스크를 꺼내는 데 그치지 않고 컴퓨터 전원을 끄거나, 이미 꺼진 기기의 케이블을 뽑고, 비명을 지르거나 방을 뛰쳐나감 장난이었다고 해명하자 일부는 분노했고, 일부는 해명 자체를 믿지 않았음. 한번 뿌리내린 공포는 쉽게 거둘 수 없었음 기말시험을 앞둔 주였으며, 컴퓨터를 끈 학생들은 작업 내용을 잃었음 다음 날 시설 책임자는 가담 학생들을 엄하게 질책하고 사과 편지를 두 부씩 쓰게 함 한 부는 피해 학생들에게 보내고, 다른 한 부는 자신의 서랍에 보관함 비슷한 일을 다시 벌이면 다른 대학을 찾아야 한다고 경고했으며, 4년 뒤 졸업할 때 편지를 돌려줌 이 대응은 사건의 심각성을 분명히 하면서도 공감을 잃지 않은 처사였음 AI 멸종 확률 주장과 근거의 간극 전 Anthropic 직원 Jacob Coxon은 AI가 향후 10년 안에 모든 인간을 죽일 확률이 10%를 넘는다고 주장했으며, Anthropic 정렬 과학 책임자 Evan Hubinger도 동의함 이는 수천 명, 수백만 명, 심지어 수십억 명의 사망 가능성을 넘어 전 인류의 죽음을 예측하는 ...