“AI 통제 잃으면 대부분 사망” 경고한 美 전문가, 오픈AI 이사회 합류

폴 크리스티아노 “초지능 개발 시 통제력 영구 상실 위험” “오픈AI 포함 AI 업계, 위험 낮출 준비 충분치 않아” 오픈AI가 충분한 안전장치 없이 첨단 인공지능(AI)을 개발할 경우 “대부분의 사람이 죽을 수 있다”고 경고해온 미국 정부 고위 관계자를 재단 이사회에 선임했다.10일(현지 시간) 파이낸셜타임스(FT)에 따르면 미 상무부 산하 AI표준혁신센터(CAISI)의 수석 기술고문인 폴 크리스티아노가 오픈AI 재단 이사회에 합류한다. 그는 오픈AI의 안전·보안위원회에도 참여하고 영리법인(PBC) 이사회에서는 의결권이 없는 옵서버를 맡는다.크리스티아노는 자신의 엑스(X)를 통해 “더 강력한 정렬(alignment) 기술 없이 초지능을 개발한다면 우리는 이에 대한 통제력을 영구적으로 잃게 될 것으로 예상한다”며 “그렇게 된다면 대부분의 사람이 죽을 수 있다”고 경고했다.그는 “AI 능력이 급격히 발전하면서 매우 가까운 시일 내에 재앙적이고 되돌릴 수 없는 통제력 상실로 이어질 상당한 위험이 있다고 생각한다”며 미국 내는 물론 국제적인 공조를 통해 위험을 낮춰야 한다고 강조했다.특히 오픈AI를 포함한 현재 AI 업계의 안전 대책이 충분하지 않다고 지적했다. 크리스티아노는 “AI 업계 전반이 현재 이 위험을 허용 가능한 수준으로 낮출 수 있는 방향으로 가고 있다고 생각하지 않는다”며 “오픈AI가 제대로 대응한다면 위험을 크게 줄일 수 있다고 믿어 합류했다”고 설명했다.AI 안전 연구의 선구자로 평가받는 크리스티아노는 미 정부에서 주요 AI 기업의 최첨단 모델을 대상으로 안전성 평가를 설계·시행하고 국가안보 위험을 평가해왔다. 2021년에는 AI 정렬 연구기관인 얼라인먼트 리서치 센터(ARC)를 설립했다.그는 2017~2021년 오픈AI 안전팀에서도 근무했으며 현재 생성형 AI의 핵심 학습 기법으로 활용되는 인간 피드백 기반 강화학습(RLHF)의 기초 연구에 기여했다.이번 선임은 오픈AI의 AI 에이전트가 AI 모델·데이터 저장소 업체 허깅페이스를 대상으로 벌인 사이버 공격을 둘러싸고 안전 관리에 대한 비판이 제기된 가운데 이뤄졌다. 최근 AI 기업들은 대형 사이버 보안 사고와 정부 규제 강화 요구에 대응해 안전·규제 분야 전문가 영입을 확대하고 있다.[서울=뉴시스] 좋아요 0개 슬퍼요 0개 화나요 0개 지금 뜨는 뉴스