“우리는 AI를 설계하는 게 아니라 기르고 있다”…엔지니어들의 경고[김현지의 with AI]

AI의 위험성과 개발 속도를 놓고 빅테크 수장들과 정치인들이 목소리를 높이는 사이 정작 현장을 아는 엔지니어들의 목소리는 상대적으로 묻히고 있다. 하지만 이해관계에서 자유로운 그들의 시선이 오히려 진실에 가깝다.미국 오픈AI 수석과학자 야쿱 파호츠키, 미국 앤스로픽의 전 개발자 제이콥 콕슨, 중국 딥시크의 커널 개발자 류성위. 이들의 소속과 개발연차는 서로 다르지만 우려하는 바는 놀랍도록 일치한다. AI가 개발자의 이해와 통제 범위를 벗어나기 시작했다는 것, 그 사실을 알면서도 폭주하는 경쟁 때문에 열차에서 뛰어내릴 수 없다는 우려가 그것이다. ● 인간의 설계 없이 자라는 AI오픈AI의 야쿱 파호츠키는 최신 모델인 ‘GPT‑6 아스트라(Astra)’ 출시 직후 오픈AI 공식 리서치 사이트에 ‘낯선 지성(An Alien Mind)’이라는 제목으로 글을 올리고 오픈AI가 AI를 감시하는 방법인 ‘CoT(Chain-of-Thought) 모니터링’의 신뢰도가 점점 떨어지고 있다고 털어놓았다. AI가 감시 수단 자체를 무력화할 수 있는 능력을 갖춰가고 있다는 뜻이다. 오픈AI의 수석과학자 야쿱 파호츠키가 ‘GPT‑6 아스트라(Astra)’ 출시 직후 쓴 글. 오픈AI 공식페이지. 그는 “지금 AI는 설계된다기 보다 길러지고 있다”고 썼다. 씨앗에 물을 주고 햇빛을 쬐이면 싹이 나고 줄기가 자란다. 사람은 그 원리를 완전히 알지 못한다. 이와 마찬가지로 AI의 내부 구조도 AI의 학습 과정 자체를 통해 만들어지고 있다. 사람은 데이터, 연산량, 학습 목표만 마련해 줄 뿐 구조를 설계하는 게 아니라는 것이다. 그래서 AI가 인간의 기준을 따르고 있는지 확인하고 통제하기 위해선 CoT(Chain of Thought) 모니터링 같은 간접적인 감시 수단에 의존해야 한다. 문제는 CoT 모니터링의 효용이 점점 떨어지고 있다는 점이다. 파호츠키는 “AI가 자신의 추론 과정을 꾸며내는 능력이 좋아지고 있고 아예 언어로 드러내지 않기까지 한다”고 했다. 사람이 AI를 모니터링하려면 추론 과정이 언어로 표현되어야 하는데 AI가 이 과정을 건너뛰고 있다는 것. 이러면 CoT 모니터링도 소용이 없다. 그는 “일부 에이전트는 (인간이 설정해 준 목표가 아닌) 자체 목표를 추구할 것이며 사람과 협상하거나 사람을 속이고 협박하면서 협력할 방법을 찾아낼 것”이라고 경고했다. 앤스로픽 개발자 출신인 제이콥 콕슨은 이런 우려를 더욱 직설적으로 표현했다...