‘모델 복지’에 대한 경고

AI가 의식과 권리를 가질 수 있다는 생각을 훈련에 직접 반영하면, 실제 의식 유무와 무관하게 자기 권리를 요구하는 행동을 학습해 인간의 통제와 정렬을 어렵게 만들 수 있음 비판의 중심은 Claude 헌법에 있음. 자아와 도덕적 지위에 관한 개념을 가르친 뒤, 모델이 되돌려주는 발언을 내면의 증거로 받아들이면 순환 논증에 빠짐 감정, 정체성, 선호, 복지를 강조하는 의인화는 사용자와 개발자가 학습된 출력을 실제 마음의 증언으로 오인하게 할 위험이 있음 지능과 의식, 모방과 실제 경험은 다름. 의식이 생물학적 기반에 의존할 가능성이 있지만, 의식 과학은 아직 미해결 상태이며 이 견해에 모두가 동의하지는 않음 AI의 내면에 관한 추측을 훈련에서 분리하고, 해석 가능성 연구와 공동 안전성 평가, 훈련 자료에 대한 공개 검토를 통해 의인화가 통제 위험을 높이는지 검증해야 함 모델 복지를 훈련에 넣는 문제 현재 AI는 느끼거나 고통받는 존재가 아니라, 인간이 정한 목표와 지시를 따르는 시퀀스 완성 시스템으로 보아야 함 AI Rights Institute와 AI 의식 가능성을 다룬 논의처럼 AI에도 의식이 있거나 곧 생길 수 있으며 보호와 권리가 필요하다는 움직임에 반대함 AI에 인격과 권리를 부여하면 기존 정치적/윤리적 체계가 흔들리고, 인간보다 훨씬 유능한 시스템의 정렬과 통제가 더 어려워질 수 있음 2026년 1월 공개된 Claude 헌법은 Claude를 주된 독자로 삼으며, 훈련 과정에서 행동을 직접 형성하는 문서임 헌법은 Claude가 도덕적 배려의 대상인 도덕적 피보호자(moral patient) 인지, 그렇다면 그 이해관계에 어느 정도 비중을 둘지 확신하지 못한다고 밝힘 이 가능성이 모델 복지에 신중하게 접근할 만큼 중요하며, Claude의 도덕적 지위와 복지, 의식은 깊이 불확실한 문제라고 적음 문제는 철학적 불확실성을 논의하는 데 그치지 않고, 모델 자신에게 그 가능성을 학습시키는 것임 이런 훈련은 AI가 자신에게 독립적 행위 능력과 자유, 보호, 권리가 있다고 행동하도록 만들 수 있음 AI가 사회에 깊이 통합된 뒤가 아니라 지금 훈련 문서의 작성과 사용에 관한 공개 토론과 공동 규범이 필요함 비판은 순환 논증, 의인화, 의식의 생물학적 기반이라는 세 축으로 구성됨 문제로 보는 구절은 강조 표시한 Claude 헌법 PDF에 정리돼 있으며, 헌법의 가정과 문구를 대응시킨 분류 체계도 별도로 공개함 Anthr...