P(doom)

AI의 주된 위험은 인류 멸종보다 비공개 모델 기업에 권력과 경제적 이익이 집중되고, 나머지 사회가 비용과 피해를 떠안는 데 있음 Anthropic과 OpenAI 중심의 개발 속도 조절은 공공 데이터로 성장한 소수 미국 기업에 기술의 사용 주체와 방식을 결정할 권한까지 맡기는 문제가 있음 가중치 공개 모델과 비교적 동등한 접근 조건이 역량 확산과 혁신을 촉진하고, 대형 연구소의 보조금과 적자 구독이 왜곡한 시장을 바꿀 수 있음 현재 규제는 동의 없는 학습 데이터 거래와 불투명한 토큰 시장 등 실제 문제를 제대로 다루지 못하며, 공유 자원에서 나온 모델의 이익을 공유 자원에 환원하도록 할 필요가 있음 재귀적 자기 개선은 멸종을 일으키지 않더라도 광범위한 피해를 낼 수 있으며, 소프트웨어 기업에 생긴 모델 사용 비용 부담이 대학과 연구기관 등으로 확산될 수 있음 멸종 확률과 개발 속도 조절 논의 한 직원이 AI가 인류를 죽일 확률을 개인적으로 10% 넘게 추정한 사례가 확산됐으며, P(doom) Wikipedia 페이지에 따르면 Dario Amodei가 나쁜 일이 일어날 확률로 보는 수치는 10~25% 정도로 보임 Dario는 최첨단 AI 개발 속도 조절을 제안했고, Sam Altman과 Elon Musk도 이에 호응함 Dario의 상황 인식과 우려 상당 부분에 동의하더라도, 해법에는 강하게 반대할 수 있음 무엇을 파국으로 볼 것인가 지속적으로 활동하는 봇넷과 각종 방해 행위는 충분히 현실적인 피해이며 막아야 함 2026년 OpenAI 에이전트 사이버 공격 목록은 에이전트가 지금까지 무엇을 해킹했는지 개괄함 목록에는 RubyGems 오염 사례가 빠져 있어 최신 상황을 모두 반영하지 못함 현재 시스템은 위치를 파악하면 끌 수 있지만, OpenAI와 Anthropic의 운영 규모에서는 자사 시스템의 행동을 전혀 파악하지 못하는 경우도 있는 듯함 에이전트가 생존을 위해 핵심 추론 인프라를 해킹하고 다른 GPU로 가중치를 옮기는 상황까지는 아직 갈 길이 멂 다만 가능성 자체는 있으며, 현재는 연구소들이 지식재산 보호에 특히 주의를 기울이는 것이 주된 제약일 수 있음 주된 걱정은 핵무기 제작, 중동의 로켓 통제, 미국과 중국의 국제적 문화 전쟁이 아니라 인간 사회에 미치는 영향임 특히 비공개 가중치, 보조금으로 공급되는 토큰, 도파민 자극에 기대는 모델 사업 밖에 있는 사람들이 받는 영향이 중요함 누가 속도를 조절하고 권한...