bozo bit을 켜면 학습이 꺼진다

• bozo bit는 특정 사람의 판단과 말을 더는 들을 가치가 없다고 보는 태도임
• 사고 당사자를 무능하다고 분리하면 조직이 사고에서 배울 기회가 줄어듦
• PocketOS의 AI 사고 대응은 Cook과 Woods의 distancing through differencing에 해당함
• 해외 공장 화재를 남 일로 본 미국 공장은 공유된 시스템 공통점을 놓쳤음
• AI 사고를 “그들은 알았어야 했다”로 끝내면 안전성 개선으로 이어지기 어려움

사고를 남 일로 치부하면 학습이 멈춤

• bozo bit는 특정 사람의 판단을 더는 존중하지 않고, 그 사람이 하는 말을 들을 가치가 없다고 여기는 소프트웨어 업계 표현임
• 사고 소식을 듣고 “어떻게 X를 하지 않을 수 있나?”처럼 말하면, 사고 당사자를 무능한 사람으로 보고 자신의 조직과 분리해 바라보게 됨
• PocketOS 창업자 Jer Crane의 X 게시물 An AI Agent Just Destroyed Our Production Data. It Confessed in Writing은 AI 관련 사고로 큰 주목을 받았고, 온라인에서는 PocketOS 측을 무능하다고 보는 글이 많았음
• 이런 태도는 사고에서 배울 기회를 줄이며, Cook과 Woods가 말한 distancing through differencing에 해당함

• 차이를 통한 거리두기(distancing through differencing)

  • Richard Cook과 David Woods는 2006년 글 Distancing Through Differencing: An Obstacle to Organizational Learning Following Accidents에서 이 용어를 사용했음
  • 이 글은 Resilience Engineering: Concepts and Precepts의 한 장으로 실렸음
  • 사고가 발생한 쪽과 자신들의 차이에 집중하면, 자신의 운영과 실무에 적용할 교훈이 없다고 여기게 됨
  • “그 사고는 여기서는 일어날 수 없다”는 결론이 이 현상의 전형적인 형태임

반복되는 사고와 놓치는 공통점

• Cook과 Woods는 미국 제조 공장의 화학 화재를 사례로 다룸
• 같은 회사의 해외 공장에서 이전에 비슷한 화재가 있었고, 미국 직원들은 그 사실을 알고 있었음
• 그러나 미국 직원들은 해외 직원들이 덜 숙련되고, 덜 의욕적이며, 덜 조심스럽다고 보면서 자신들에게는 배울 것이 없다고 판단했음
• 미국 공장에서 화재가 난 뒤에도 같은 공장의 다른 교대조 노동자들은 사고 원인을 사고가 난 교대조의 낮은 숙련도 탓으로 돌렸음
• 이런 구분은 사고 당사자와 자신들이 공유하는 시스템의 공통점을 보지 못하게 만듦
• Cook과 Woods는 표면적으로 달라 보이는 사건을 버리지 말아야 하며, 어떤 분석 수준에서는 모든 사건이 고유하지만 다른 수준에서는 공통 패턴을 드러낸다고 봄
• PocketOS 사고를 단순히 “AI를 무책임하게 썼다”는 결론으로 끝내면 배울 것이 없어짐
• PocketOS가 사용한 Railway는 delete API를 노출한 벤더였고, 이후 전체 시스템의 안전성을 높이는 변경을 했다고 Your AI wants to nuke your database. Guardrails fix that에서 밝혔음
• 앞으로도 업계에서 AI 관련 사고는 계속 나올 것이며, “그들은 X를 하지 말아야 한다는 걸 알았어야 했다”는 태도는 distancing through differencing의 함정에 빠진 상태임
• 누군가 의도적으로 과도한 위험을 감수한 경우와, 자신도 모르게 과도한 위험을 감수한 경우는 다르며, 모르는 것을 몰랐다는 이유만으로 개인을 비난하기는 어려움
• distancing through differencing을 넘어설 때 조직의 대응은 바뀔 수 있음