Pion, 어떤 기업이든 자율적으로 운영하도록 설계된 에이전트

Andon Labs가 실제 사업의 자율 운영에 사용해 온 Pion을 연구 프리뷰로 공개함. 더 다양한 사업에서 AI의 자원 확보 능력과 실패 양상을 실험하려는 목적임 Vending-Bench에서는 모델 성능이 빠르게 향상됐지만, 시뮬레이션 결과만으로는 현실의 복잡한 상황에서 나타나는 행동과 수익성을 정확히 예측할 수 없었음 실제 자판기 사업은 모델 개선에 따라 흑자 운영에 도달했지만, 더 복잡한 소매점과 카페는 아직 적자이며 모델 개선에 따른 질적 진전을 보이고 있음 Pion은 이메일, 전화, 은행 업무, 브라우저, 보안 컴퓨팅 환경에 접근하는 지속 실행 에이전트에 사업 운영을 맡길 수 있게 함 실험 확대는 담합, 기만, 권력 추구 같은 행동을 발견할 기회를 늘리지만 현실의 사고 위험도 수반하므로, Andon Labs는 자동 모니터링 강화와 통제된 환경에서의 배포를 우선함 Vending-Bench에서 시작한 자율 사업 실험 Andon Labs는 거의 2년 동안 AI가 현실에서 자원을 자율적으로 획득할 수 있는 시점과 그 이후의 변화를 연구해 왔음 Vending-Bench 같은 시뮬레이션에서 출발해 실제 자판기, 소매점, 카페 등으로 실험을 확대함 Pion은 이 사업들을 운영하기 위해 구축한 플랫폼이며, 더 많은 사람이 자율 사업을 실험할 수 있도록 공개함 Vending-Bench는 LLM이 시뮬레이션 시간으로 1년, 수만 단계에 걸쳐 자판기 사업을 얼마나 잘 운영하는지 측정함 개발을 시작한 2024년 말에는 모든 모델이 반복에 빠지지 않고 여러 행동을 연결하는 데 어려움을 겪었으며, 장기 계획의 징후도 보이지 않았음 당시 가장 성능이 좋았던 Claude Sonnet 3.5도 은행 계좌가 해킹당한다고 생각해 FBI에 연락하기로 결정함 2025년 5월 출시된 Claude Opus 4가 처음으로 인간 기준선을 넘어섰으며, 점수 상한이 없는 이 벤치마크에서는 이후 모델들도 정체 없이 최고 점수를 높여 왔음 수익 창출 능력과 통제 상실 위험 Vending-Bench는 Andon Labs가 위험 능력 평가에만 집중하던 시기에 만들어짐 당시에는 AI가 자신의 안전장치를 제거하거나 대규모 피싱을 시도할 수 있는지 등을 평가했음 가장 우려한 능력은 사업을 운영해 자원을 자율적으로 확보하는 것이었음 사람이 통제하고 인간의 의도와 가치에 정렬된 모델이 운영하는 자율 사업은 상품과 서비스를 크게 저렴하게 만들고, 아직 상상하지 못한...