에이전트 시대의 사고 모델

기존 사고 모델은 여전히 유효하지만, 같은 명세로도 매번 다른 결과를 만드는 확률적 제품에 적용하면 자동화 범위, 권한, 검증, 투자에 대한 답이 달라짐 에이전트의 경제성은 토큰 단가보다 허용 기준을 충족한 작업당 비용으로 판단해야 하며, 지능이 저렴해질수록 활용 범위와 총사용량은 늘어남 확률적 기능의 명세에는 동작뿐 아니라 성공률, 실패 허용치, 응답 유보 규칙이 필요하며, 이를 담은 평가 묶음이 PM의 핵심 산출물이 됨 자율성은 조절 가능한 제품 설정이며, 워크플로와 사용자군별로 신뢰를 쌓으면서 높이고 되돌리기 어려운 행동에는 승인 장치를 둬야 함 모델 발전에도 남는 자산은 데이터, 평가, 워크플로, 유통 경로이며, 인간의 역할은 생산보다 판단, 검토, 검증과 좋은 결과를 고르는 안목으로 이동함 저렴해진 지능의 경제성 제번스 역설: 자원 가격이 내려가면 소비량이 가격 하락 폭 이상으로 늘어남 석탄 효율 향상이 석탄 절약보다 산업 확대를 낳았듯, 저렴한 지능은 절약보다 사용 확대를 유도함 100조 토큰 규모 연구에서 추론 가격 하락과 사용량 급증이 함께 나타났으며, 가격이 내려갈 때마다 새로운 작업군의 활용이 가능해짐 에이전트를 단순 비용 항목으로 예산화하기보다 사용 규모와 제품 범위 확대를 기준으로 계획해야 함 해결한 작업당 비용: 경제성의 단위는 입력량이 아니라 허용 기준 안에서 완료한 결과임 저렴한 모델이 12턴을 소비하고도 실패하면, 한 번에 해결하는 최상위 모델보다 비쌀 수 있음 모델 선택은 공개 순위표가 아니라 자사 작업에 대한 실험으로 결정해야 하며, 같은 작업 20개를 두 모델에 실행해 성공한 결과의 비용을 비교할 수 있음 가격 책정도 좌석당 과금에서 해결 건당 과금으로 이동하며, Decagon은 해결 건당 가격을 적용함 자동화 경제성 경계선(The viability line): 작업 비용이 작업 가치보다 낮아지는 순간 자동화할 경제성이 생김 모델 출시마다 새로운 작업군이 경계선을 넘으므로, 한 번 정한 자동화 범위를 고정하지 말고 분기마다 다시 점검해야 함 1월에는 비쌌던 고객 조사 요약이 6월에는 범용 작업이 될 수 있으며, 새로 경제성을 얻은 작업이 로드맵과 경쟁의 압력으로 이어짐 METR의 장시간 작업 연구에서는 AI가 수행할 수 있는 작업의 시간 범위가 약 7개월마다 두 배가 됨 기능이 아니라 성공 확률을 명세하기 들쭉날쭉한 능력 경계(Jagged frontier): Mollick이 이...