미국 근로시간의 90%는 AI 벤치마크가 충분히 다루지 못하는 업무에 쓰임

Mercor가 경제적 관련성이 높은 29개 AI 벤치마크를 분석한 결과, 미국 근로시간의 약 90% 가 벤치마크에서 거의 또는 전혀 다루지 않는 업무에 쓰이는 것으로 추정됨 미국의 923개 직업 중 208개만 벤치마크 프롬프트 5개 이상과 연결되는 업무를 하나 이상 갖고 있으며, 22개 직업군 중 6개에는 이런 직업이 전혀 없음 벤치마크는 AI 자동화에 노출된 업무, 임금 총액이 큰 직업, 직업 내 중요도가 높은 업무에 집중됨 직업별 AI 역량 측정에는 업무별 균등 가중치가 유용할 수 있지만, APEX의 4개 직업 분석에서는 단순 평균과 점수 차이가 작았고 충분히 측정된 업무도 3분의 1 미만이었음 결과는 불완전한 벤치마크 표본에 기반한 잠정 추정치임. 실제 직무 역량을 평가하려면 표본 부족, 평가 품질 차이, 인간 생산성 보조 효과, 물리적 업무 측정 문제도 해결해야 함 미국 경제의 벤치마크 공백 Mercor의 Benchmark Map은 AI 벤치마크가 미국인의 실제 업무를 얼마나 다루는지 측정하고, 경제 전반의 AI 역량을 지속적으로 갱신하는 종합 자료를 구축하기 위한 첫 단계임 미국 노동부의 O*NET 분류체계에 따라 노동시장을 22개 직업군, 923개 직업, 18,797개 업무로 나눔 지도에서 각 타일은 직업 하나이며, 해당 직업의 업무 중 벤치마크가 다루는 비중에 따라 음영이 달라짐 하나의 벤치마크 프롬프트가 여러 O*NET 업무와 연결될 수 있음 분석 대상 29개 벤치마크에서 프롬프트 5개 이상과 연결되는 업무를 하나 이상 가진 직업은 208개이며, 22개 직업군 중 6개에는 그런 직업이 없음 미국 근로시간의 약 90% 는 기존 벤치마크가 거의 또는 전혀 다루지 않는 업무에 쓰이는 것으로 추정됨. 이 공백 때문에 AI가 미국인의 실제 업무를 얼마나 잘 수행하는지 판단하기 어려움 벤치마크 선정과 업무 연결 방법 Benchmark Index의 29개 벤치마크는 품질과 경제적 관련성을 기준으로 선정했으며, 다섯 가지 조건을 우선함 공개성: 공개된 과제가 최소 25개 있어야 함. Mercor가 비공개 평가 프롬프트에 접근할 수 있는 자체 APEX 벤치마크도 포함함 에이전트형 과제: 질문에 답하거나 수행 방법을 조언하는 대신, 모델이 직접 과제를 수행하도록 요구함 경제적 현실성: 실제 기업에서 사람이나 에이전트에게 자주 맡기는 업무와 유사해야 하며, 학술적 복잡성보다 경제적 가치를 우선함 경제적 다양성: 소프...