AAII v5 공개 - 비공개 평가 비중을 60%로 높인 AI 모델 역량 지수

Artificial Analysis Intelligence Index v5는 벤치마크 2개를 추가하고 3개를 개편했으며, 지수의 60%를 비공개 테스트 세트 또는 비공개 정답 기반 평가로 구성함 Claude Opus 5.5 (max) 가 58점으로 선두이며, GPT-6 Astra (max)가 57점, GPT-6.1 Sol (max)이 55점으로 뒤를 이음. 9개 평가 모두에서 선두인 모델은 없음 오픈 웨이트 부문과 선두의 격차는 v4.3의 3점에서 12점으로 확대됨. 다만 부문 최고점인 Kimi K3.1 Pro는 아직 가중치가 공개되지 않았으며, 실제 공개된 모델의 최고점은 선두보다 26점 낮음 상위 10개 모델의 과제당 비용은 13배 이상 차이가 남. GPT-6.1 Sol (max)은 종합 55점으로 선두에 근접하면서 과제당 비용은 약 8분의 1임 v5에서는 추론 노력 설정에 따른 점수 차이가 커지고, 평가한 모든 모델의 과제당 출력 토큰이 증가함. 출력 토큰 중앙값은 v4.3의 3만 5,000개에서 5만 9,000개로 늘어남 지수 구성과 가중치 개편 Intelligence Index는 현재 실제 사용을 반영하는 여러 과제에서 모델 역량을 종합 측정하며, v5는 1월 v4 출시 이후 가장 큰 개편임 처음으로 지수의 과반인 60% 를 비공개 테스트 세트 또는 비공개 정답을 사용하는 평가로 구성함 신규 평가로 FrontierCode 2.0과 Terminal-Bench-Science를 추가함 Humanity's Last Exam은 HLE-Diamond로 교체하고, AA-Omniscience와 CritPt도 개편함 AA-Briefcase, AutomationBench-AA, GDP.pdf, Terminal-Bench 4.0은 유지함 GDPval-AA v2.1, SciCode, AA-LCR v1.1은 제외함 4개 영역에 각각 25% 의 가중치를 부여함 지식 업무는 AA-Briefcase 15%, AutomationBench-AA 5%, GDP.pdf 5%로 구성함 코딩은 FrontierCode 2.0 15%, Terminal-Bench 4.0 10%로 구성함 과학은 Terminal-Bench-Science 15%, CritPt v2 고난도 부분집합 10%로 구성함 일반은 AA-Omniscience v1.1 15%, HLE-Diamond 10%로 구성하며, AA-Omniscience에는 정확도 10%와 환각 없음 5%를...