‘AAII’ 최고점인데 탈락…모티프, 과기정통부에 국가대표 AI 이의제기

배경훈 부총리 겸 과학기술정보통신부 장관이 지난 12월 30일 오후 서울 강남구 코엑스 오디토리움에서 열린 ‘독자 AI파운데이션 프로젝트’ 발표회에서 환영사를 하고 있다. 뉴스1 국내 인공지능(AI) 스타트업 모티프테크놀로지스가 정부의 국가대표 AI 사업인 ‘독자 AI 파운데이션 모델(독파모)’ 2차 단계 평가 결과에 공식 이의를 제기했다.모티프테크놀로지스(모티프)는 27일 입장문을 통해 이날 과학기술정보통신부에 이의 제기를 신청했다고 밝혔다.모티프는 △평가 결과와 상세 내용 △벤치마크 배점 산정 근거 △전문가 평가의 상세 기준과 결과 △사용자 평가 방법론과 기준 등 4가지 사항의 공개를 과기정통부에 요청했다.독파모는 글로벌 경쟁력을 갖춘 국산 AI 모델을 육성하기 위해 ‘국가대표 AI’를 뽑는 정부 사업이다. 정부는 참여 기업에 GPU 등을 지원하고 단계별 평가를 거쳐 팀을 압축하는 방식으로 사업을 진행하고 있다. 과기정통부는 이달 18일 2차 평가에서 업스테이지, SK텔레콤, LG AI연구원 등 3개 팀을 선정하고 모티프를 탈락시켰다.● AAII는 47점으로 1위 했지만 종합 평가에선 최하위모티프가 개발한 ‘모티프 3’는 글로벌 AI 평가기관 아티피셜 애널리시스(Artificial Analysis)의 종합 성능 지표 AAII에서 47점을 받아 참여 4개 모델 중 1위를 달성했다. 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점이 뒤를 이었다. 그러나 벤치마크(40점), 전문가(35점), 사용자(25점)를 합산한 종합 점수에서는 최하위에 그쳐 탈락했다.모티프는 “AAII는 글로벌 AI 업계에서 폭넓게 활용되는 9개의 대표적 벤치마크를 취합한 종합 평가 지표”라며 “특정 성능뿐 아니라 사용성과 관련된 평가까지 포함하는 종합적인 지표”라고 설명했다. 이어 “47점과 31점이라는 상당한 차이에도 상반된 결과가 나온 이유와 배경이 구체적으로 설명될 필요가 있다”고 밝혔다.● 벤치마크 배점 산정 방식과 평가 기준에 의문 제기모티프는 벤치마크 배점 방식도 문제 삼았다. AAII 1위(47점)와 4위(31점)의 16점 격차가 배점 환산 과정에서 4점 차이로 축소됐다며 “배점 산정 방식이 벤치마크 결과의 성능 차이를 충분히 반영하지 못할 가능성이 있다”고 주장했다.전문가 평가와 관련해서도 외국계 자본이 의결권 있는 주요 주주로 있는 곳이 있느냐는 서면 질문을 받았다며 그 목적을 공개해달라고 요청했다. 사용자 ...