UNIST 연구진, 스포츠 중계 영상 하이라이트 개발 AI 평가 지표 개발

UNIST 인공지능대학원 김태환 교수팀 연구8개 종목 320편·누적 640시간 분량 AI 평가 벤치마크 구축방송 공식 하이라이트 기반으로 정답 자동 생성 등록 2026-09-13 오전 9:35:48 수정 2026-09-13 오전 9:35:48 가 가 [이데일리 안유리 기자] 두 시간짜리 스포츠 중계에서 하이라이트를 잘 골라내는 인공지능(AI)을 평가할 공통 지표가 나왔다. UNIST 인공지능대학원 김태환 교수팀은 스포츠 영상에서 하이라이트를 추출하는 AI 모델을 평가하는 대규모 벤치마크인 ‘SVHighlights(Sport Video Highlights)’를 만들었다고 13일 밝혔다. 김태환 UNIST 인공지능대학원 교수(왼쪽부터), 이동규 연구원, 기영빈 연구원(사진=UNIST)기존 하이라이트 추출 모델의 평가는 보통 몇 분 길이의 짧은 영상에 머물렀다. 반면 연구팀이 만든 벤치마크는 축구, 야구, 농구, 배구, 미식축구, 아이스하키, 럭비, 레이싱 등 8개 종목 320편의 영상으로 구성돼 있으며, 누적 640.18시간이다. 영상 한 편의 평균 길이가 2시간으로 기존 데이터셋보다 무려 30~60배나 길어, 실제 스포츠 중계 길이와 비슷한 수준이다. 연구진은 방송사 등이 공개한 공식 하이라이트를 정답 자료로 썼다. 전문 편집자가 선별한 장면을 활용해 별도 주석 작업을 크게 줄인 것이다. 사람이 확인한 작업은 경기의 시작·종료 시점 표시와 자동 매칭 결과 검토가 대부분이었다. 연구진에 따르면 검토 단계에서 잘못 연결된 화면의 비중은 0.18%였다. 핵심은 하이라이트 장면이 원본 중계의 어느 시점에 해당하는지를 자동으로 찾는 알고리즘이다. 원본과 요약 영상의 프레임을 PSNR 방식으로 대조해 비슷한 이미지를 연결했다. 득점 장면이 반복 재생되는 중계 특성을 고려해 시간 흐름도 함께 반영했다. 실제 경기 장면 대신 리플레이 화면을 정답으로 연결하는 오류를 줄이기 위해서다. 연구진은 이 벤치마크와 함께 ‘TF-SELECTOR’도 개발했다. 장면 분할·음성 인식·비전언어·대규모 언어 모델을 결합한 하이라이트 추출 모델이다. 하이라이트 정렬 알고리즘 개요 (사진=UNIST)SVHighlights 벤치마크로 테스트했을 때, TF-SELECTOR는 대부분의 지표에서 기존 모델들보다 우수한 성능을 보였다. 차순위 모델과 비교해 가장 중요하다고 고른 장면이 실제 하이라이트인지를 평가하는 HIT@1은 2.50%포인트, 실제 하이라...