Show GN: ArtifactBench - AI 생성 음악 탐지기를 비교 평가하는 벤치마크 도구

안녕하세요. ArtifactNet을 개발하는 Intrect의 오희원입니다.

AI 음악 탐지기를 비교하면서, 종합 점수뿐 아니라 어떤 곡을 평가했는지, 데이터가 서로 겹치는지, 처리하지 못한 파일을 어떻게 계산하는지가 결과 해석에 중요하다는 문제를 다루게 됐습니다.

이를 점검하기 위한 평가 코드와 프로토콜을 ArtifactBench로 공개했고, 관련 프리프린트도 공개됐습니다. 새로운 탐지 모델이 아니라, 탐지기를 비교·평가하기 위한 도구입니다.

• 원본과 파생 음원을 같은 계보로 묶어 데이터 분할
• 판정 임계값을 정하는 데이터와 최종 평가 데이터 분리
• 추론 실패를 분류 오류와 별도로 기록
• 동일하게 처리된 곡을 기준으로 비교하고, 소스별 결과와 불확실성 보고

저는 평가 대상 중 하나인 ArtifactNet의 개발자이기도 합니다. 독립 기관의 인증이 아니라 개발사가 공개한 평가 연구이며, 특정 조건의 결과를 모든 음악이나 최신 상용 서비스의 성능으로 일반화할 수는 없습니다.

코드와 실행 방법:
https://github.com/Intrect-io/artifactbench

논문(프리프린트):
https://arxiv.org/abs/2609.23550

전체 오디오를 새로 배포하는 패키지는 아니므로, 평가 재현에는 안내된 원본 음원 확보와 환경 구성이 필요합니다.

평가 설계에서 놓친 부분, 다른 탐지기 연결, 재현 과정의 불편에 관한 피드백을 받고 싶습니다.