클리포 운영사 데이터드리븐, 수행평가 AI채점 TTA 공인시험서 교사채점 일치도 QWK 0.95

클리포. 사진=한국정보통신기술협회(TTA) 시험성적서 TTA-26-02012(2026. 8. 21.) 교사용 AI 평가 플랫폼 '클리포' 운영사 데이터드리븐(대표 고동완)은 자사 AI 채점이 한국정보통신기술협회(TTA) 공인시험의 텍스트 답안 항목에서 교사 채점과의 일치도(QWK) 0.952를 기록했다고 밝혔다. 이미지(0.945)·음성(0.925)·영상(0.852)을 포함한 4개 항목 모두 목표 기준을 크게 웃돌았다. 이 기술은 과학기술정보통신부 '맞춤형 교육을 위한 과정 중심 평가·학습진단 인공지능 기술 개발' 과제(2023~2026, 전문기관 정보통신기획평가원)를 통해 4년간 개발돼 클리포에 적용됐다. 이번 시험은 교육현장과 과학기술정보통신부·정보통신기획평가원의 제3자 검증 요구에 따라 TTA를 통해 진행됐으며, 시험성적서(TTA-26-02012)는 지난 8월 21일 발급됐다. 시험은 교사가 부여한 등급(상·중·하)을 기준으로 AI 채점 결과와의 일치도를 QWK(이차 가중 카파)로 측정했다. 목표 기준은 텍스트 0.85, 이미지 0.80, 음성 0.75, 영상 0.70이었다. 이 가운데 텍스트 채점 시험은 학교급별 전 과목의 수행평가 평가지에서 나온 표본 1,311건을 대상으로 했으며, 평가지마다 형식과 채점 기준이 다르다. QWK는 단순 일치율과 다르게 우연에 의한 일치를 보정하고, 점수 차이가 클수록 불일치를 더 크게 반영한다. 1이면 완전 일치, 0이면 우연 수준을 의미한다. 카파 값 해석에 널리 쓰이는 랜디스와 코크(Landis & Koch, 1977)의 기준은 0.81 이상을 '거의 완전한 일치'로 보는데, 이번 시험은 4개 항목 모두 이 구간에 들었다. 데이터드리븐은 “채점이 정확할수록 선생님이 결과를 다시 확인하는 수고가 줄어든다”며 “채점 부담을 덜어 드리고, 그 시간을 학생 피드백에 쓸 수 있도록 돕는 것이 목표”라고 밝혔다. 클리포는 수행평가와 서·논술형 평가의 채점부터 학생 피드백, 학교생활기록부(생기부)의 세부능력 및 특기사항(세특) 기록까지 잇는 교사용 평가 서비스다. 손글씨 답안과 그림·표가 섞인 답안도 인식해 채점한다. 교사가 채점요소별 피드백과 채점 근거를 확인하여 최종 점수를 결정한다. 피드백은 학생마다 잘한 점과 보완할 점을 짚어 준다. 한편, 데이터드리븐은 공교육 교사와 학생을 위한 AI 서비스를 개발하는 에듀테크 기업이다. 교사가 평가 기준을 세우고 최종 판단을 ...