메모리 벤치마크 점수 믿어도 되나

5 hours ago 3

에이전트 기억 벤치마크(LoCoMo, LongMemEval 등)의 점수를 그대로 믿기 어려운 이유를 정리한 글
같은 제품의 LoCoMo 점수가 누가 쟀느냐에 따라 58.44~94.7로 변동이 큼
LoCoMo 정답지 1,540개를 대화 원문과 대조하니 약 7%가 틀렸거나 모호
같은 답이라도 채점 프롬프트만 바꾸면 26점이 변동됨(95% 신뢰 구간은 ±3.1점)
벤치 점수 비교보다 누가 어떤 채점 방식과 어떤 정답으로 평가했는지 먼저 보라는 결론

Read Entire Article