Qwen3.8-27B 모델 5개, GVS5H 하네스로 Fable 5에 필적하는 성능 달성

GVS5H는 동일 모델의 새 인스턴스들이 문제를 분해하고 공유 파일시스템으로 협업하는 학습 없는 방식으로, LiveCodeBench 고난도 문제에서 코딩 성능을 높임 로컬에서 구동한 오픈 웨이트 Qwen3.8-27B의 pass@1은 단일 호출 기준 66.8%에서 오케스트레이션 적용 후 92.4% 로 상승해 Fable 5의 90.4%를 웃돎 오케스트레이션을 적용한 Qwen3.8 Flash Next는 Fable 5 대비 9%의 비용으로 pass@1 93.0%를 기록함 최신 고난도 문제 100개에서 오픈 웨이트와 비공개 웨이트 모델 11개를 평가했으며, 고정된 백엔드에서 최대 25.6%포인트 개선됐지만 일부 모델은 성능이 그대로이거나 하락함 실행 대화 기록 분석에서는 문제 분해와 지속적 문맥 유지가 성능 향상 요인으로 나타났으며, 공유 공간에 계획, 메모, 현재 해법을 보관하는 구조를 사용함 학습 없이 협업하는 GVS5H 구조 GVS5H는 “Gorilla vs. 5 Humans”의 약자로, 대형 독점 모델에 높은 비용을 지불하는 대신 추론 시점의 조직화로 최상위권 코딩 성능에 접근하는 방법임 논문의 방법은 기록 장부 기반 제로샷 자기 오케스트레이션으로, 별도 학습 없이 동일 모델의 새 인스턴스들이 문제를 분해하고 협업함 공유 파일시스템에 계획, 메모, 현재 해법을 저장해 작업을 조율함 실행 대화 기록 분석은 문제 분해와 지속적 문맥 유지가 성능 향상에 기여했음을 뒷받침함 LiveCodeBench 성능과 비용 최신 LiveCodeBench 고난도 문제 100개를 대상으로 오픈 웨이트와 비공개 웨이트 모델 총 11개를 평가함 고정된 백엔드에서 최대 25.6%포인트의 성능 향상을 얻음 모든 모델이 개선되지는 않았으며, 일부는 변화가 없거나 성능이 하락함 Qwen3.8 Flash Next는 오케스트레이션 적용 시 pass@1 93.0% 를 기록함 비교 대상인 Fable 5의 단일 호출 점수는 90.4%이며, 비용은 Fable 5의 9% 수준임 로컬 구동 오픈 웨이트 Qwen3.8-27B는 단일 호출의 66.8%에서 92.4% 로 상승함 자체 호스팅 가능한 가중치로도 비교 대상 최상위 모델의 코딩 정확도를 소폭 웃도는 결과를 얻음 Opus 5 결과는 실행 조건이 다름 이전 버전의 실행 프레임워크를 사용했으며, 고정된 백엔드에서 5회 실행한 것이 아니라 OpenRouter를 통해 1회 실행함 실행 방식과 결과 확인 실행에는 u...