Jeeves - 판단 전에 추론하는 Jev 방식의 의사결정 모델

곧바로 선택지별 확률을 내놓는 Jev 방식에 판단 전 추론 과정을 더해, 복잡한 질문의 정확도를 높이도록 학습한 Qwen3.5-9B 기반 모델 Jev 호환 API로 고객 문의의 담당 부서, 긴급 대응 필요성, 불만 정도 등을 한 요청에서 묻고 선택지별 확률과 점수를 받을 수 있음 자체 평가에서 JevBench 공개 231문항의 정확도 93.5% 를 기록해 Jev의 86.6%를 앞섰으며, 어려운 111문항에서는 86.5% 대 73.0%를 기록함 확신이 높으면 추론을 생략하고, 어려운 질문에는 더 생각하도록 조절할 수 있음. H100 한 대에서 추론 미사용 시 약 0.3초, 전체 추론 사용 시 지연 중앙값은 3.3초임 추론 생성을 가속하는 확산 기반 초안 모델과 함께 9B 가중치, 전체 학습 코드와 학습·평가 데이터를 공개해 직접 실행하고 재학습할 수 있음 즉시 판단하는 모델에 추론 더하기 Jev 방식의 모델은 선택지별 확률을 빠르게 반환하지만, 복잡한 판단에서는 정확도가 부족해 별도의 추론 모델에 작업을 넘겨야 할 수 있음 Jeeves는 판단 모델 자체가 답을 고르기 전에 추론하도록 학습해, 이런 과제의 정확도를 높이는 접근 Qwen3.5-9B를 기반으로 하며, Kev에서 영감을 얻고 Jev 방식의 아키텍처를 따름 추론을 마친 뒤 선택지별 점수를 계산하고, 보정된 확률을 반환함 추론을 항상 길게 수행할 필요는 없음 확신이 높은 질문은 바로 답하고, 나머지는 정해진 길이만큼 추론하도록 설정할 수 있음 고객 문의 분류부터 긴급도 판단까지 Jev 호환 API인 /v1/systemone에 상황 설명과 여러 질문을 함께 전달할 수 있음 choice: 담당 부서처럼 여러 선택지 중 하나를 고르고 선택지별 확률을 반환 noul: 긴급 대응이 필요한지처럼 예·아니요 질문에 참일 확률을 반환 score: 고객의 불만 정도처럼 순서가 있는 기준에 점수를 부여 “신발이 2주 늦게 도착했고 사이즈도 잘못됐으며, 카드 결제가 두 번 됐다”는 문의에서 담당 부서·긴급 대응 필요성·불만 정도를 한 요청으로 평가하는 예제를 제공함 Python SDK인 jeeves_sdk 는 Jev의 typesafe-sdk를 대체할 수 있음 기본적으로 API 키 없이 로컬 서버에 연결하며, 답과 확률뿐 아니라 질문별 추론 텍스트도 선택적으로 받을 수 있음 추론으로 높아진 정확도 자체 평가의 JevBench 공개 231문항에서 Jeeves는 정확도 93.5% ...