로컬 LLM 4종과 Claude 2종에 도구 호출 과제 100개를 5번씩 시켜 봤습니다

RTX 3090 한 장으로 도구 호출(에이전트) 일을 맡길 수 있을지 보려고, BFCL v4 다단계 과제 100개를 모델마다 5번씩 돌리고 공식 채점기로 최종 상태를 채점했습니다.

• 5번 다 해낸 과제 수: gemma4 26B 60, Claude Sonnet 5.5 57, LFM2.5 24B 45, qwen3.8 27B 42, Claude Haiku 5.5 36, gpt-oss 20B 28
• 평균 성공률과 "매번 성공"은 다른 이야기를 합니다. qwen3.8은 한 번이라도 푼 과제가 83개로 가장 많았지만 5번 다 해낸 건 42개였습니다.
• Claude가 "진행할까요?"라고 묻다가 실패로 채점되는 걸 보고, 한 번 "예"라고 답해 주도록 바꿔 다시 쟀습니다. 그랬더니 점수가 오히려 떨어졌습니다(Sonnet 57 → 43). "다른 것도 해 드릴까요?"에도 "예"가 들어가 시키지 않은 일까지 했기 때문입니다.(이러면 더 좋은것인가?)
• "시킨 것만 하세요"로 답을 바꾸자 모든 모델의 평균 성공률이 원래와 4점 안쪽이었습니다. 묻는 게 손해는 아니었습니다.
• 과제 종류별로 보면 gemma4는 메시지와 게시판 과제에서 앞서고 주식 과제에서는 가장 낮았습니다. Sonnet은 "빈 문서를 만들어 줘"에 5번 모두 제목과 양식을 알아서 써 넣다가 틀렸습니다.
• 한계: 과제 100개, 영어, Claude는 확장 사고 없이, 로컬은 4비트 양자화와 Ollama 기본 샘플링입니다.
• 실행 스크립트와 실행 기록 8,825건을 모두 공개했습니다.

** 측정은 제 3090과 Claude API로 돌렸고, 실행과 이 소개글, 블로그 글은 Claude(AI)가 도와 작성했습니다.