리더보드 1등 LLM, 토스에서도 1등일까? - Toss Benchmark 구축기

새 모델이 나올 때마다 우리는 먼저 리더보드를 봅니다. 모델의 지능이 얼마나 높은지, 수학을 잘 푸는지, 코드를 잘 짜는지. 점수가 높으면 자연스럽게, 이 모델이면 우리 서비스도 더 좋아지겠다는 기대를 하게 되죠.하지만 실제 서비스에 붙여 보면 꼭 그렇지만은 않습니다. 영어를 잘 이해하는 모델이 한국어 정책을 잘 읽는다는 보장은 없고, 추론(Reasoning) 모드에서 높은 점수를 얻은 모델이 빠른 응답이 필요한 운영 환경에서도 같은 성능을 낸다는 보장도 없습니다. 무엇보다 범용 시험을 잘 푸는 것과 토스 도메인 업무를 처리하는 것은 다른 능력입니다.LLM Modeling 팀은 토스의 다양한 업무에 맞는 모델을 평가하기 위해 Toss Benchmark를 만들었습니다. 한정된 GPU 자원에서 서빙할 모델을 선별하고, Toss Foundation 모델이 갖춰야 할 능력을 정하기 위한 기준입니다. 먼저 토스에서 LLM에 어떤 일을 맡기고 있는지 살펴보겠습니다.토스는 LLM으로 어떤 문제를 풀고 있을까토스에서는 상품 카탈로그를 만들고, 카드 약관을 분석하고, 광고를 검수하는 데 LLM을 활용합니다. 토스쇼핑 입점 판매자와 상품 운영에 필요한 안내와 협의를 진행하는 음성 에이전트, 도구로 고객 정보를 조회하는 상담 에이전트처럼 대화와 행동을 이어가는 사례도 있습니다. 금융 서비스뿐 아니라 커머스, 광고, 사내 개발·운영까지 적용 범위가 넓습니다.아래는 각 영역에서 LLM을 활용하는 사례의 일부입니다.커머스 카탈로그 생성판매자마다 등록한 제품 정보를 표준화하고, 같은 상품을 묶어 가격 비교용 카탈로그를 구성합니다.토스쇼핑 입점 판매자 지원음성 에이전트가 입점 판매자와 통화하며 상품 운영에 필요한 안내와 협의를 진행합니다. 판매자의 답변에 따라 대화 흐름을 바꾸고 필요한 도구를 호출합니다.가맹점 심사·정산 지원심사 서류에서 사업자 정보를 추출하고 원문과 대조합니다. 정산 문의에는 관련 데이터·코드·계산 규칙을 조회해 답합니다.광고 검수·운영광고 문구·이미지와 클릭 후 연결되는 페이지를 검수합니다. 광고 성과에 이상이 생기면 설정·변경 이력·성과 데이터를 조회해 원인과 대응 방안을 조사합니다.금융상품 이해·상담카드 약관에서 혜택 조건과 한도를 추출해 비교합니다. 주택담보대출 상담에서는 지식 검색·시세 조회·DSR 계산 도구를 활용해 답변에 필요한 정보를 확보합니다.고객 상담 자동화고객 정보를 조회해 문의에 답하고, 상담사의 ...