Amazon, Sonnet 4.6을 Strands Decider로 대체해 수백만 달러 절감

Amazon이 대규모 내부 티켓 분류에 쓰던 Claude Sonnet 4.6을 Strands Decider E4B로 교체해 비용을 98% 줄였으며, 연간 수백만 달러의 토큰 비용 절감을 예상함 의사결정 모델은 텍스트를 생성하는 대신 주어진 선택지별 확률과 신뢰도를 반환하므로, 정해진 20개 범주에서 티켓 라벨을 고르는 작업에 적합했음 별도 티켓 평가에서 E4B가 운영 중인 Sonnet보다 좋은 결과를 보였고, 실제 비교에서 평균 호출 시간은 78%, 티켓당 총 토큰 수는 70% 감소함 실제 트래픽에서 두 모델을 병렬 실행하되 Sonnet 결과만 적용하는 이중 실행 방식으로 차이를 검증했으며, 설정 변경만으로 45초 만에 기존 방식으로 복귀할 수 있었음 교체 효과는 고정된 선택지와 대규모 처리량이라는 조건에 기반함. 설명문이 필요하거나 분류 목록이 매주 바뀌거나 유용한 문맥이 수천 토큰을 넘는 작업에서는 LLM을 대체하기 어려울 수 있음 티켓 분류를 생성 작업에서 선택 작업으로 전환 Amazon과 AWS 팀은 대규모 내부 티켓 시스템에서 Claude Sonnet 4.6을 사용해 고객 에스컬레이션, 용량 요청, 자동 경보, 보안 발견 사항 등을 20개 범주로 분류했음 기존 에이전트는 티켓마다 긴 시스템 프롬프트를 처리하고, 고정된 라벨 집합을 대상으로 추론해 JSON을 생성했음 Strands Decider는 텍스트를 생성하지 않고, 상태와 질문 및 선택지를 입력받아 선택지별 확률과 신뢰도를 반환함 티켓을 상태로, 라벨 목록을 선택지로 넣는 방식이 분류 작업에 맞았음 처음에는 Strands Decider 2B를 사용했으나, 테스트 티켓에서 더 좋은 결과를 낸 Gemma 4 기반 E4B로 전환함 라벨 적용에 필요한 신뢰도 임곗값을 조정한 뒤 별도 티켓 집합으로 평가했으며, E4B가 운영 중인 Sonnet보다 좋은 결과를 보였음 SageMaker와 표준 AWS 서비스로 구성한 실행 환경 E4B는 A10G GPU 1개와 GPU 메모리 24GB를 갖춘 SageMaker ml.g5.xlarge 인스턴스에서 실행함 모델은 약 19GiB를 사용하며, 단일 인스턴스에서 요청 하나를 처리하는 데 약 640ms가 걸림 엔드포인트는 트래픽에 따라 자동 확장하며, 네트워크를 격리해 컨테이너의 외부 통신을 차단함 SageMaker가 시작 전에 S3에서 모델 가중치를 복사함 내부 티켓 API를 제외한 처리 경로는 모두 표준 AWS 서비스로 ...