Jev, 비용은 40~400배 저렴하고 속도는 20~200배 빠른 새로운 프런티어 모델

2 days ago 13

TypeSafe AI가 소프트웨어에서 직접 사용할 구조화된 판단에 특화한 System One Model의 첫 모델 Jev를 얼리 액세스로 공개함 문자열 생성 대신 사전에 정의한 타입의 값과 확률을 출력하며, 병렬 샘플링으로 모든 출력을 한 번의 질의에서 생성함 입력 가격은 100만 토큰당 0.042달러, 출력은 무료이며, 종단 간 응답 시간은 70~500ms임 자체 워크플로 평가에서 193.6배 빠르고 444.6배 저렴한 결과를 얻었지만, TypeSafe는 이 수치가 실제 사용 환경에서 얻을 개선 폭의 상단에 가까울 것으로 예상함 TypeSafe는 스키마 일치와 타입 오류 0% 를 보장하며 각 출력에 보정된 확률과 신뢰도를 제공함. 다만 평가에는 참조 모델 선택과 비교 방식에 따른 편향 가능성이 있음 소프트웨어 자동화를 위한 System One Model TypeSafe AI는 2년간의 비공개 개발을 거쳐, 빠르고 구조화된 판단을 소프트웨어에 직접 전달하는 System One Model을 공개함 자동화에 초점을 맞춰 새 모델 아키텍처, 병렬 샘플러, 보정된 판단을 위한 강화학습인 RLCD(Reinforcement Learning for Calibrated Decisions)를 개발함 첫 공개 모델 Jev는 비정형 상태를 입력받아 타입이 정해진 확률적 판단을 반환하는 함수 호출처럼 동작함 문자열 생성을 포기하는 대신 구조화된 출력에 최적화함 TypeSafe는 System One 과제에서 기존 LLM과 비슷한 지능 수준을 유지하면서 속도와 효율을 약 두 자릿수 규모로 개선했다고 밝힘 출발점은 대화 능력이 뛰어난 모델이 등장했는데도 자동화가 충분히 확산하지 않았다는 문제의식이며, 목표는 소프트웨어가 의존할 수 있는 AI 인터페이스임 기존 LLM과 다른 학습 목표와 입출력 기존 LLM의 RLHF / RLVR는 사람이 선호하는 응답이나 프로그램으로 검증 가능한 보상을 최적화하지만, RLCD는 System One 과제에서 모델의 지식과 불확실성을 정직하게 반영하는 보정된 확률을 목표로 함 입력은 양쪽 모두 텍스트 같은 비정형 데이터를 받지만, 기존 LLM은 순차적 메시지에, Jev는 구조화된 프로그램 상태에 중점을 둠 출력의 자유도와 사용 방식이 다름 기존 LLM은 대화, 코드, 환각, 거부 응답, 타입 안전한 값 등 무엇이든 문자열로 생성할 수 있으며, 소프트웨어에서 사용하려면 파싱과 검증이 필요함 Jev는 미리 정의한...

Read Entire Article