서비스 개발에 집중할 수 있는 AI 플랫폼 만들기

생성형 AI로 기능을 만들기 위해 모델을 호출하는 것은 어렵지 않습니다. 하지만 실제 서비스에 적용하려면 사용할 모델과 데이터의 처리 범위를 정하고, 예상 비용과 필요한 처리 용량도 검토해야 합니다.서비스 팀마다 이 과정을 따로 준비하면 비슷한 작업을 반복하게 됩니다. 모델 공급자별 연동 코드를 작성하고, 권한을 확인하고, 사용량을 집계해야 하죠. 운영을 시작한 뒤에는 호출이 왜 실패했는지, 요청이 몰릴 때 어떻게 처리할지도 고민해야 합니다.토스 AI Platform 팀은 이 중 여러 서비스에 공통으로 필요한 일을 플랫폼이 맡도록 했습니다. 서비스 팀이 사용 목적과 필요한 모델을 정하면, 검토한 조건을 실제 호출에 적용하고 그 결과를 운영 중에도 확인할 수 있게 만드는 데 초점을 맞췄습니다.GenAI Portal은 모델 사용 신청과 설정을 관리하는 웹 서비스입니다. 실제 호출은 서비스와 모델 사이에서 요청을 처리하는 LLM Gateway 서버인 GenAI Gateway가 맡습니다.Portal에서 정한 사용 조건을 Gateway가 실제 요청에 적용하도록 연결했습니다. 사내 도구를 호출할 때는 MCP Gateway가 실행 권한을 확인합니다.검토한 사용 조건을 실제 호출까지 연결하기서비스에 맞는 모델을 찾았더라도 바로 사용할 수 있는 것은 아닙니다. 성능이 충분하더라도 처리할 데이터와 실행 환경에 맞는지 확인해야 하고, 예상 요청량을 감당할 용량도 필요합니다.Portal에서는 위 화면처럼 필요한 비교 항목을 골라 모델별 가격과 사양을 살펴볼 수 있습니다.가격과 성능을 함께 비교할 때는 리더보드를 사용합니다. 가로축과 세로축에 비교할 지표를 선택해 모델별 차이를 볼 수 있습니다. 공개 벤치마크 점수와 사내 서빙 환경에서 측정한 응답 지연 시간은 구분해 제공합니다.사용할 모델을 정하면 프로젝트에서 사용을 신청합니다. 권한과 비용을 관리하는 단위도 바로 이 프로젝트입니다.위 화면처럼 처리할 데이터의 등급과 서비스 중단 시 영향을 입력하도록 안내합니다. 담당자와 실행 환경, 사용할 모델, 예산과 사용량 제한을 프로젝트에 등록한 뒤 API 키를 발급받습니다.키가 여러 개여도 같은 프로젝트라면 모델 권한과 예산을 함께 관리하고 사용량도 합쳐서 볼 수 있습니다. 서비스의 운영 조건이 개별 키마다 흩어지지 않도록 통일하고 있습니다.금융 서비스에 필요한 검토도 이 프로젝트를 기준으로 진행합니다. 담당자가 사용 목적과 데이터 처리 범...