Timestral: Mistral, 시계열 파운데이션 모델 공개

Mistral이 학습한 패턴을 처음 보는 시계열에 적용하는 Timestral 모델군을 공개함. 다변량 확률 예측과 과거 전용/미래 값이 알려진 공변량을 지원함 최대 2억 900만 파라미터 모델은 Mistral 평가에서 GIFT-Eval, TIME, fev-bench의 사전 학습된 제로샷 모델 중 5개 지표 모두 1위를 기록함 500만~2억 900만 파라미터의 4개 크기로 제공하며 GPU 없이 CPU에서 추론 가능함. 8스레드 서버 CPU에서 하루 앞을 예측하는 데 최소 모델은 10ms, 최대 모델은 140ms가 걸림 다변량 예측과 21개 분위수 출력으로 관련 센서 간 의존성과 예측 불확실성을 함께 다룸. 범주형 입력과 생산 일정 같은 미래 공변량도 예측에 활용 가능함 합성 데이터 중심의 2단계 학습과 예측 토큰을 분리하는 구조, 공변량 역할별 어텐션을 결합함. 최대 32,768개 시점의 문맥을 지원함 시계열 사전 학습과 제로샷 예측 Timestral은 Mistral의 첫 시계열 파운데이션 모델군으로, 다양한 데이터에서 학습한 패턴을 처음 보는 시계열에 전이해 데이터가 부족한 도메인에서도 제로샷 예측을 수행함 시계열 데이터는 센서 원격 측정과 관측성 지표 등에 널리 쓰이며, 예측 결과는 설비 용량 계획, 에너지, 공급망, 위험 관리, 유지보수 의사결정에 활용됨 산업 현장에서는 생산 일정에 따른 센서 값 예측, 고장 전 장비 상태 변화 감지, 수천 개 자산의 용량과 예비 부품 계획에 쓰임 금융에서는 수천 개 계정의 자금 흐름, 거래량, 변동성을 예측해 포지션, 헤지, 자금 관리를 지원함 ARIMA와 선형 회귀는 일반적으로 개별 시계열에 맞춰 학습하며 해당 시계열의 이력만 활용함 PatchTST 같은 딥러닝 모델은 여러 관련 시계열의 비선형 패턴을 학습하지만, 통상 데이터셋마다 처음부터 학습하므로 학습 결과가 새로운 도메인으로 이어지지 않음 벤치마크 성능과 모델 크기 Mistral 평가에서 최대 모델은 GIFT-Eval, TIME, fev-bench의 사전 학습된 제로샷 모델 중 5개 지표 모두 1위를 기록함 단일 체크포인트를 사용했으며 앙상블은 적용하지 않음 기존 최고 성능 모델 대비 약 3분의 2의 파라미터로 더 높은 성능을 기록함 GIFT-Eval과 TIME 리더보드에 결과를 제출함 모델은 5M, 28M, 123M, 209M의 네 크기로 제공하며, 모두 같은 아키텍처와 학습 방식을 사용함 Mistral의 비교에...