IBM CEO, “오픈 웨이트 모델은 이제 온프레미스에서 성능도 좋고 비용도 저렴하다”

IBM CEO Arvind Krishna는 오픈 웨이트 모델이 최첨단 모델 대비 약 90%의 효과를 내면서 토큰 비용은 10~25% 수준이어서 기업의 온프레미스 활용에 적합하다고 봄 일부 작업에는 최고 성능 모델이 필요하지만, 이메일 요약과 작성, 계약서 검토, 고객 전화 응대 등 대다수 작업은 훨씬 저렴한 모델로도 동등하게 처리할 수 있다고 봄 IBM에 따르면 온프레미스 AI 인프라에 대한 관심이 급증하고 있으며, 대부분 기업은 랙 2~3개로 유용한 AI 인프라를 구축할 수 있음 실제 운영에는 커널과 네트워크 전문 인력, GPU 간 네트워크 근접성을 고려한 클러스터 구성, 결과 캐싱 등이 필요해 많은 기업이 어려움을 겪을 것으로 예상함 IBM의 분기 매출은 171억 달러로 5% 증가했으며, 인프라보다 소프트웨어 성장률이 높았고 Red Hat과 가상화 제품이 성장을 뒷받침함 오픈 웨이트 모델의 성능과 비용 격차 Arvind Krishna에 따르면 폐쇄형 최첨단 모델과 오픈 모델의 성능 격차가 줄어듦 IBM 3분기 실적 발표에서, 2024년에는 좁은 작업이 아닌 폭넓은 평가에서 최고 모델이 70점을 받는다면 오픈 모델은 20~30점 수준이었다는 예를 듦 2025년 말에는 그 차이가 70점 대 50점 정도로 좁혀지기 시작했다고 봄 Krishna에 따르면 현재 오픈 웨이트 모델은 최첨단 모델 대비 약 90%의 효과를 내면서 토큰 비용은 10~25% 수준임 최고 성능의 90%를 비용 10%로 얻을 수 있다면, 기업은 대체로 10배 높은 비용을 지불하지 않을 것으로 예상함 최고 성능이 필요한 작업도 일부 존재하지만, 이메일 요약, 계약서 검토, 고객 전화 응대, 이메일 작성 등 대다수 작업은 훨씬 저렴한 모델로도 동등하게 처리할 수 있다고 봄 랙 2~3개로 가능한 구축과 운영의 난관 IBM에 따르면 이러한 경제성에 힘입어 온프레미스 AI 인프라에 대한 관심이 급증하고 있음 Krishna는 대부분 기업이 랙 2~3개로 유용한 AI 인프라를 구축할 수 있지만, 실제 가동에는 어려움을 겪을 것으로 예상함 커널 엔지니어와 기반 네트워크를 담당할 인력이 필요함 네트워크상 가까운 GPU끼리 모델 클러스터를 구성해야 함 빠른 응답을 얻으려면 결과를 적절히 캐싱해야 함 IBM은 AI 배포를 쉽게 하는 소프트웨어를 만들 계획이나, 구체적인 해법은 밝히지 않음 온프레미스 AI 수요가 Spyre 메인프레임 가속기 카드 판매도 촉진할 것으로...