Meta가 AI 인프라의 매출 기여도를 측정한 방법

광고 모델을 개선해 매출이 늘어도 그 모델을 만든 인프라가 얼마나 기여했는지는 알기 어려움. Meta는 개별 모델 출시 데이터를 분석해 7개 인프라 플랫폼의 기여도를 추정함 모델 개선 효과는 A/B 테스트로 측정할 수 있지만, 여러 팀이 공유하는 인프라는 사용 여부를 무작위로 나누기 어려워 비슷한 조건의 사용/미사용 사례를 비교함 GPU 자원, 팀 규모와 경력, 모델 복잡도, 출시 시점을 고려하자 많이 쓰이던 플랫폼보다 소수 팀이 쓰던 학습 확장성 플랫폼의 출시당 추가 매출 기여가 약 2배로 추정됨 도입률이 낮은 플랫폼의 전체 추가 매출도 더 높게 나타나면서, 사용량 중심의 평가를 바꾸고 다음 투자 배분을 조정함 다만 관찰 데이터 분석이므로 성과에 영향을 주는 다른 요인을 충분히 고려했다는 가정이 필요하며, A/B 테스트보다 추정의 불확실성이 크다는 점도 받아들여야 함 광고 ML 인프라의 매출 기여를 분리하는 문제 대규모 광고 시스템의 ML 모델은 실시간으로 노출할 광고, 입찰 금액, 후보 순위를 예측하며, 예측 품질이 플랫폼 매출에 직접 영향을 줌 개선된 모델을 출시했을 때의 매출 효과는 A/B 테스트로 측정할 수 있음 모델 뒤의 ML 인프라는 직접 매출을 발생시키기보다 엔지니어가 매출을 높이는 모델 개선을 가능하게 하거나, 더 빠르고 저렴하게 수행하도록 지원함 학습 플랫폼은 모델 아키텍처 반복 개선을 가속함 서빙 시스템은 지연 시간을 줄이고 처리량을 높여 모델을 운영 환경에 배포함 특성 엔지니어링 파이프라인은 더 풍부한 신호를 공급함 실험 프레임워크는 테스트부터 출시까지의 주기를 단축함 인프라 팀의 목표는 기반 도구를 개선해 후속 모델 개선의 속도와 규모를 극대화하는 것이지만, 발생한 매출 중 인프라와 직접적인 ML 엔지니어링 작업의 몫을 구분하기 어려움 주요 기술 기업은 AI 인프라에 수십억 달러를 투자하고 있지만, 가동 시간이나 처리량과 달리 사업 효과는 명확히 측정하지 못하는 경우가 많음 새 서빙 플랫폼에 엔지니어 1명분의 연간 작업량을 투입했을 때 추가 매출이 얼마인지가 핵심 질문임 A/B 테스트 대신 관찰 데이터로 식별하기 인프라는 수십 개 팀이 공유하고, 가치가 다른 팀의 작업을 거쳐 발생하므로 효과를 특정 지점에 국한하기 어려움 모델 출시나 엔지니어를 플랫폼 사용자와 비사용자로 무작위 배정하는 일은 기술적으로 불가능하거나 비용이 지나치게 크며, 거의 항상 실무적으로 매우 어려움 분석 단위는 운영...