자율 에이전트를 위한 데이터 플랫폼 구축

에이전트가 데이터 플랫폼을 안정적으로 운영하려면 시맨틱 모델만으로는 부족하며, 데이터의 최신성, 완전성, 파이프라인 실행 상태까지 확인할 수 있어야 함 연결된 관측 가능성은 여러 시스템의 로그를 같은 실행에 연결해 최초 장애와 후속 증상을 구분하게 하며, Foursquare는 주요 파이프라인에서 Spark 문제 진단과 해결 시간을 최대 90% 단축함 비즈니스 맥락에는 데이터 계보뿐 아니라 파이프라인의 목적, 적용 범위, 완료 기준, 소유자가 필요하며, 이를 코드와 함께 버전 관리하고 실행 시 게시하는 방식이 적합함 에이전트의 권한은 지침이 아니라 실행 시스템이 강제하는 경계여야 하며, 데이터 접근, 코드 수정, 실행 환경에 대한 권한을 분리해야 함 오케스트레이션은 관측, 메타데이터, 권한 통제를 같은 파이프라인 실행에 맞춰 동기화하는 연결 고리이며, 이러한 개선은 완전한 자율 운영 이전에도 사람의 운영 부담을 줄임 사람 중심 플랫폼에서 에이전트 중심 플랫폼으로 Foursquare는 연속된 인수 이후 파편화된 데이터 플랫폼을 운영했음 S3 데이터 레이크, 자체 수집 및 전달 시스템, 여러 카탈로그, 서로 다른 오케스트레이션 및 컴퓨팅 엔진이 공존했음 파이프라인 동작 파악, 프로덕션과 스테이징 데이터셋 구분, 중복 사본 탐색, 접근 권한 설정에는 여러 시스템의 정보를 조합해야 했음 고객용 데이터 제품의 의존성 추적도 어려운 일이었음 플랫폼을 Airflow와 DataHub 중심으로 재구축해 파이프라인 실행을 데이터셋 메타데이터 및 데이터 계보(lineage)와 연결함 엔지니어가 데이터 흐름, 의존 관계, 변경이 하위 제품에 미치는 영향을 공통된 화면에서 파악할 수 있게 됨 재구축 방식은 Foursquare’s Data Platform: From Fragmentation to Control Plane에 정리되어 있음 이 플랫폼도 여전히 사람을 운영자로 전제했으며, 문제 조사, 사업 영향 평가, 수정 조치 결정에는 엔지니어의 판단이 필요했음 에이전트가 이 책임을 맡으려면 사람이 보완하던 지식을 시스템이 명시적으로 제공해야 함 시맨틱 모델만으로는 부족한 이유 대화형 분석에서 시맨틱 모델은 일관된 비즈니스 정의에 근거한 답변의 토대지만, 기반 파이프라인을 볼 수 없다면 에이전트가 실제 운영 상태를 잘못 해석하면서도 권위 있는 답변을 내놓을 수 있음 매출 보고서를 만드는 에이전트는 시맨틱 계층에서 매출 감소를 정확히 계산하고...