개발자를 위한 데이터 도구 지형 가이드

데이터 분야에 처음 참여한 소프트웨어 개발자가 도구의 이름만 외우지 않고, 데이터의 수집/저장/처리/활용 단계에서 각 도구가 맡는 역할과 연결 관계를 파악하도록 전체 지형을 정리함 데이터 직군은 대략 분석/과학/엔지니어링/머신러닝 유형으로 나뉘며, SQL과 BI부터 통계 모델과 노트북, 파이프라인 인프라, 운영 모델 배포까지 서로 다른 문제와 도구를 다룸 저장소는 빠른 분석과 편의성을 제공하는 데이터 웨어하우스, 저렴하고 유연한 데이터 레이크, 테이블 형식으로 ACID와 스키마 관리를 추가한 레이크하우스로 구분됨 데이터 처리는 dbt 같은 SQL 변환, pandas와 DuckDB의 로컬 처리, Spark의 분산 배치 처리, Kafka와 Flink의 스트림 처리로 확장되며, Airflow 같은 오케스트레이터가 독립 작업의 실행 순서와 실패 복구를 관리함 처리된 데이터는 대시보드뿐 아니라 영업/지원 업무, 임시 분석, 머신러닝, 제품 내 분석 기능, 데이터 판매에 활용되며, 규모가 커질수록 카탈로그/시맨틱 계층/계보/거버넌스가 데이터의 의미와 책임을 유지하는 핵심 기반이 됨 개발자가 알아야 할 범위 데이터 회사에 합류했지만 관련 배경이 없던 소프트웨어 엔지니어가 도구의 용도와 노트북과의 상호작용을 이해하기 위해 정리한 개발자용 개괄서임 대시보드 제작법, 통계 기초, Spark 클러스터 운영법이나 같은 범주의 제품별 심층 비교는 다루지 않음 데이터가 어디서 생기고 어떻게 처리·저장·표시되는지 따라가며 각 도구가 맡는 생명주기 단계를 구분함 데이터 직군의 네 가지 유형 실제 역할의 경계는 특히 작은 회사나 팀에서 흐리지만, 전체 지형을 이해하기 위해 네 유형으로 나눌 수 있음 분석형은 SQL과 스프레드시트로 데이터를 해석하고 인사이트를 시각화함 Data analyst와 BI analyst가 대표적이며 Tableau, Excel 등을 사용함 고객 데이터를 조회해 지역별 이탈률을 계산하고 Tableau 대시보드와 유지 캠페인 제안을 만드는 작업이 예시임 과학형은 통계·모델·실험을 통해 표면적인 보고보다 깊은 질문이나 예측을 다룸 Data scientist가 대표적이며 Python, pandas, scikit-learn, 노트북을 주로 사용함 이탈 요인을 탐색하고 고객별 이탈 가능성 모델을 만든 뒤 유지 캠페인의 A/B 테스트를 설계·분석할 수 있음 엔지니어링형은 원천 데이터를 수집·정제·표준화해 웨어하우스나 레이크에 적재...