과거의 데이터 엔지니어링은 “전달”에 집중했습니다. 소스 시스템에서 데이터를 가져와서 정제하고, 데이터웨어하우스에 적재하는 것만으로도 역할을 다했다고 평가 받았습니다. 하지만 데이터의 양이 폭증하고 비즈니스의 요구사항이 복잡해진 오늘날에는 단순히 데이터를 옮겼다는 것만으로는 충분하지 않습니다.
대부분 기업이 데이터 플랫폼을 구축했지만, 현업에서는 쓸만한 데이터가 없다거나 데이터의 신뢰도가 낮다라는 이야기를 하기도 합니다. 왜 이런 상황이 발생할까요? 이는 데이터 엔지니어가 “주문받는 사람”의 역할에 머물기 때문입니다. 이제 데이터 엔지니어는 스스로를 제품을 만드는 사람으로 재정의해야 합니다.
그래서 Data as a Product라는 개념이 등장합니다. 기존의 데이터는 서비스나 제품에서 나온 부산물로 취급되었습니다. 그러나 데이터를 제품으로 바라보는 관점(Data as a Product)에서는 데이터를 고객에게 가치를 전달하기 위해 설계된 제품으로 정의합니다.
Source: https://www.analytics8.com/blog/building-effective-data-products-a-step-by-step-guide/
왜 이런 개념이 나왔을까요?
데이터 소스가 다양해지면서 파이프라인만으로는 관리 효율이 떨어지게 되었고, 데이터 생산자와 소비자 간의 소통 부재로 인한 소통이 저하되었고, 기술적 성취보다는 비즈니스 성과로 데이터의 존재 가치를 증명해야 하는 시대적 상황이기 때문입니다.
데이터 엔지니어가 제품 관리자처럼 생각한다는 것은 단순히 기획 업무를 한다는 것은 아닙니다. 관점의 변화가 필요합니다.
첫째, 사용자 중심 사고가 필요합니다. PO는 항상 “제품을 누가 사용하는가?” 에 대해서 질문합니다. 데이터 엔지니어도 마찬가지입니다. 그럼 어떤 사고를 해야 할까요?
- 페르소나 정의: 데이터 분석가, 데이터 사이언티스트, 비즈니스 의사 결정권자, 현업 등 각 사용자별로 데이터를 통해 해결하려는 문제가 무엇인지 파악해야 합니다.
- 사용자 여정 분석: 사용자가 데이터를 발견하고, 이해하고, 활용하여 인사이트를 얻기까지의 과정에서 겪는 Pain-points를 분석해야 합니다.
둘째, 결과 중심의 사고를 해야 합니다. Output과 Outcome을 명확하게 정의해야 합니다.
- Output: 10개의 파이프라인을 구축하고 100개의 테이블을 생성
- Outcome: 마케팅 캠페인 최적화로 인한 매출 15% 상승, 의사 결정 속도 2배 향상 등 기술적 구현(Output)에 매몰되지 않고, 비즈니스에 어떤 영향을 주는지 집중
셋째, 로드맵과 우선순위를 설정해야 합니다.
모든 데이터를 다룰 수는 없습니다. PO처럼 비즈니스 임팩트와 구현 난이도를 고려하여 제품 백로그를 관리해야 합니다.
그럼 실무에는 어떻게 적용을 해야 할까요? 재밌는 점은 데이터 제품도 일반적인 소프트웨어 제품처럼 Life-cycle을 가진다는 것입니다.
첫째, 문제를 발견하고 기획을 해야 합니다. 사용자와 인터뷰를 하면서 “어떤 데이터가 필요해요?”라고 묻기보다는 “어떤 질문에 답을 하고 싶으세요?” 라고 질문해야 합니다. 예시를 들면 “로그 데이터가 필요해요.” 보다는 “고객이 결제 페이지에서 이탈하는 이유를 알고 싶어요.”로 문제를 재정의 해야 합니다.
둘째, 설계 및 Data Contract를 정의해야 합니다. 데이터 생산자와 소비자 간의 약속(스키마, 품질 지표, 갱신 주기 등)을 정의합니다. 이렇게 해야 소스 시스템의 변경으로 인해 파이프라인이 깨지는 현상을 방지할 수 있습니다.
셋째, 개발 및 모니터링을 해야 합니다. 제품이 출시된 후 잘 작동하는지 모니터링 하듯이, 데이터의 건강 상태를 체크해야 합니다. 데이터 가용성/최신성을 보장해야 하고, 구체적인 품질 목표 수치를 설정해야 합니다.
위에서 언급한 것처럼 데이터 엔지니어의 역할 범위가 넓어지게 되면 모든 도메인의 데이터를 이해하고 가공하는 것이 가능할까요? 저는 불가능하다고 생각됩니다. 그래서 중요한 것이 “책임의 분산”입니다.
- 도메인 중심 소유권: 각 비즈니스 부서가 자신들의 데이터를 제품으로서 책임지고 관리해야 합니다.
- 셀프 서비스 제공: 데이터 엔지니어는 각 부서가 데이터를 제품화할 수 있는 셀프 서비스 플랫폼을 제공해야 합니다.
위에서 언급한 환경을 어떻게 적용 할 수 있을까요?
데이터 제품도 MVP(Minimum Viable Product)처럼 시작해야 합니다. 처음부터 완벽하게 만들 수는 없습니다. 가장 시급한 문제를 해결하는 작은 데이터부터 제공하며 피드백 교류를 해야 합니다.
데이터 엔지니어가 제품을 잘 만들어도 소비자가 쓰지 못하면 소용 없습니다. 사용자를 대상으로 데이터 구조 및 활용법을 지속적으로 교육해야 합니다.
끝으로,
데이터 엔지니어링의 성공 지표는 “데이터 제품의 채택률”과 “사용자 만족도”가 되어야 합니다. 기술적으로 잘하는 것은 기본입니다. 기본위에 비즈니스와 사용자에 대한 이해라는 옷을 입을 때, 데이터 엔지니어는 단순한 기술 지원 역할을 넘어 비즈니스의 성장을 견인하는 핵심 파트너로 거듭날 수 있습니다.
[Tip] 데이터 엔지니어를 위한 제품 관리자 체크 리스트
데이터 엔지니어가 새로운 파이프라인을 구축하거나 데이터 제품을 기획할 때, 스스로에게 던져야 할 질문을 정리해봤습니다. 참고해주세요.
[ ] 누가 이 데이터를 사용하는가?
[ ] 사용자는 이 데이터로 어떤 비즈니스 문제를 해결하려고 하는가?
[ ] 이 데이터가 생성되지 않거나 틀렸을 때 발생하는 문제점은 무엇이고, 기회비용은 얼마인가?
[ ] 기존에 유사한 데이터가 있는가? (e.g 데이터 중복 방지)
[ ] Data contact이 체결 되었는가?
[ ] 데이터 신선도 기준은 무엇인가? (e.g 매일 오전 8시 업데이트, 실시간 등)
[ ] 민감 정보(개인정보 등)에 대한 비식별화 처리가 되었는가?
[ ] 데이터 파이프라인 가시성이 확보 되었는가? (e.g 장애 발생 시 알림 등)
[ ] 데이터 Lineage가 기록되고 있는가? (e.g 데이터 출처 및 흐름 파악)
[ ] 사용자가 데이터를 찾는데 걸리는 시간이 단축 되었는가?
[ ] 이 데이터 제품의 채택률은 얼마나 되는가?
[ ] 사용자 피드백을 수집할 채널이 준비되어 있는가?