데이터가 흐르는 조직
IT는 혈관, 데이터는 혈액… 함께 소통을
Article at a Glance
많은 기업이 데이터와 AI 관련 프로젝트를 진행하면서 CIO(Chief Information Officer)로 대표되는 IT 조직과 CDO(Chief Data Officer)로 대표되는 데이터 조직 간의 갈등을 경험한다. CDO 조직과 CIO 조직 간 효과적인 협업을 위해서는 비교적 최근에 생긴 CDO 조직과 전통적으로 기업 내 정보 자산에 대한 책임을 보유했던 CIO 조직 간에 상호 역할과 우선순위에 대해 명확하게 이해하고 이를 바탕으로 업무 범위를 설정해야 한다. 특히 프로젝트 초기부터 협업이 이뤄져야 불필요한 자원 낭비를 막고 의사결정을 신속하게 내릴 수 있다. IT와 데이터 조직은 기업의 혈관과 혈액으로써 비즈니스 사용자의 요구 사항을 충족시키기 위해 정기적으로 의사소통해야 한다.
머신러닝, 딥러닝, 강화학습, 생성 신경망 등 AI 기술의 발전에 힘입어 데이터에 대한 관심이 지속적으로 커지고 있다. 특히 최근 챗GPT와 같은 초거대 자연어처리 모델(LLM, Large Language Model)이 발전하면서 많은 기업이 조직 내외부에서 생성되는 정형·비정형 데이터를 적극적으로 활용하고자 노력하고 있다. 이를 위해서는 전사적이면서 명확한 데이터 전략의 수립이 필수적인데 실무적으로 데이터 조직과 IT 조직의 원활한 협업이 중요하다.
필자가 국내 모 대기업에서 AI 기반 플랫폼 구축 프로젝트를 총괄하고 있을 때다. 이 프로젝트에서 IT 조직은 필요한 플랫폼을 설계·구축하고 배치잡1 , 지속적 배포·통합(CI·CD)에 대한 구현을 담당하는 역할을, 데이터 조직은 머신러닝, 딥러닝 기반으로 AI 모델을 설계하고 정형·비정형 데이터를 분석해 해당 고객이 출시했거나 할 예정인 상품의 트렌드 및 신제품의 성공 가능성을 예측하는 역할을 맡았다. 그런데 프로젝트를 수행하는 과정에서 IT 조직 팀원들과 데이터 담당 팀원들 간에 끊임없이 갈등이 빚어졌다. 데이터 조직 팀원들은 데이터 소스로부터 데이터를 수집하는 방식과 데이터를 처리하는 방식에 대한 불만을 제기했다. 다른 한편, IT 담당자들은 데이터 담당자들이 수집돼 있는 데이터의 이력과 비즈니스 관점의 의미를 제대로 파악하지 못한 채 분석만 수행하려고 한다고 비난했다. 갈등이 커지면서 하마터면 프로젝트 자체가 좌초할 위기에 처하기도 했다.
이런 갈등은 필자가 수행한 프로젝트만의 문제가 아니다. 많은 기업이 데이터와 AI 관련 프로젝트를 진행하면서 최고정보책임자(CIO, Chief Information Officer)로 대표되는 IT 조직과 최고데이터책임자(CDO, Chief Data Officer)로 대표되는 데이터 조직 간의 불협화음을 경험하곤 한다. 최근 오픈AI의 챗GPT에 CIO와 CDO가 왜 갈등을 일으키는지를 물었더니2 서로 다른 목표와 우선순위, 예산 배분, 데이터 거버넌스, 조직 내 보고 체계라고 명쾌하게 정리한 답변을 얻을 수 있었다. 이로부터 CDO와 CIO의 갈등은 필자의 단편적인 경험이 아닌 비정형 데이터에 기반한 거대 언어 모델을 통해서도 확인할 수 있는 현상임을 알 수 있었다. 다음에서 왜 이런 갈등이 벌어지는지, 또 효과적인 협업 방식이 무엇인지에 관해 살펴보고자 한다.
CDO와 CIO 조직이 부딪히는 이유
최근 많은 기업이 데이터 혁신을 추진하기 위해 CDO를 임명하고 관련 조직을 구축하고 있다. CDO 조직은 IT 담당자들에게 데이터를 요청해 수집한 데이터를 통계 도구를 활용해 분석하거나 직접 데이터를 수집·분석해 해당 데이터에서 가치(Value)와 통찰(Insight)을 발굴한다. 다른 한편, CIO는 전통적으로 조직 내 요구 사항을 정보 자산으로 설계·구현해 고객과 비즈니스 사용자의 업무를 처리하며 해당 정보 자산의 기반이 되는 데이터베이스, 네트워크 등 인프라 환경을 구축·운영하는 역할을 담당한다. CDO는 데이터 전략을 수립하고 실행하는 과정에서 CIO에 대한 요청 사항이 늘어날 수밖에 없다. 이런 과정에서 서로의 역할과 책임을 두고 갈등이 발생한다.
특히 데이터 분석 작업은 80%가 데이터 처리라고 할 만큼 정형·비정형 데이터에 대한 전처리 및 후처리 과정이 많은데 데이터의 추출, 전환, 적재(ETL, Extract·Transform·Load) 작업에 대한 역할과 책임이 명확하지 않은 경우가 많다. 어떤 데이터 분석가는 자칭 데이터 사이언티스트라면서도 자신의 역할은 IT 담당자가 데이터를 주면 분석만 하는 역할이라고 한정해 갈등을 증폭시키기도 한다.
CDO는 비교적 최근에 역할이 커지면서 단기간에 데이터와 AI 기반으로 비즈니스 성과를 창출하기를 요구받고 있다. 이를 위해서는 투자 비용, 인프라 구축 및 운영 등에서 CIO와의 협업이 필수적이다. 구체적으로 CDO 조직의 형태를 보면 CIO가 CDO를 겸하는 형태, CFO 하위에 위치하는 형태, 독립적으로 데이터에 대한 업무 전반을 책임지며 최고경영층에 보고하는 형태 등 다양하다. 그런데 현실적으로 기업별로 CDO 조직의 위상에 따라 해당 역할과 권한 범위가 유동적이고, 투자 우선순위에서 앞서거나 밀리기도 한다. 이런 CDO 조직의 성공 여부는 CIO와의 협업에 달려 있다고 봐도 과언이 아니다. 협업이 원활하지 않은 CDO 조직은 CIO 조직에 데이터를 요청하고 제공받은 데이터를 분석하는 소극적인 데이터 분석 조직에 머무를 수밖에 없기 때문이다. 하지만 CIO와 원활하게 협업하는 CDO는 전사 차원의 데이터 전략을 수립하고 이행해 데이터 기반의 의사결정 및 업무 수행을 촉진할 수 있다.
특히 과거 데이터 분석은 일회성 분석으로 끝나 다른 사람이 수행한 데이터 분석 결과를 같은 데이터를 가지고, 같은 방법으로 반복적으로 분석해도 동일한 분석 결과를 재현해 내지 못하는 경우도 많았다. 하지만 데이터 분석이 실험실에서의 연구 결과가 아닌 조직의 의사결정에 활용되기 위해서는 데이터 분석 체계 내 반복성 및 재현성을 확보해 누가 분석을 하더라도 신뢰할 수 있는 결과를 얻을 수 있어야 한다. 최근 데이터 분석은 이전과 같이 표본 집단 기반의 전통적 통계 분석 방식에서 탈피해 조직 내외부의 방대한 데이터를 통합, 연계해 분석하고 이를 기반으로 AI 모델(머신러닝, 딥러닝, 강화학습 등)을 구현하며 여기에 적용되는 다양한 하이퍼파라미터3 를 설정할 수 있게 됐다. 이런 상황에서 데이터 분석 및 AI 모델의 신뢰성, 설명 가능성, 운영 편의성을 증대시키기 위해서는 정보 시스템 기반 로그 및 데이터 이력 관리, AI 모델의 변경·업그레이드에 따른 지속적인 배포 및 통합, 운영 모니터링 등이 필수적이다. 이와 같이 전체 데이터 생명주기와 관련해 필요한 업무들은 데이터 조직 단독으로 수행하기 어려운 것이 현실이다.
데이터 전략 수립을 위한 3가지 협업 전략
구체적으로 다음의 비즈니스, 운영, 기술의 3가지 측면(그림 1)에서 CDO와 CIO의 협업이 중요하다. 첫째, 비즈니스 측면에서 조직 내 데이터 거버넌스를 수립하고 측정 가능한 지표 체계를 갖춰야 한다. 지표 선정 시 비즈니스 측면을 고려한 성과 중심의 지표 설정이 중요한데 예를 들면 비용 절감, 프로세스 자동화를 통한 개선 정도(수작업 및 투입 시간의 감소), 업무 생산성 향상 등을 들 수 있다.
둘째, 데이터 전략을 실행하고 지속적으로 운영할 수 있는 데이터 관련 프로세스와 기능, 데이터 품질에 대한 요구 사항을 충족시켜야 한다. 데이터를 수집해 일회성으로 분석하는 것이 아닌 데이터 생명 주기에 걸친 데이터 추적 가능성 및 로그 관리가 필요하다. 또한 데이터 변경에 따른 AI 모델 및 결과 변경 시에도 지속적인 배포 및 운영이 가능해야 한다.
마지막으로, 전사 데이터 아키텍처와 기술 아키텍처를 정렬하고 데이터 전략 이행을 위한 인프라 및 서드 파티 데이터를 활용하기 위해 이를 통합하는 기술 기반을 갖춰야 한다. 과거에는 관계형 데이터베이스 기반의 정형 데이터 분석이 중심이 됐으나 최근에는 텍스트, 이미지, 음성 등 비정형 데이터들을 다루기 위한 NoSQL 또는 그래프(Graph) 데이터베이스 등도 다뤄야 하고 실시간 데이터 스트리밍을 처리하는 기술 등 다양한 기술을 통해 데이터를 다뤄야 한다. 또한 클라우드 환경의 확산에 따라 클라우드 기반 서비스 구성 요소들을 적절히 선택해 목적에 맞는 아키텍처를 수립하는 것이 중요한데 결국 이는 분석 대상이 되는 데이터 성격에 따른 기술 아키텍처의 수립을 필요로 한다.
서로 다른 역할과 특성을 이해하라
CDO 조직과 CIO 조직 간 효과적인 협업을 위해서는 비교적 최근에 생긴 CDO 조직과 전통적으로 기업 내 정보 자산에 대한 책임을 보유했던 CIO 조직 간에 상호 역할과 우선순위에 대한 명확한 이해를 바탕으로 업무 범위를 설정해야 한다. 조직 간에 업무 범위를 설정할 수도 있고, 수행하는 프로젝트 상황에 따라 상호 간 협의하에 유연하게 업무 범위를 정의할 수도 있다. 예를 들어, 일회성으로 보유하고 있는 고객 데이터를 분석해서 어떤 고객이 얼마의 빈도로 판매하는 상품이나 제품을 구매하는지를 파악하고자 한다면 데이터 조직은 필요한 데이터를 IT로 받거나 직접 데이터 원천에 접근해 분석을 수행하면 되고 이 경우 IT 조직의 도움이 필요 없을 수 있다. 그러나 실시간으로 고객들이 우리 상품이나 제품을 구매한 데이터를 기반으로 고객의 추가 구매를 유도하는 추천 모델을 클라우드 환경에 구현해 지속적으로 서비스를 하는 경우를 생각해 본다면 이때는 단순히 데이터 분석만을 수행해서는 안 될 것이다. 실시간 고객 행동(상품 조회, 장바구니 담기, 상품 비교, 구매)에 대한 데이터를 수집하고, 자동화된 분석 모델을 구현하고, 지속적으로 업데이트될 수 있도록 클라우드 기반 서비스를 구성해야 할 것이다. 이 경우 데이터 조직과 IT 조직 간 협업이 필수적으로 요구되며 이후 구축한 클라우드 기반 플랫폼이 1년 365일 계속해서 장애 없이 운영되기 위해서는 시스템 로그 관리, 배치잡 관리, 장애 처리, 운영 모니터링과 관련해 IT 조직의 역할이 더욱 커지게 된다.
프로젝트 단계 및 성숙도를 기준으로 CDO와 CIO의 역할을 구분함으로써 상호 윈윈하는 협업 체계를 구축할 수 있다. [그림 2]에 따르면 데이터와 관련된 프로세스 및 성숙도는 통합·판매의 단계로 갈수록 CIO 조직의 영향도가 강해지고 CDO 조직의 자유도는 낮아진다. 분석 단계에서는 CDO 조직의 자유도가 매우 크나 아이디어 생성, 프로토타이핑, 구축, 확장, 통합·판매의 단계로 나아갈수록 CDO의 자유도는 낮아진다. 그렇다고 해서 CDO 조직과 CIO 조직을 서로 경쟁하는 제로섬(zero-sum) 관계로 바라봐서는 안 된다. 비즈니스 요구 사항에 적합한 단계를 고려해 상호 간의 영향도를 인정하고 비즈니스 성과(예컨대, 신규 비즈니스 확장, 비용 감소, 업무 생산성 향상 등)를 달성하기 위해 의사결정 근거나 방향에 대한 통찰을 제시할 수 있는 기반을 제공한다는 공통의 목표를 위해 서로 협력하는 필요한 존재, 즉 논제로섬(non zero-sum) 관계로 발전시켜야 한다.
특히 CDO와 CIO의 협업은 프로젝트 초기부터 이뤄져야 불필요한 자원 낭비를 막고 의사결정을 신속하게 할 수 있다. 필자의 경험상, 데이터 및 AI 업무와 관련해 기업 임원들을 만날 때 IT 담당과 데이터 담당이 회의에 함께 참석하는 경우를 많이 보지 못했다. 이후 업무가 진행되는 과정에서 뒤늦게 상대방 실무자나 임원이 관여해 일정이 지연되거나 서로 간의 이해관계 충돌로 필요한 데이터가 누락돼 분석된 결과를 놓고 서로를 비난하는 상황이 벌어지기도 했다. 또 조직 내에 필요한 데이터가 존재하는지를 몰라 신규로 수집하거나 누락하고 분석이 수행되는 경우도 봤다. CDO와 CIO는 충분한 의사소통을 통해 해당 기업이 보유하고 있는 정보 시스템 및 데이터 중 현업의 요구 사항을 충족시켜줄 수 있는 데이터나 결과가 이미 존재하는지를 파악하고 이후 어떠한 분석 방법이나 모델을 통해 이를 구현할 수 있을지를 명확하게 정의해야 한다. 최근에는 많은 기업이 데이터 카탈로그를 운영해 조직 내·외부 데이터들에 대한 전체적인 목록을 구축함으로써 비즈니스 사용자나 데이터 담당자들이 전사적 관점에서 보유 데이터를 보다 잘 활용할 수 있도록 하고 있다.
IT와 데이터 조직은 기업의 혈관과 혈액
IT와 데이터는 이제 기업의 필수 운영 요소가 됐다. 최근 들어 많은 기업이 CDO(Chief Data Officer), CAO(Chief Analytics Officer), CAIO(Chief AI Officer) 등 다양한 명칭의 직책을 만들고 있다. CEO나 최고재무책임자(CFO)는 IT 조직과 데이터 조직에 노하우(Know-How)나 감에 기반한 의사결정이 아닌 데이터에 기반한 의사결정 체계로 조직을 변화시켜 줄 것을 요구한다. 이에 따라 데이터가 조직에 제대로 흐르게 하기 위해서는 데이터 수집, 저장, 통합·연계, 전처리, 분석, 후처리, 시각화라는 데이터 생명주기 전반에 IT 활용이 필수적이다. 이 과정에서 IT 조직과 데이터 조직이 원활하게 협업하지 못하고 갈등한다면 데이터 정체와 병목이 심해져 데이터 조직은 단편적이고 개별적인 분석 업무만을 수행하게 되고 데이터 기반 의사결정 체계 도입을 저해하게 될 것이다.
가장 중요한 것은 비즈니스 사용자의 요구 사항을 정확하게 파악하고 이를 충족시킬 수 있는 방안을 데이터와 IT 측면에서 정의해 나가는 것이다. 이를 위해서는 IT와 데이터 조직 간의 정기적인 의사소통이 필수적이다. IT 조직은 기업 운영에 있어 혈관에, 데이터 조직은 이 혈관을 흐르는 혈액에 해당한다. 기업은 혈관과 같은 정보 시스템을 통해 조직 내외부에 혈액처럼 흐르는 데이터들을 잘 연결함으로써 비즈니스 의사결정에 도움이 되는 근거 및 통찰을 지속적으로 충분히 공급받을 수 있을 것이다.
많은 기업이 데이터와 AI 관련 프로젝트를 진행하면서 CIO(Chief Information Officer)로 대표되는 IT 조직과 CDO(Chief Data Officer)로 대표되는 데이터 조직 간의 갈등을 경험한다. CDO 조직과 CIO 조직 간 효과적인 협업을 위해서는 비교적 최근에 생긴 CDO 조직과 전통적으로 기업 내 정보 자산에 대한 책임을 보유했던 CIO 조직 간에 상호 역할과 우선순위에 대해 명확하게 이해하고 이를 바탕으로 업무 범위를 설정해야 한다. 특히 프로젝트 초기부터 협업이 이뤄져야 불필요한 자원 낭비를 막고 의사결정을 신속하게 내릴 수 있다. IT와 데이터 조직은 기업의 혈관과 혈액으로써 비즈니스 사용자의 요구 사항을 충족시키기 위해 정기적으로 의사소통해야 한다.
머신러닝, 딥러닝, 강화학습, 생성 신경망 등 AI 기술의 발전에 힘입어 데이터에 대한 관심이 지속적으로 커지고 있다. 특히 최근 챗GPT와 같은 초거대 자연어처리 모델(LLM, Large Language Model)이 발전하면서 많은 기업이 조직 내외부에서 생성되는 정형·비정형 데이터를 적극적으로 활용하고자 노력하고 있다. 이를 위해서는 전사적이면서 명확한 데이터 전략의 수립이 필수적인데 실무적으로 데이터 조직과 IT 조직의 원활한 협업이 중요하다.
필자가 국내 모 대기업에서 AI 기반 플랫폼 구축 프로젝트를 총괄하고 있을 때다. 이 프로젝트에서 IT 조직은 필요한 플랫폼을 설계·구축하고 배치잡1 , 지속적 배포·통합(CI·CD)에 대한 구현을 담당하는 역할을, 데이터 조직은 머신러닝, 딥러닝 기반으로 AI 모델을 설계하고 정형·비정형 데이터를 분석해 해당 고객이 출시했거나 할 예정인 상품의 트렌드 및 신제품의 성공 가능성을 예측하는 역할을 맡았다. 그런데 프로젝트를 수행하는 과정에서 IT 조직 팀원들과 데이터 담당 팀원들 간에 끊임없이 갈등이 빚어졌다. 데이터 조직 팀원들은 데이터 소스로부터 데이터를 수집하는 방식과 데이터를 처리하는 방식에 대한 불만을 제기했다. 다른 한편, IT 담당자들은 데이터 담당자들이 수집돼 있는 데이터의 이력과 비즈니스 관점의 의미를 제대로 파악하지 못한 채 분석만 수행하려고 한다고 비난했다. 갈등이 커지면서 하마터면 프로젝트 자체가 좌초할 위기에 처하기도 했다.
닫기이런 갈등은 필자가 수행한 프로젝트만의 문제가 아니다. 많은 기업이 데이터와 AI 관련 프로젝트를 진행하면서 최고정보책임자(CIO, Chief Information Officer)로 대표되는 IT 조직과 최고데이터책임자(CDO, Chief Data Officer)로 대표되는 데이터 조직 간의 불협화음을 경험하곤 한다. 최근 오픈AI의 챗GPT에 CIO와 CDO가 왜 갈등을 일으키는지를 물었더니2 서로 다른 목표와 우선순위, 예산 배분, 데이터 거버넌스, 조직 내 보고 체계라고 명쾌하게 정리한 답변을 얻을 수 있었다. 이로부터 CDO와 CIO의 갈등은 필자의 단편적인 경험이 아닌 비정형 데이터에 기반한 거대 언어 모델을 통해서도 확인할 수 있는 현상임을 알 수 있었다. 다음에서 왜 이런 갈등이 벌어지는지, 또 효과적인 협업 방식이 무엇인지에 관해 살펴보고자 한다.
CDO와 CIO 조직이 부딪히는 이유
최근 많은 기업이 데이터 혁신을 추진하기 위해 CDO를 임명하고 관련 조직을 구축하고 있다. CDO 조직은 IT 담당자들에게 데이터를 요청해 수집한 데이터를 통계 도구를 활용해 분석하거나 직접 데이터를 수집·분석해 해당 데이터에서 가치(Value)와 통찰(Insight)을 발굴한다. 다른 한편, CIO는 전통적으로 조직 내 요구 사항을 정보 자산으로 설계·구현해 고객과 비즈니스 사용자의 업무를 처리하며 해당 정보 자산의 기반이 되는 데이터베이스, 네트워크 등 인프라 환경을 구축·운영하는 역할을 담당한다. CDO는 데이터 전략을 수립하고 실행하는 과정에서 CIO에 대한 요청 사항이 늘어날 수밖에 없다. 이런 과정에서 서로의 역할과 책임을 두고 갈등이 발생한다.
특히 데이터 분석 작업은 80%가 데이터 처리라고 할 만큼 정형·비정형 데이터에 대한 전처리 및 후처리 과정이 많은데 데이터의 추출, 전환, 적재(ETL, Extract·Transform·Load) 작업에 대한 역할과 책임이 명확하지 않은 경우가 많다. 어떤 데이터 분석가는 자칭 데이터 사이언티스트라면서도 자신의 역할은 IT 담당자가 데이터를 주면 분석만 하는 역할이라고 한정해 갈등을 증폭시키기도 한다.
CDO는 비교적 최근에 역할이 커지면서 단기간에 데이터와 AI 기반으로 비즈니스 성과를 창출하기를 요구받고 있다. 이를 위해서는 투자 비용, 인프라 구축 및 운영 등에서 CIO와의 협업이 필수적이다. 구체적으로 CDO 조직의 형태를 보면 CIO가 CDO를 겸하는 형태, CFO 하위에 위치하는 형태, 독립적으로 데이터에 대한 업무 전반을 책임지며 최고경영층에 보고하는 형태 등 다양하다. 그런데 현실적으로 기업별로 CDO 조직의 위상에 따라 해당 역할과 권한 범위가 유동적이고, 투자 우선순위에서 앞서거나 밀리기도 한다. 이런 CDO 조직의 성공 여부는 CIO와의 협업에 달려 있다고 봐도 과언이 아니다. 협업이 원활하지 않은 CDO 조직은 CIO 조직에 데이터를 요청하고 제공받은 데이터를 분석하는 소극적인 데이터 분석 조직에 머무를 수밖에 없기 때문이다. 하지만 CIO와 원활하게 협업하는 CDO는 전사 차원의 데이터 전략을 수립하고 이행해 데이터 기반의 의사결정 및 업무 수행을 촉진할 수 있다.
특히 과거 데이터 분석은 일회성 분석으로 끝나 다른 사람이 수행한 데이터 분석 결과를 같은 데이터를 가지고, 같은 방법으로 반복적으로 분석해도 동일한 분석 결과를 재현해 내지 못하는 경우도 많았다. 하지만 데이터 분석이 실험실에서의 연구 결과가 아닌 조직의 의사결정에 활용되기 위해서는 데이터 분석 체계 내 반복성 및 재현성을 확보해 누가 분석을 하더라도 신뢰할 수 있는 결과를 얻을 수 있어야 한다. 최근 데이터 분석은 이전과 같이 표본 집단 기반의 전통적 통계 분석 방식에서 탈피해 조직 내외부의 방대한 데이터를 통합, 연계해 분석하고 이를 기반으로 AI 모델(머신러닝, 딥러닝, 강화학습 등)을 구현하며 여기에 적용되는 다양한 하이퍼파라미터3 를 설정할 수 있게 됐다. 이런 상황에서 데이터 분석 및 AI 모델의 신뢰성, 설명 가능성, 운영 편의성을 증대시키기 위해서는 정보 시스템 기반 로그 및 데이터 이력 관리, AI 모델의 변경·업그레이드에 따른 지속적인 배포 및 통합, 운영 모니터링 등이 필수적이다. 이와 같이 전체 데이터 생명주기와 관련해 필요한 업무들은 데이터 조직 단독으로 수행하기 어려운 것이 현실이다.
데이터 전략 수립을 위한 3가지 협업 전략
구체적으로 다음의 비즈니스, 운영, 기술의 3가지 측면(그림 1)에서 CDO와 CIO의 협업이 중요하다. 첫째, 비즈니스 측면에서 조직 내 데이터 거버넌스를 수립하고 측정 가능한 지표 체계를 갖춰야 한다. 지표 선정 시 비즈니스 측면을 고려한 성과 중심의 지표 설정이 중요한데 예를 들면 비용 절감, 프로세스 자동화를 통한 개선 정도(수작업 및 투입 시간의 감소), 업무 생산성 향상 등을 들 수 있다.
둘째, 데이터 전략을 실행하고 지속적으로 운영할 수 있는 데이터 관련 프로세스와 기능, 데이터 품질에 대한 요구 사항을 충족시켜야 한다. 데이터를 수집해 일회성으로 분석하는 것이 아닌 데이터 생명 주기에 걸친 데이터 추적 가능성 및 로그 관리가 필요하다. 또한 데이터 변경에 따른 AI 모델 및 결과 변경 시에도 지속적인 배포 및 운영이 가능해야 한다.
마지막으로, 전사 데이터 아키텍처와 기술 아키텍처를 정렬하고 데이터 전략 이행을 위한 인프라 및 서드 파티 데이터를 활용하기 위해 이를 통합하는 기술 기반을 갖춰야 한다. 과거에는 관계형 데이터베이스 기반의 정형 데이터 분석이 중심이 됐으나 최근에는 텍스트, 이미지, 음성 등 비정형 데이터들을 다루기 위한 NoSQL 또는 그래프(Graph) 데이터베이스 등도 다뤄야 하고 실시간 데이터 스트리밍을 처리하는 기술 등 다양한 기술을 통해 데이터를 다뤄야 한다. 또한 클라우드 환경의 확산에 따라 클라우드 기반 서비스 구성 요소들을 적절히 선택해 목적에 맞는 아키텍처를 수립하는 것이 중요한데 결국 이는 분석 대상이 되는 데이터 성격에 따른 기술 아키텍처의 수립을 필요로 한다.
서로 다른 역할과 특성을 이해하라
CDO 조직과 CIO 조직 간 효과적인 협업을 위해서는 비교적 최근에 생긴 CDO 조직과 전통적으로 기업 내 정보 자산에 대한 책임을 보유했던 CIO 조직 간에 상호 역할과 우선순위에 대한 명확한 이해를 바탕으로 업무 범위를 설정해야 한다. 조직 간에 업무 범위를 설정할 수도 있고, 수행하는 프로젝트 상황에 따라 상호 간 협의하에 유연하게 업무 범위를 정의할 수도 있다. 예를 들어, 일회성으로 보유하고 있는 고객 데이터를 분석해서 어떤 고객이 얼마의 빈도로 판매하는 상품이나 제품을 구매하는지를 파악하고자 한다면 데이터 조직은 필요한 데이터를 IT로 받거나 직접 데이터 원천에 접근해 분석을 수행하면 되고 이 경우 IT 조직의 도움이 필요 없을 수 있다. 그러나 실시간으로 고객들이 우리 상품이나 제품을 구매한 데이터를 기반으로 고객의 추가 구매를 유도하는 추천 모델을 클라우드 환경에 구현해 지속적으로 서비스를 하는 경우를 생각해 본다면 이때는 단순히 데이터 분석만을 수행해서는 안 될 것이다. 실시간 고객 행동(상품 조회, 장바구니 담기, 상품 비교, 구매)에 대한 데이터를 수집하고, 자동화된 분석 모델을 구현하고, 지속적으로 업데이트될 수 있도록 클라우드 기반 서비스를 구성해야 할 것이다. 이 경우 데이터 조직과 IT 조직 간 협업이 필수적으로 요구되며 이후 구축한 클라우드 기반 플랫폼이 1년 365일 계속해서 장애 없이 운영되기 위해서는 시스템 로그 관리, 배치잡 관리, 장애 처리, 운영 모니터링과 관련해 IT 조직의 역할이 더욱 커지게 된다.
프로젝트 단계 및 성숙도를 기준으로 CDO와 CIO의 역할을 구분함으로써 상호 윈윈하는 협업 체계를 구축할 수 있다. [그림 2]에 따르면 데이터와 관련된 프로세스 및 성숙도는 통합·판매의 단계로 갈수록 CIO 조직의 영향도가 강해지고 CDO 조직의 자유도는 낮아진다. 분석 단계에서는 CDO 조직의 자유도가 매우 크나 아이디어 생성, 프로토타이핑, 구축, 확장, 통합·판매의 단계로 나아갈수록 CDO의 자유도는 낮아진다. 그렇다고 해서 CDO 조직과 CIO 조직을 서로 경쟁하는 제로섬(zero-sum) 관계로 바라봐서는 안 된다. 비즈니스 요구 사항에 적합한 단계를 고려해 상호 간의 영향도를 인정하고 비즈니스 성과(예컨대, 신규 비즈니스 확장, 비용 감소, 업무 생산성 향상 등)를 달성하기 위해 의사결정 근거나 방향에 대한 통찰을 제시할 수 있는 기반을 제공한다는 공통의 목표를 위해 서로 협력하는 필요한 존재, 즉 논제로섬(non zero-sum) 관계로 발전시켜야 한다.
특히 CDO와 CIO의 협업은 프로젝트 초기부터 이뤄져야 불필요한 자원 낭비를 막고 의사결정을 신속하게 할 수 있다. 필자의 경험상, 데이터 및 AI 업무와 관련해 기업 임원들을 만날 때 IT 담당과 데이터 담당이 회의에 함께 참석하는 경우를 많이 보지 못했다. 이후 업무가 진행되는 과정에서 뒤늦게 상대방 실무자나 임원이 관여해 일정이 지연되거나 서로 간의 이해관계 충돌로 필요한 데이터가 누락돼 분석된 결과를 놓고 서로를 비난하는 상황이 벌어지기도 했다. 또 조직 내에 필요한 데이터가 존재하는지를 몰라 신규로 수집하거나 누락하고 분석이 수행되는 경우도 봤다. CDO와 CIO는 충분한 의사소통을 통해 해당 기업이 보유하고 있는 정보 시스템 및 데이터 중 현업의 요구 사항을 충족시켜줄 수 있는 데이터나 결과가 이미 존재하는지를 파악하고 이후 어떠한 분석 방법이나 모델을 통해 이를 구현할 수 있을지를 명확하게 정의해야 한다. 최근에는 많은 기업이 데이터 카탈로그를 운영해 조직 내·외부 데이터들에 대한 전체적인 목록을 구축함으로써 비즈니스 사용자나 데이터 담당자들이 전사적 관점에서 보유 데이터를 보다 잘 활용할 수 있도록 하고 있다.
IT와 데이터 조직은 기업의 혈관과 혈액
IT와 데이터는 이제 기업의 필수 운영 요소가 됐다. 최근 들어 많은 기업이 CDO(Chief Data Officer), CAO(Chief Analytics Officer), CAIO(Chief AI Officer) 등 다양한 명칭의 직책을 만들고 있다. CEO나 최고재무책임자(CFO)는 IT 조직과 데이터 조직에 노하우(Know-How)나 감에 기반한 의사결정이 아닌 데이터에 기반한 의사결정 체계로 조직을 변화시켜 줄 것을 요구한다. 이에 따라 데이터가 조직에 제대로 흐르게 하기 위해서는 데이터 수집, 저장, 통합·연계, 전처리, 분석, 후처리, 시각화라는 데이터 생명주기 전반에 IT 활용이 필수적이다. 이 과정에서 IT 조직과 데이터 조직이 원활하게 협업하지 못하고 갈등한다면 데이터 정체와 병목이 심해져 데이터 조직은 단편적이고 개별적인 분석 업무만을 수행하게 되고 데이터 기반 의사결정 체계 도입을 저해하게 될 것이다.
가장 중요한 것은 비즈니스 사용자의 요구 사항을 정확하게 파악하고 이를 충족시킬 수 있는 방안을 데이터와 IT 측면에서 정의해 나가는 것이다. 이를 위해서는 IT와 데이터 조직 간의 정기적인 의사소통이 필수적이다. IT 조직은 기업 운영에 있어 혈관에, 데이터 조직은 이 혈관을 흐르는 혈액에 해당한다. 기업은 혈관과 같은 정보 시스템을 통해 조직 내외부에 혈액처럼 흐르는 데이터들을 잘 연결함으로써 비즈니스 의사결정에 도움이 되는 근거 및 통찰을 지속적으로 충분히 공급받을 수 있을 것이다.
인기기사
