IT는 혈관, 데이터는 혈액… 함께 소통을

Article at a Glance

많은 기업이 데이터와 AI 관련 프로젝트를 진행하면서 CIO(Chief Information Officer)로 대표되는 IT 조직과 CDO(Chief Data Officer)로 대표되는 데이터 조직 간의 갈등을 경험한다. CDO 조직과 CIO 조직 간 효과적인 협업을 위해서는 비교적 최근에 생긴 CDO 조직과 전통적으로 기업 내 정보 자산에 대한 책임을 보유했던 CIO 조직 간에 상호 역할과 우선순위에 대해 명확하게 이해하고 이를 바탕으로 업무 범위를 설정해야 한다. 특히 프로젝트 초기부터 협업이 이뤄져야 불필요한 자원 낭비를 막고 의사결정을 신속하게 내릴 수 있다. IT와 데이터 조직은 기업의 혈관과 혈액으로써 비즈니스 사용자의 요구 사항을 충족시키기 위해 정기적으로 의사소통해야 한다.

---

머신러닝, 딥러닝, 강화학습, 생성 신경망 등 AI 기술의 발전에 힘입어 데이터에 대한 관심이 지속적으로 커지고 있다. 특히 최근 챗GPT와 같은 초거대 자연어처리 모델(LLM, Large Language Model)이 발전하면서 많은 기업이 조직 내외부에서 생성되는 정형·비정형 데이터를 적극적으로 활용하고자 노력하고 있다. 이를 위해서는 전사적이면서 명확한 데이터 전략의 수립이 필수적인데 실무적으로 데이터 조직과 IT 조직의 원활한 협업이 중요하다.

필자가 국내 모 대기업에서 AI 기반 플랫폼 구축 프로젝트를 총괄하고 있을 때다. 이 프로젝트에서 IT 조직은 필요한 플랫폼을 설계·구축하고 배치잡1 1배치잡(batch job)이란 프로그램을 실행시킬 때, 작업의 중단 없이 연속적으로 컴퓨터를 점유해 처리하는 일을 뜻함. 닫기 , 지속적 배포·통합(CI·CD)에 대한 구현을 담당하는 역할을, 데이터 조직은 머신러닝, 딥러닝 기반으로 AI 모델을 설계하고 정형·비정형 데이터를 분석해 해당 고객이 출시했거나 할 예정인 상품의 트렌드 및 신제품의 성공 가능성을 예측하는 역할을 맡았다. 그런데 프로젝트를 수행하는 과정에서 IT 조직 팀원들과 데이터 담당 팀원들 간에 끊임없이 갈등이 빚어졌다. 데이터 조직 팀원들은 데이터 소스로부터 데이터를 수집하는 방식과 데이터를 처리하는 방식에 대한 불만을 제기했다. 다른 한편, IT 담당자들은 데이터 담당자들이 수집돼 있는 데이터의 이력과 비즈니스 관점의 의미를 제대로 파악하지 못한 채 분석만 수행하려고 한다고 비난했다. 갈등이 커지면서 하마터면 프로젝트 자체가 좌초할 위기에 처하기도 했다.

이런 갈등은 필자가 수행한 프로젝트만의 문제가 아니다. 많은 기업이 데이터와 AI 관련 프로젝트를 진행하면서 최고정보책임자(CIO, Chief Information Officer)로 대표되는 IT 조직과 최고데이터책임자(CDO, Chief Data Officer)로 대표되는 데이터 조직 간의 불협화음을 경험하곤 한다. 최근 오픈AI의 챗GPT에 CIO와 CDO가 왜 갈등을 일으키는지를 물었더니2 2조직 내 CDO와 CIO의 갈등 사유는?, OpenAI ChatGPT, Feb, 2023 닫기 서로 다른 목표와 우선순위, 예산 배분, 데이터 거버넌스, 조직 내 보고 체계라고 명쾌하게 정리한 답변을 얻을 수 있었다. 이로부터 CDO와 CIO의 갈등은 필자의 단편적인 경험이 아닌 비정형 데이터에 기반한 거대 언어 모델을 통해서도 확인할 수 있는 현상임을 알 수 있었다. 다음에서 왜 이런 갈등이 벌어지는지, 또 효과적인 협업 방식이 무엇인지에 관해 살펴보고자 한다.