로그인|회원가입|고객센터
Top
검색버튼 메뉴버튼

데이터 과학자: 21세기 최고의 섹시한 직업

토마스 H. 데븐포트(Thomas H. Davenport) | 131호 (2013년 6월 Issue 2)

 

 

 

편집자주

이 글은 <하버드비즈니스리뷰(HBR)> 2012 10월 호에 실린 하버드 경영대학원 객원 교수 토마스 H. 데이븐포트(Thomas H. Davenport) 와 그레이록파트너스의 데이터 과학자 D.J. 파틸(D.J. Patil)의 글 ‘Data Scientist: The Sexiest Job of the 21st Century’를 전문 번역한 것입니다.

ⓒ 2012 Harvard Business School Publishing Corp

 

 

2006 6월 링크트인(LinkedIn, 네트워킹 사이트 운영업체)에 출근한 조너선 골드만(Jonathan Goldman)은 링크트인이 여전히 신생기업 같다는 느낌을 받았다. 링크트인의 회원은 800만 명에 약간 못 미치는 정도였고 기존 회원들이 친구와 동료들에게 가입을 권유하면서 회원 수가 빠르게 증가하고 있었다. 하지만 사용자들은 링크트인 경영진의 기대만큼 적극적으로 이미 링크트인에 가입된 다른 회원들과의 관계 구축을 위해 노력하지 않았다. 링크트인 회원들의 사회적 경험에서 무언가가 결여돼 있는 것이 분명했다. 링크트인의 어느 관리자는콘퍼런스 리셉션 자리에서 아는 사람이 아무도 없다는 사실을 깨닫는 것과 다를 바가 없었다고 설명하며 다음과 같이 덧붙였다. “그런 상황에 처한 사람은 구석에 서서 혼자 음료수를 들이키다가 일찍 자리를 뜰 가능성이 높다.”

 

스탠퍼드대(Stanford University)에서 물리학 박사 학위를 받은 골드만은 관계가 형성되는 과정과 방대한 사용자 프로필에 흥미를 느꼈다. 데이터는 전혀 정리돼 있지 않았고 분석도 까다로웠다. 하지만 사람들 간의 관계를 탐색하기 시작한 골드만은 가능성을 발견했다. 골드만은 이론을 수립하고 가설을 검증하고 패턴을 발견하기 시작했다. 이런 과정을 통해 발견한 패턴은 특정한 프로필을 가진 사람이 어떤 네트워크로 들어갈지 예측하는 데 도움이 됐다. 골드만은 자신이 개발 중이던 휴리스틱을 토대로 하는 새로운 기능이 사용자에게 가치를 제공할지도 모른다고 생각했다. 하지만 사이트의 규모를 키우는 데 혈안이 돼 있었던 링크트인의 엔지니어링 팀은 골드만이 제안한 방안에 관심이 없는 듯했다. 아예 대놓고 골드만의 아이디어를 무시하는 사람들도 있었다. 사용자가 자기자신을 둘러싼 네트워크를 찾아내기 위해 링크트인의 도움을 필요로 하지는 않을 것이라고 판단했기 때문이다. 당시 링크트인은 이미 사용자가 자신의 인맥을 한데 모을 수 있도록 주소록 가져오기 서비스를 제공하고 있었다.

 

다행스럽게도 링크트인의 공동 설립자이며 당시 링크트인의 CEO를 맡고 있었던 리드 호프만(Reid Hoffman, 현재는 링크트인의 회장)은 달랐다. 온라인 결제 서비스 사이트 페이팔(PayPal)에서의 경험 덕에 호프만은 분석에 엄청난 위력이 있다는 확신을 갖고 있었다. 골드만의 아이디어를 높게 평가한 호프만은 골드만에게 높은 수준의 자율성을 허용했다. 이를 위해 호프만은 골드만이 전통적인 제품 출시 주기에 구애받지 않고 링크트인에서 가장 인기 있는 페이지에 광고의 형태로 자신이 개발한 소형 모듈을 공개하도록 했다.

 

골드만은 이런 모듈 중 하나를 활용해 사용자에게 아직 관계를 맺고 있지는 않지만 자신이 알고 있을 가능성이 높은 이름(예컨대, 재학 시기나 재직 시기가 같은 사람)을 제시했을 때 어떤 일이 벌어지는지 시험하기 시작했다. 골드만은 시험을 위해 사용자가 링크트인 프로필에 입력한 배경 정보를 바탕으로 각 사용자와 가장 잘 어울리는 3명의 이름을 추천하는 맞춤형 광고를 개발했다. 광고를 시작한 지 며칠 후부터 무언가 놀라운 일이 벌어지고 있다는 확실한 징후가 포착됐다. 광고 연결률(click-through rate)이 전례 없이 높은 수준으로 올라갔던 것이다. 골드만은삼각 사교방법(triangle closing, A B C를 알고 있으면 B C 역시 서로 아는 사이일 가능성이 크다는 개념)’과 같은 네트워킹 아이디어를 접목하는 등 사용자가 알고 있을 가능성이 있는 또 다른 사용자를 선정하는 방식을 꾸준히 발전시켰다. 또한 골드만과 팀원들은 사용자가 단 한 번의 클릭만으로 광고에 등장한 인물을 확인할 수 있도록 조치를 취했다.

 

머지않아 링크트인의 고위급 관리자들은 골드만의 제안이 훌륭하다는 사실을 깨닫고 골드만이 개발한 광고를 링크트인의 표준 기능으로 설정했다. 링크트인 고위관리자들이 공식적으로 지지를 하고 나서자 골드만이 개발한 광고가 한층 커다란 인기를 끌게 됐다. 골드만이 개발한당신이 알고 있을지도 모르는 사람(People You May Know)’이라는 광고의 연결률은 링크트인 사이트 내에서 좀 더 많은 페이지를 방문하도록 유도하는 다른 프롬프트의 광고 연결률에 비해 30% 이상 높았다. 이 광고는 수백만 건의 페이지뷰를 생성했다. 골드만의 광고 덕에 링크트인의 성장 궤적이 상당히 상향 조정됐다.

 

새로운 직업, 데이터 과학자

골드만은 조직 내에서 새로운 핵심 인재, 데이터 과학자가 어떤 역할을 할 수 있는지 잘 보여준다. 데이터 과학자는 빅데이터 세상에서 새로운 것을 발견하는 데 도움이 되는 전문 지식과 풍부한 호기심을 갖고 있는 중요한 전문가다. 데이터 과학자라는 직함이 생긴 지는 얼마 되지 않는다. 데이터 과학자라는 표현은 2008년에 링크트인과 페이스북(Facebook)에서 데이터와 분석을 책임졌던 D.J. 파틸과 제프 함머바허(Jeff Hammerbacher)가 처음 만들어냈다. 하지만 신생기업과 기성기업에서 활동하는 데이터 과학자의 숫자는 이미 수천 명을 넘어섰다. 데이터 과학자가 이토록 갑작스럽게 비즈니스 부문에서 모습을 드러낸 것은 기업들이 전례 없이 최근 들어 더 다양하고 방대한 양의 정보와 씨름 중이기 때문이다. 페타바이트 단위의 정보를 저장하고 있거나, 자사 비즈니스에 가장 중요한 정보가 숫자 행렬 이외의 형태로 저장돼 있거나, 자사가 가장 중요시하는 질문에 답을 하기 위해서 다각적인 분석 노력을 기울여야 하는 상황이라면 빅데이터 기회를 붙들기에 적합하다고 볼 수 있다.

 

빅데이터를 향한 기업의 열정은 상당 부분 빅데이터를 다스리는 기술에 집중돼 있다. 하둡(Hadoop, 분산 파일 시스템 처리를 위해 가장 널리 사용되는 틀) 및 관련 오픈소스 도구, 클라우드 컴퓨팅, 데이터 시각화 등이 대표적이다. 물론 이런 기술들은 매우 중요한 돌파구의 역할을 한다. 하지만 기술 못지 않게 중요한 것이 이런 기술을 효과적으로 사용할 수 있는 능력(그리고 마음가짐)을 갖고 있는 사람들이다. 최근에는 이런 능력을 지닌 사람들에 대한 수요가 공급을 앞서고 있다. 사실 일부 부문에서는 데이터 과학자 부족 현상이 심각한 문제가 되고 있다. 페이스북, 링크트인, 팔로알토네트웍스(Palo Alto Networks), 워크데이(Workday) 등 여러 기업의 비즈니스를 지원해온 초기 단계 벤처기업 그레이록파트너스(Greylock Partners)는 인재 부족 현상을 매우 걱정하고 있다. 그레이록 파트너스는 이런 우려 때문에 자사의 지원 포트폴리오 내에 있는 기업에 인재를 공급하기 위해 직접 특수 채용팀을 운영하고 있다. 그레이록파트너스에서 인재 공급팀을 지휘하는 댄 포르틸로(Dan Portillo)일단 데이터를 확보했다면 데이터를 관리하고 그 속에서 통찰력을 찾아낼 사람이 필요하다고 이야기한다.

 

 

 

 

 

 

이들은 누구인가?

빅데이터를 활용하기 위해 데이터 과학자라는 희귀한 인재를 채용하려면 관리자가 이런 능력을 가진 인재를 발굴하고 이들을 회사로 데려와 생산적인 역할을 하도록 만들 방법을 찾아야 한다. 조직 내에서 이미 확고히 자리를 잡고 있는 다른 역할과 비교했을 때 데이터 과학자를 확보하기 위한 과정은 그리 간단하지 않다. 먼저 대학에서는 데이터 과학 부문에서 학위를 제공하지 않고 있다. 뿐만 아니라 조직 내에서 데이터 과학자가 활동하게 될 분야, 데이터 과학자가 최대의 가치를 부여하는 방식, 데이터 과학자의 성과를 측정하는 방식에 대해서 거의 합의가 이뤄지지 않고 있다.

 

따라서 데이터 과학자를 필요로 하는 기업의 요구를 충족시키기 위한 첫걸음은 기업 내에서 데이터 과학자들이 어떤 일을 하는지 이해하는 것이다. 그런 다음 데이터 과학자들이 어떤 기술을 필요로 하며 이런 기술을 가장 쉽게 발견할 수 있는 분야가 어디인지 질문해야 한다.

 

데이터 과학자의 가장 중요한 역할은 데이터 속에서 새로운 무언가를 발견해내는 일이다. 데이터 과학자들은 이런 방식으로 세상을 탐험하는 일을 좋아한다. 데이터 영역에서 편안함을 느끼는 데이터 과학자들은 형체가 없는 방대한 양의 데이터를 구조화해 분석을 실행할 수 있다. 데이터 과학자들은 풍부한 데이터원을 찾아내 불완전할 가능성이 있는 다른 데이터원과 결합시킨 다음 그 결과를 정리해야 한다. 의사결정자들은 도전 과제가 끊임없이 변하고 데이터의 흐름이 결코 멈추지 않는 경쟁 환경에 놓여 있다. 데이터 과학자는 의사결정자들이 임시변통으로 분석하던 일을 데이터와의 지속적인 대화를 통해 변화시키도록 도와줄 수 있다.

 

데이터 과학자들은 기술적 한계에 직면했다는 사실을 잘 알고 있다. 하지만 기술적 한계도 참신한 해결 방안을 찾기 위한 이들의 탐구를 막지는 못한다. 탐구를 통해 새로운 사실을 발견한 데이터 과학자들은 새롭게 깨달은 사실을 사람들에게 알리고 그 같은 사실이 새로운 비즈니스 방향에 어떤 영향을 미치는지 설명한다. 시각적으로 정보를 표현하고 연구를 통해 발견한 패턴을 명확하고 매력적인 방식으로 드러내 보이기 위해 창의력을 발휘하는 경우도 많다. 데이터 과학자들은 경영진과 제품 관리자들에게 데이터가 제품과 프로세스, 결정에 미치는 영향을 설명한다.

 

데이터 과학자라는 직업 자체가 생겨난 지 얼마 되지 않는 탓에 데이터 과학자들이 직접 필요한 도구를 만드는 경우도 많다. 심지어 학계와 같은 방식으로 연구를 진행할 때도 있다. 일찌감치 데이터 과학자를 채용해 온 기업 중 하나인 야후(Yahoo)는 하둡을 개발하는 과정에서 중요한 역할을 했다. 페이스북의 데이터팀은 하둡 프로젝트를 위한 프로그램을 개발하기 위해 하이브(Hive)라는 언어를 만들었다. 이후 수많은 데이터 과학자들, 특히 구글, 아마존(Amazon), 마이크로소프트(Microsoft), 월마트(Walmart), 이베이(eBay), 링크트인, 트위터(Twitter) 등 데이터 중심적인 기업에서 일하는 데이터 과학자들이 하둡에 새로운 기능을 추가하고 하둡을 한층 더 발전시켰다.

 

이 모든 일을 해내는 사람은 어떤 사람일까? 성공적인 데이터 과학자가 되려면 어떤 능력을 갖춰야 할까? 데이터 과학자를 데이터 해커이자, 분석가이자, 전달자이자, 신뢰할 수 있는 조언자라고 생각해 보자. 이 모든 역량을 보유한 사람은 드물지만 매우 강력한 힘을 갖게 된다.

 

데이터 과학자가 갖춰야 할 가장 기초적이고 보편적인 능력은 프로그램 코딩 능력이다. 물론 앞으로 5년쯤 지나면 더 이상 그렇지 않을 수도 있다. 그때가 되면 지금보다 훨씬 많은 사람들의 명함에데이터 과학자라는 직함이 찍혀 있을 테니 말이다. 좀 더 장기적인 시각에서 데이터 과학자가 반드시 갖춰야 할 능력으로는 모든 이해관계자가 이해할 수 있는 언어로 정보를 전달하는 능력과 언어적인 방법이나 시각적인 방법으로(두 가지 방법 모두를 활용하는 것이 이상적이다) 데이터를 활용해 이야기를 만들어내는 특별한 능력이다.

 

하지만 데이터 과학자에게 요구되는 무엇보다 중요한 특징은 강렬한 호기심이다. 다시 말해서, 문제의 표면 아래로 파고들고, 문제의 핵심에 위치한 질문을 찾아내고, 불필요한 요소를 제거해 검증 가능하며 매우 명확한 가설을 발전시키려는 욕구를 갖고 있어야 한다. 이 같은 호기심 때문에 모든 분야에서 활동하는 가장 창의적인 과학자들의 특징이랄 수 있는 연상적 사고가 데이터 과학자에게서 관찰되는 경우가 많다. 예컨대, 필자들이 알고 있는 어느 데이터 과학자는 사기(fraud)와 관련된 문제를 연구하던 중 이 문제가 DNA의 배열 순서를 밝히는 문제와 유사하다는 사실을 깨달았다. 데이터 과학자와 동료들은 서로 전혀 다른 분야인 사기 문제와 DNA 배열 문제를 결합시켜 사기로 인한 손실을 대폭 줄이는 데 도움이 되는 해결 방안을 찾아낼 수 있었다.

 

이쯤 되면 새롭게 떠오르는 이런 부류의 사람들에게과학자라는 단어가 잘 어울리는 이유가 무엇인지 점차 명확하게 이해가 되고 있을 것이다. 예컨대, 실험 물리학자들 역시 기기를 설계하고, 데이터를 수집하고, 다양한 실험을 진행하고, 실험 결과를 알려야 한다. 따라서 복잡한 데이터를 처리할 능력을 지닌 인재를 필요로 하는 기업들이 물리학이나 사회학을 공부하고 이런 분야에서 경력을 쌓은 사람들 가운데서 원하는 인재를 찾아내는 경우가 많았다. 생태학, 시스템 생물학 등 난해한 분야에서 최고의 데이터 과학자를 발견하는 경우도 있다. 실리콘밸리 소재 세금 관리 기업 인튜이트(Intuit)의 데이터 과학팀 책임자 조지 루멜리오티스(George Roumeliotis)는 천체물리학 박사 학위 소지자다. 오늘날 비즈니스 부문에서 활동하는 데이터 과학자 중 상당수는 컴퓨터 과학, 수학, 경제학 등을 전공한 사람들이다. 데이터와 컴퓨터가 중시되는 분야라면 어떤 곳에서건 데이터 과학자가 등장할 수 있다.

 

이들이 과학자라는 사실을 기억해 두는 것이 중요하다. ‘데이터라는 단어 때문에 엉뚱한 인재를 찾게 될 가능성이 크기 때문이다. 포르틸로의 이야기처럼 “10∼15년 전에 필요로 했던 전통적인 배경은 한마디로 요즘 상황에 맞지 않다”. 계량 분석가(흔히퀀트라 불림)의 경우를 생각해 보면 데이터 분석 능력 자체는 뛰어나지만 방대한 양의 비구조적 데이터를 분석 가능한 형태로 변화시키는 능력은 그리 뛰어나지 않다. 데이터 관리 전문가 역시 데이터를 생성하고 구조적인 형태로 정리하는 데는 뛰어나지만 비구조적 데이터를 구조적인 데이터로 전환하는 데는 그리 뛰어나지 않을 가능성이 크다. 물론 실제로 데이터를 분석하는 능력도 그리 뛰어나지 않다. 또한 전통적인 데이터 관련 직종은 사회적인 기술을 요구하지 않지만 데이터 과학자로서의 역할을 효과적으로 수행하려면 반드시 사회적인 기술을 갖고 있어야 한다.

 

루멜리오티스는 통계 역량이나 분석 역량이 채용의 기준이 아니라는 점을 명확하게 밝혔다. 루멜리오티스는 데이터 과학자를 채용할 때 먼저 후보들에게 자바(Java)와 같은 주류 프로그래밍 언어로 원형을 개발할 수 있는지 질문한다. 그런 다음, 후보자가 필요한 기술 능력(수학, 통계, 확률, 컴퓨터 과학 분야의 탄탄한 기초)과 특정한 사고방식을 갖고 있는지 확인한다. 루멜리오티스는 비즈니스 문제를 해결하기 위한 감각을 갖고 있으며 고객에게 공감할 줄 아는 사람을 원한다. 루멜리오티스는 이런 기준을 충족시키는 사람을 채용한 다음 실습과 특정 기술에 대한 강좌를 제공해 데이터 과학자로서의 역량을 발전시킬 수 있도록 돕는다.

 

여러 대학들이 데이터 과학 프로그램을 선보이기 위해 준비 중이며 노스캐롤라이나 주립대의 분석학 석사 프로그램(the Master of Science in Analytics program at North Carolina State) 등 기존의 분석 프로그램들은 빅데이터 훈련 및 수업 활동을 프로그램에 추가하느라 여념이 없다. 자체적으로 데이터 과학자를 양성하기 위해 노력 중인 기업도 있다. EMC는 빅데이터 기업 그린플럼(Greenplum)을 인수한 후 자사와 고객이 빅데이터를 효과적으로 활용하려면 데이터 과학자를 확보하는 것이 무엇보다 중요하다고 결론 내렸다. 따라서 EMC의 교육 서비스(Education Services) 부서는 데이터 과학 및 빅데이터 분석 역량 강화를 위한 훈련을 제공하고 필요한 역량을 갖춘 인재에게 인증서를 발급하는 프로그램을 도입했다. EMC는 자사 직원과 고객 모두를 대상으로 프로그램을 제공하고 있으며 EMC 프로그램을 이수한 졸업생 중 일부는 이미 사내 빅데이터 계획에 참여하고 있다.

 

교육 기회가 증가하고 있는 만큼 인재 공급망도 확대될 것이다. 빅데이터 기술을 판매하는 기업들은 좀 더 사용이 간편한 빅데이터 기술을 선보이기 위해 노력 중이다. 고에너지 물리학을 전공한 데이터 과학자 제이크 클램카(Jake Klamka)는 수요와 공급의 격차를 좁히기 위한 창의적인 접근방법을 찾아냈다. 클램카는 통찰력 데이터 과학 연구 프로그램(Insight Data Science Fellows Program)이라는 박사 후 연구과정을 개발해 학계에서 활동 중인 과학자들을 6주에 걸쳐 성공적인 데이터 과학자로 양성한다. 이 프로그램의 참가자들은 페이스북, 트위터, 구글, 링크트인 등 현지 기업에서 활동 중인 데이터 전문가들로부터 멘토링을 받고 실제 빅데이터 과제를 수행한다. 맨 처음에는 10명의 참가자를 대상으로 이 프로그램을 진행할 계획이었지만 클램카는 결국 200명이 넘는 후보 중 30명을 선발하기에 이르렀다. 현재 많은 조직들이 이 프로그램에 참여하기 위해 대기 중이다. 클램카는기업의 수요가 경이적이다. 이는 기업들이 이런 부류의 뛰어난 인재를 확보하기 힘들기 때문이라고 설명했다.

 

 

 

 

 

 

 

데이터 과학자가 이곳에서 일하고 싶어 할 이유가 있을까?

데이터 과학자의 공급이 지속적으로 증가하고 있긴 하지만 최고의 인재를 확보하기 위한 경쟁은 앞으로도 치열할 것으로 보인다. 후보자들은 빅데이터와 관련된 도전 과제가 얼마나 흥미로울지를 기준으로 고용 기회를 평가하게 될 것이다. 한 데이터 과학자는 다음과 같이 이야기한다. “구조적인 데이터를 토대로 일을 하고 싶었다면 월가에서 일을 하는 쪽을 택했을 것이다.” 앞서 설명했듯이 데이터 과학자가 되기에 가장 적합한 후보들이 비즈니스 외의 부문에서 전문성을 갖고 있는 경우가 많다. 따라서 채용 담당 관리자들이 자사의 문제를 해결하는 과정에서 어떤 돌파구가 나타날 가능성이 있는지 흥미로운 그림을 제시할 방법을 찾아야 한다.

 

급여도 중요한 요인이 될 것이다. 훌륭한 데이터 과학자에게는 많은 기회가 있을 것이고 이들을 붙들기 위해 기업은 높은 급여를 제시할 것이다. 신생기업에서 일하는 여러 과학자들이 상당 규모의 스톡옵션을 요구했으며 자신이 원하는 만큼의 스톡옵션을 성공적으로 받아냈다고 이야기했다. 급여가 아닌 다른 이유로 데이터 과학자가 된 사람도 있다. 하지만 이런 사람에게도 보상은 중요한 척도다. 자신이 얼마나 존중받고 있으며, 비즈니스에 얼마나 많은 가치를 기여할 것으로 기대되는지 판단하는 근거가 되기 때문이다. 하지만 필자들은 데이터 과학자들이 어떤 요인을 중요시하는지 비공식적인 조사를 실시한 결과 근본적으로 좀 더 중요한 요인을 발견했다. 데이터 과학자들이함교 위에 머무르기(on the bridge)’를 원한다는 사실을 발견했던 것이다. 이 표현은 1960년대에 방영된 텔레비전 프로그램 <스타트렉(Star Trek)>에서 따온 것이다. 우주선 선장 제임스 커크는 스포크 박사(Dr. Spock)가 제시하는 데이터를 적극 활용한다. 데이터 과학자들은 상황이 한창 진행 중일 때 현장 속에 머무르며 상황 변화로 인해 선택 방안이 어떻게 달라지는지 실시간으로 파악하기를 원한다.

 

데이터 과학자를 발굴하고 유지하기가 어렵다는 점 때문에 데이터 과학자를 컨설턴트로 채용하는 전략이 도움이 될 것이라고 생각하는 사람도 있을 것이다. 대부분의 컨설팅 회사들은 아직 데이터 과학자를 많이 확보하지 못하고 있다. 액센츄어(Accenture), 딜로이트(Deloitte), IBM 글로벌 서비스(IBM Global Services) 등 매우 규모가 큰 기업들마저도 고객을 위한 빅데이터 프로젝트에 있어서는 초기 단계를 벗어나지 못하고 있다. 뿐만 아니라 컨설팅 회사에서 근무하는 데이터 과학자들의 역량은 주로 좀 더 전통적인 정량 분석 문제에 적용되고 있다. 뮤 시그마(Mu Sigma)와 같은 해외의 분석 전문 서비스 기업이 데이터 과학자를 활용한 컨설팅 서비스 부문에 의미 있는 방식으로 진출하는 최초의 기업이 될 수도 있다.

 

하지만 필자들이 지금껏 만나본 데이터 과학자들은 의사결정권자에게 단순히 조언을 제공하기보다 무언가를 만들어내고 싶다고 이야기한다. 어느 데이터 과학자는 컨설턴트가 되는 것은중립 지역(dead zone)이 되는 것과 같다며 컨설턴트가 되면다른 누군가에게 분석을 통해 얻어낸 결과를 알려주는 것 외에 할 수 있는 일이 없다고 이야기한다. 데이터 과학자들은 효과적인 해결방안을 도출해 냄으로써 비즈니스에 좀 더 많은 영향을 미치고 데이터 과학자라는 직업의 선구자로서 발자취를 남길 수 있다.

 

데이터 과학자를 활용하는 방법

데이터 과학자들은 규칙에 얽매이는 것을 좋아하지 않는다. 데이터 과학자들은 다양한 가능성을 실험하고 탐색할 수 있는 자유를 필요로 한다. 다시 말해서, 데이터 과학자들은 비즈니스의 나머지 부분과 밀접한 관계를 유지해야 한다. 데이터 과학자가 관계를 구축해야 할 가장 중요한 대상은 비즈니스 기능 부문을 감독하는 사람이 아니라 제품 및 서비스를 책임지는 경영자다. 조너선 골드만 사례가 보여주듯 데이터 과학자가 부가가치 창출을 위한 최고의 기회를 찾아내려면 고위급 경영자를 위한 보고서나 프레젠테이션 준비가 아니라 고객이 접하는 제품 및 프로세스 혁신을 위해 노력해야 한다.

 

링크트인 외에도 제품과 기능, 가치 창출에 도움이 되는 서비스를 위한 아이디어를 생성하기 위해 데이터 과학자를 활용하는 기업이 많다. 인튜이트의 데이터 과학자들은 소규모 기업 고객과 소비자를 위해 통찰력을 개발하며 빅데이터와 소셜 디자인, 마케팅 등을 책임지는 신임 수석 부사장에게 업무를 보고한다. GE는 서비스 계약과 산업용 제품의 정비 기간을 최적화하기 위해 이미 데이터 과학을 활용 중이다. 물론 구글은 데이터 과학자를 활용해 자사 비즈니스에서 핵심적인 역할을 하는 검색 알고리즘 및 광고 알고리즘을 개선한다. 징가(Zynga)는 장기적인 고객 참여와 매출, 양쪽 모두에 도움이 되는 방식으로 게임 경험을 최적화하기 위해 데이터 과학자를 활용한다. 넷플릭스(Netflix)는 이미 잘 알려진 대로 자사의 영화 검색 시스템을 개선하는 데 도움이 되는 최고의 방법을 개발한 데이터 과학팀에 넷플릭스상(Netflix Prize)을 수여했다. 시험 준비 전문업체 카플란(Kaplan)은 데이터 과학자를 활용해 효과적인 학습 전략을 찾아내고 있다.

 

하지만 빠르게 변화하는 분야에서 수준 높은 기술을 갖고 있는 인재가 전반적인 경영을 담당하는 관리자들과 어울리는 데 시간을 할애하는 것이 좋은 것만은 아니다. 관련 역량을 갈고 닦고 툴킷을 최신 상태로 유지하기 위해 유사한 능력을 지닌 전문가들과 어울릴 시간이 줄어들기 때문이다. 데이터 과학자들은 규모가 큰 회사 내에서, 혹은 사외에서 같은 일을 하는 사람들과 교류를 해야만 한다. 데이터 과학자들 간의 협력 및 기술 공유를 지원하기 위한 새로운 콘퍼런스와 비공식 협회가 생겨나기 시작했다. 또한 기업들은항구에 더 많은 양의 물이 유입되면 모든 배를 띄울 수 있다는 깨달음을 바탕으로 데이터 과학자들 간의 교류를 돕기 위해 노력해야 한다.

 

데이터 과학자들은 자신에 대한 기대치가 높아지면 그만큼 커다란 동기를 부여받는 경향이 있다. 빅데이터에 접근하고 데이터를 구조화하느라 뛰어난 분석 능력 예측이나 최적화에 쏟아부을 시간이나 에너지가 부족한 경우도 있다. 하지만 경영자들이 단순한 보고서만으로는 충분하지 않다는 사실을 명확하게 전달하면 데이터 과학자들은 좀 더 발전된 분석을 위해 더 많은 노력을 기울일 것이다. 빅데이터가단순한 계산과 동일시돼서는 안 된다.

 

앞으로 10년 동안 가장 인기를 끌 직업

구글의 수석 경제학자 할 배리언(Hal Varian)은 다음과 같은 말을 한 것으로 잘 알려져 있다. “향후 10년 동안 가장 섹시한 직업은 통계학자가 될 것이다. 사람들은 내가 농담을 한다고 생각한다. 하지만 1990년대에 컴퓨터 엔지니어가 가장 섹시한 직업이 될 것이라고 누가 상상이나 했겠는가?”

 

‘섹시하다’는 것이 많은 사람들이 원하는 희귀한 자질을 뜻하는 것이라면 데이터 과학자는 이미 섹시한 직업이 됐다고 볼 수 있다. 데이터 과학자들은 채용하기가 힘들고 채용하려면 많은 돈이 든다. 또한 데이터 과학자의 서비스를 얻기 위한 치열한 경쟁 탓에 데이터 과학자를 회사에 붙들어두기도 쉽지 않다. 한마디로 말해서 과학적인 배경과 더불어 컴퓨터 활용 능력, 분석 능력을 모두 갖춘 인재가 충분하지 않은 것이다.

 

오늘날의 데이터 과학자는 1980년대와 1990년대에 월가에서 활약했던퀀트와 유사하다. 당시, 물리학과 수학을 전공한 사람들이 투자은행과 헤지펀드로 몰려가 완전히 새로운 알고리즘과 데이터 전략을 고안했다. 그러자 수많은 대학들이 금융공학 학위를 수여하는 석사 프로그램을 개발했고 이런 프로그램을 통해 주류 기업에 좀 더 쉽게 접근할 수 있는 2세대 인재가 대거 배출됐다. 1990년대 말에는 검색 엔지니어라는 새로운 직업에서 이런 패턴이 반복됐다. 검색 엔지니어에 대한 수요가 높아지자 각종 컴퓨터 과학 프로그램이 등장했고 이들이 갖고 있었던 희귀한 기술이 이런 프로그램을 통해 널리 보급됐다.

 

이 같은 추세를 고려하면 2세대 데이터 과학자가 등장하고, 후보자가 늘어나고, 데이터 과학자의 몸값이 내려가고, 이들의 능력을 평가하고, 비즈니스 환경에서 이들을 동화시키기가 좀 더 수월해질 때까지 기다리는 편이 좋을지 의문이 들 수밖에 없다. 데이터 과학자라는 흔치 않은 인재를 찾아내 길들이는 일은 공격적인 전략 때문에 데이터 과학자를 얻기 위해 최전선에 있는 GE나 월마트(Walmart) 같은 대기업과 신생기업에 맡기는 것이 어떠한가?

 

이런 논리가 갖고 있는 한 가지 문제는 빅데이터의 발전이 둔화될 기미가 없다는 것이다. 손을 놓고 인재 부족 문제가 해결되기만을 기다리면 경쟁업체와 경로 파트너가 거의 난공불락에 가까운 우위를 확보하는 동안 뒤처질 위험이 있다. 빅데이터를 일종의 파도라고 생각해 보자. 이제 막 물결이 모여 물마루를 이루기 시작한 거대한 파도 말이다. 결국 그 파도를 제대로 타려면 서핑을 할 줄 아는 사람이 필요하다.

 

 

 

토마스 H. 데이븐포트·D.J. 파틸

토마스 H. 데이븐포트(Thomas H. Davenport)는 하버드 경영대학원 객원 교수이자 딜로이트 애널리틱스(Deloitte Analytics) 수석 고문이며 <최선의 결정은 어떻게 내려지는가(Judgment Calls, 하버드비즈니스리뷰 출판부, 2012)>의 공동 저자다. D.J. 파틸(D.J. Patil)은 현재 그레이록파트너스(Greylock Partners)의 전속 데이터 과학자로 활동 중이다. 파틸은 링크트인에서 데이터 제품 책임자로 활동했으며 <데이터 주짓수: 데이터를 제품으로 변신시키는 기술(Data Jujitsu: The Art of Turning Data into Product, 오라일리 미디어, 2012)>의 저자다.

 

번역 |김현정 translator.khj@gmail.com

 

 

 

  • 토마스 H. 데븐포트(Thomas H. Davenport) | (현) 미국 밥슨 칼리지 정보기술 및 경영학 교수
    - 하버드 대학, 시카고 대학등의 경영대학원 교수 역임
    - GE, IBM, 포스코 등의 경영 자문


    이 필자의 다른 기사 보기
인기기사