데이터 과학자: 21세기 최고의 섹시한 직업

편집자주

이 글은 <하버드비즈니스리뷰(HBR)> 2012년 10월 호에 실린 하버드 경영대학원 객원 교수 토마스 H. 데이븐포트(Thomas H. Davenport) 와 그레이록파트너스의 데이터 과학자 D.J. 파틸(D.J. Patil)의 글 ‘Data Scientist: The Sexiest Job of the 21st Century’를 전문 번역한 것입니다.

ⓒ 2012 Harvard Business School Publishing Corp

2006년 6월 링크트인(LinkedIn, 네트워킹 사이트 운영업체)에 출근한 조너선 골드만(Jonathan Goldman)은 링크트인이 여전히 신생기업 같다는 느낌을 받았다. 링크트인의 회원은 800만 명에 약간 못 미치는 정도였고 기존 회원들이 친구와 동료들에게 가입을 권유하면서 회원 수가 빠르게 증가하고 있었다. 하지만 사용자들은 링크트인 경영진의 기대만큼 적극적으로 이미 링크트인에 가입된 다른 회원들과의 관계 구축을 위해 노력하지 않았다. 링크트인 회원들의 사회적 경험에서 무언가가 결여돼 있는 것이 분명했다. 링크트인의 어느 관리자는 “콘퍼런스 리셉션 자리에서 아는 사람이 아무도 없다는 사실을 깨닫는 것과 다를 바가 없었다”고 설명하며 다음과 같이 덧붙였다. “그런 상황에 처한 사람은 구석에 서서 혼자 음료수를 들이키다가 일찍 자리를 뜰 가능성이 높다.”

스탠퍼드대(Stanford University)에서 물리학 박사 학위를 받은 골드만은 관계가 형성되는 과정과 방대한 사용자 프로필에 흥미를 느꼈다. 데이터는 전혀 정리돼 있지 않았고 분석도 까다로웠다. 하지만 사람들 간의 관계를 탐색하기 시작한 골드만은 가능성을 발견했다. 골드만은 이론을 수립하고 가설을 검증하고 패턴을 발견하기 시작했다. 이런 과정을 통해 발견한 패턴은 특정한 프로필을 가진 사람이 어떤 네트워크로 들어갈지 예측하는 데 도움이 됐다. 골드만은 자신이 개발 중이던 휴리스틱을 토대로 하는 새로운 기능이 사용자에게 가치를 제공할지도 모른다고 생각했다. 하지만 사이트의 규모를 키우는 데 혈안이 돼 있었던 링크트인의 엔지니어링 팀은 골드만이 제안한 방안에 관심이 없는 듯했다. 아예 대놓고 골드만의 아이디어를 무시하는 사람들도 있었다. 사용자가 자기자신을 둘러싼 네트워크를 찾아내기 위해 링크트인의 도움을 필요로 하지는 않을 것이라고 판단했기 때문이다. 당시 링크트인은 이미 사용자가 자신의 인맥을 한데 모을 수 있도록 주소록 가져오기 서비스를 제공하고 있었다.

다행스럽게도 링크트인의 공동 설립자이며 당시 링크트인의 CEO를 맡고 있었던 리드 호프만(Reid Hoffman, 현재는 링크트인의 회장)은 달랐다. 온라인 결제 서비스 사이트 페이팔(PayPal)에서의 경험 덕에 호프만은 분석에 엄청난 위력이 있다는 확신을 갖고 있었다. 골드만의 아이디어를 높게 평가한 호프만은 골드만에게 높은 수준의 자율성을 허용했다. 이를 위해 호프만은 골드만이 전통적인 제품 출시 주기에 구애받지 않고 링크트인에서 가장 인기 있는 페이지에 광고의 형태로 자신이 개발한 소형 모듈을 공개하도록 했다.

골드만은 이런 모듈 중 하나를 활용해 사용자에게 아직 관계를 맺고 있지는 않지만 자신이 알고 있을 가능성이 높은 이름(예컨대, 재학 시기나 재직 시기가 같은 사람)을 제시했을 때 어떤 일이 벌어지는지 시험하기 시작했다. 골드만은 시험을 위해 사용자가 링크트인 프로필에 입력한 배경 정보를 바탕으로 각 사용자와 가장 잘 어울리는 3명의 이름을 추천하는 맞춤형 광고를 개발했다. 광고를 시작한 지 며칠 후부터 무언가 놀라운 일이 벌어지고 있다는 확실한 징후가 포착됐다. 광고 연결률(click-through rate)이 전례 없이 높은 수준으로 올라갔던 것이다. 골드만은 ‘삼각 사교방법(triangle closing, A가 B와 C를 알고 있으면 B와 C 역시 서로 아는 사이일 가능성이 크다는 개념)’과 같은 네트워킹 아이디어를 접목하는 등 사용자가 알고 있을 가능성이 있는 또 다른 사용자를 선정하는 방식을 꾸준히 발전시켰다. 또한 골드만과 팀원들은 사용자가 단 한 번의 클릭만으로 광고에 등장한 인물을 확인할 수 있도록 조치를 취했다.

머지않아 링크트인의 고위급 관리자들은 골드만의 제안이 훌륭하다는 사실을 깨닫고 골드만이 개발한 광고를 링크트인의 표준 기능으로 설정했다. 링크트인 고위관리자들이 공식적으로 지지를 하고 나서자 골드만이 개발한 광고가 한층 커다란 인기를 끌게 됐다. 골드만이 개발한 ‘당신이 알고 있을지도 모르는 사람(People You May Know)’이라는 광고의 연결률은 링크트인 사이트 내에서 좀 더 많은 페이지를 방문하도록 유도하는 다른 프롬프트의 광고 연결률에 비해 30% 이상 높았다. 이 광고는 수백만 건의 페이지뷰를 생성했다. 골드만의 광고 덕에 링크트인의 성장 궤적이 상당히 상향 조정됐다.

새로운 직업, 데이터 과학자

골드만은 조직 내에서 새로운 핵심 인재, 즉 ‘데이터 과학자’가 어떤 역할을 할 수 있는지 잘 보여준다. 데이터 과학자는 빅데이터 세상에서 새로운 것을 발견하는 데 도움이 되는 전문 지식과 풍부한 호기심을 갖고 있는 중요한 전문가다. 데이터 과학자라는 직함이 생긴 지는 얼마 되지 않는다. 데이터 과학자라는 표현은 2008년에 링크트인과 페이스북(Facebook)에서 데이터와 분석을 책임졌던 D.J. 파틸과 제프 함머바허(Jeff Hammerbacher)가 처음 만들어냈다. 하지만 신생기업과 기성기업에서 활동하는 데이터 과학자의 숫자는 이미 수천 명을 넘어섰다. 데이터 과학자가 이토록 갑작스럽게 비즈니스 부문에서 모습을 드러낸 것은 기업들이 전례 없이 최근 들어 더 다양하고 방대한 양의 정보와 씨름 중이기 때문이다. 페타바이트 단위의 정보를 저장하고 있거나, 자사 비즈니스에 가장 중요한 정보가 숫자 행렬 이외의 형태로 저장돼 있거나, 자사가 가장 중요시하는 질문에 답을 하기 위해서 다각적인 분석 노력을 기울여야 하는 상황이라면 빅데이터 기회를 붙들기에 적합하다고 볼 수 있다.

빅데이터를 향한 기업의 열정은 상당 부분 빅데이터를 다스리는 기술에 집중돼 있다. 하둡(Hadoop, 분산 파일 시스템 처리를 위해 가장 널리 사용되는 틀) 및 관련 오픈소스 도구, 클라우드 컴퓨팅, 데이터 시각화 등이 대표적이다. 물론 이런 기술들은 매우 중요한 돌파구의 역할을 한다. 하지만 기술 못지 않게 중요한 것이 이런 기술을 효과적으로 사용할 수 있는 능력(그리고 마음가짐)을 갖고 있는 사람들이다. 최근에는 이런 능력을 지닌 사람들에 대한 수요가 공급을 앞서고 있다. 사실 일부 부문에서는 데이터 과학자 부족 현상이 심각한 문제가 되고 있다. 페이스북, 링크트인, 팔로알토네트웍스(Palo Alto Networks), 워크데이(Workday) 등 여러 기업의 비즈니스를 지원해온 초기 단계 벤처기업 그레이록파트너스(Greylock Partners)는 인재 부족 현상을 매우 걱정하고 있다. 그레이록 파트너스는 이런 우려 때문에 자사의 지원 포트폴리오 내에 있는 기업에 인재를 공급하기 위해 직접 특수 채용팀을 운영하고 있다. 그레이록파트너스에서 인재 공급팀을 지휘하는 댄 포르틸로(Dan Portillo)는 “일단 데이터를 확보했다면 데이터를 관리하고 그 속에서 통찰력을 찾아낼 사람이 필요하다”고 이야기한다.