빅데이터, 의사결정 패러다임 바꾼다

편집자주

경영 현장에 수많은 수학자와 과학자들이 포진해 있습니다. 이들은 전략, 기획, 운영, 마케팅 등 다양한 분야에서 첨단 수학·과학 이론을 접목시켜 기업 경쟁력 강화에 기여하고 있습니다. 경영 과학은 첨단 알고리즘과 데이터 분석 기술로 기업의 두뇌 역할을 하면서 경영학의 새로운 분야를 개척해나가고 있습니다. <경영학 콘서트>의 저자인 장영재 교수가 경영과학의 새로운 패러다임을 소개합니다.

2009년 미국 국방고등기술연구원인 DARPA (Defense Advanced Research Projects Agency)는 흥미로운 이벤트를 열었다. 12월 첫째 주 토요일, 미리 알려지지 않은 미국 10개 지역에 기상 관측용 붉은 색 풍선을 띄우고 이들 10개의 위치를 가장 먼저 파악하는 팀에게 4만 달러의 상금을 수여하는 이벤트였다. 당일 아침 10시를 기해 대학가 운동장, 공원, 백화점 광장 등 사람들이 많이 모이는 10개 지역에 숫자 표를 단 붉은색 풍선이 하늘로 올라갔다. (http://www.youtube.com/watch?v=U8NYUCPht7A).

당시 이 이벤트는 그 자체로 세간의 관심사로 떠올랐다. 비록 공공 장소에서 풍선을 띄워 보내긴 했지만 미국이라는 거대한 나라에서 불과 단 10개의 풍선 위치를 정확히 찾는다는 건 사실상 불가능에 가깝기 때문이다. 하지만 비상식적인 이벤트 자체보다도 더 놀라운 사실은 풍선의 위치를 정확히 찾은 팀이 나왔다는 데 있다. 그것도 불과 9시간 만에! 당시 참가했던 팀들 중 MIT 학생들로 구성된 팀은 페이스북과 트위터를 이용해 자신들의 팀을 지원할 서포터들을 모집했다. 그리고 미국 전역에 걸쳐 있는 서포터들로부터 유입되는 정보를 바탕으로 단 9시간 만에 풍선들의 정확한 위치를 찾아냈다. 특히 이들은 자신들의 정보원 역할을 하는 서포터들이 정보 교환을 원활하게 진행할 수 있도록 자체 서버를 구축했다. 또한 수학적인 알고리즘을 이용해 정보의 진위를 파악하기도 했다. 소셜 미디어의 데이터 확산력과 즉각적으로 유입되는 수많은 데이터를 실시간으로 분석해내는 능력이 MIT팀이 1위를 차지하게 만든 원동력이었다.1)

의사결정의 기본 가정 변화

위에 언급한 빨간 풍선 찾기 사례는 빅데이터의 영향력을 여실히 보여준다. 미국이라는 방대한 지역에서 10개의 붉은 풍선을 찾는다는 건 과거에는 상상도 할 수 없는 일이었다. 그러나 지금은 스마트폰, SNS와 같은 진보된 기술 덕택에 전 세계 어느 지역에서 어떤 일이 벌어지는지를 쉽게 알 수 있다. 스마트폰에서 캡처된 동영상, 사진, 음성 정보는 실시간으로 전송되고 SNS란 뉴 미디어의 확산력을 통해 폭발적인 정보유통이 가능하다. 더욱이 요즘 그 기술이 발달하고 있는 화상인식 기술과 보편화 단계에 들어선 자동차 블랙박스와 같은 스마트 정보 생성기술은 또 다른 정보 소스를 탄생시켰다. 말 그대로 정보와 데이터를 감지하는 새로운 형태의 ‘디지털 촉각’이 하루가 멀다 하고 등장하고 있다.

나날이 개발되는 디지털 촉각들 덕택에 이제 원하는 데이터는 어디에 있든 구할 수 있는 시대가 도래했다. 발전하는 컴퓨팅 기술과 수학 알고리즘을 통해 시시각각 유입되는 데이터를 실시간으로 분석해 의사결정에 활용할 수 있는 시대 역시 다가오고 있다. DARPA에서 실시한 빨간 풍선 찾기 실험은 빅데이터 시대의 새로운 패러다임의 가능성을 실험한 역사적인 이벤트다. DBR 101호 ‘화두는 빅데이터… 결정의 패러다임이 바뀐다’에서 언급했던 것과 같이 빅데이터는 단순한 경영 운영의 문제가 아닌 패러다임의 이슈다. 즉 이제 인류 문명에서 의사결정을 둘러싸고 있던 가정을 바꿔야 할 때가 도래했다.

우리가 내리는 의사결정에 필요한 모든 정보는 언제든지 취합할 수 있고 이를 통해 정확한 의사결정을 내릴 수 있다는 게 빅데이터의 새로운 패러다임이다. 과거 데이터가 지금처럼 풍부하지 않고 데이터 분석 역량에도 한계가 있던 시절에는 우리가 의사결정을 내릴 때 필요한 정보가 충분하지 않다는 암묵적인 가정이 존재했다. 이런 불충분한 데이터 때문에 소수 데이터를 바탕으로 전체를 파악하는 고전 통계가 탄생했다. 선거 때 자주 사용되는 출구 조사나 공장에서 불량률을 파악하는 샘플링이 좋은 예다. 그러나 이제 반도체 공장과 같은 첨단 시설이 이용되는 제조 시설에는 시시각각 제조되는 모든 상황이 DB에 저장되고 전 제품의 상황이 모조리 모니터된다. 기술의 발달로 일부만 검사할 필요 없이 모든 사항을 검사하고 실시간으로 불량 여부를 판단할 수 있기 때문이다. 공장뿐 아니라 이젠 사회의 이슈도 소수나 일부의 의견을 통해 전체를 파악하는 수준에서 벗어나고 있다. 대중의 관심사나 이슈를 검색어 순위 등을 통해 실시간으로 파악해 곧바로 현상에 대한 통찰력을 얻을 수 있다. 구글의 검색어를 통한 전염병 확산 여부 산출이나 경기지표 파악이 이 범주에 속한다. IBM이 최근 선보인 슈퍼컴퓨터 왓슨은 과거 컴퓨터의 기계어에 의한 단순 계산이 아닌 사람이 내린 언어를 이해하고 그 문맥을 파악한다. 대용량 데이터 분석을 통해 답을 제시하는 수준을 넘어 지식을 전달하는 단계에까지 이르고 있다. IBM은 이 기술을 이용해 질병을 파악하고 의료 진단을 내리는 의료 서비스를 조만간 제공할 계획이다.

물론 아직 이러한 기술이 우리가 필요한 모든 의사결정에 100% 정확한 답을 지원하지는 않는다. 그러나 기술의 발전 속도를 가늠하면 조만간 의사결정에 필요한 모든 정보를 담아 보다 나은 의사결정에 도움을 주는 시대가 곧 오리라는 사실에는 의심의 여지가 없다. 이제 인류가 의사결정을 내릴 때 필요한 정보가 부족하다는 가정을 수정해야 될 때가 왔다. 이게 바로 빅데이터가 창조하는 새로운 패러다임이다.

1) <경영학콘서트>, 장영재, 비즈니스북스, 2010.