Management Science 2.0

빅데이터, 의사결정 패러다임 바꾼다

103호 (2012년 4월 Issue 2)









편집자주

 

경영 현장에 수많은 수학자와 과학자들이 포진해 있습니다. 이들은 전략, 기획, 운영, 마케팅 등 다양한 분야에서 첨단 수학·과학 이론을 접목시켜 기업 경쟁력 강화에 기여하고 있습니다. 경영 과학은 첨단 알고리즘과 데이터 분석 기술로 기업의 두뇌 역할을 하면서 경영학의 새로운 분야를 개척해나가고 있습니다. <경영학 콘서트>의 저자인 장영재 교수가 경영과학의 새로운 패러다임을 소개합니다.

 

2009년 미국 국방고등기술연구원인 DARPA (Defense Advanced Research Projects Agency)는 흥미로운 이벤트를 열었다. 12월 첫째 주 토요일, 미리 알려지지 않은 미국 10개 지역에 기상 관측용 붉은 색 풍선을 띄우고 이들 10개의 위치를 가장 먼저 파악하는 팀에게 4만 달러의 상금을 수여하는 이벤트였다. 당일 아침 10시를 기해 대학가 운동장, 공원, 백화점 광장 등 사람들이 많이 모이는 10개 지역에 숫자 표를 단 붉은색 풍선이 하늘로 올라갔다. (http://www.youtube.com/watch?v=U8NYUCPht7A).

 

당시 이 이벤트는 그 자체로 세간의 관심사로 떠올랐다. 비록 공공 장소에서 풍선을 띄워 보내긴 했지만 미국이라는 거대한 나라에서 불과 단 10개의 풍선 위치를 정확히 찾는다는 건 사실상 불가능에 가깝기 때문이다. 하지만 비상식적인 이벤트 자체보다도 더 놀라운 사실은 풍선의 위치를 정확히 찾은 팀이 나왔다는 데 있다. 그것도 불과 9시간 만에! 당시 참가했던 팀들 중 MIT 학생들로 구성된 팀은 페이스북과 트위터를 이용해 자신들의 팀을 지원할 서포터들을 모집했다. 그리고 미국 전역에 걸쳐 있는 서포터들로부터 유입되는 정보를 바탕으로 단 9시간 만에 풍선들의 정확한 위치를 찾아냈다. 특히 이들은 자신들의 정보원 역할을 하는 서포터들이 정보 교환을 원활하게 진행할 수 있도록 자체 서버를 구축했다. 또한 수학적인 알고리즘을 이용해 정보의 진위를 파악하기도 했다. 소셜 미디어의 데이터 확산력과 즉각적으로 유입되는 수많은 데이터를 실시간으로 분석해내는 능력이 MIT팀이 1위를 차지하게 만든 원동력이었다.1)

 

의사결정의 기본 가정 변화

 

위에 언급한 빨간 풍선 찾기 사례는 빅데이터의 영향력을 여실히 보여준다. 미국이라는 방대한 지역에서 10개의 붉은 풍선을 찾는다는 건 과거에는 상상도 할 수 없는 일이었다. 그러나 지금은 스마트폰, SNS와 같은 진보된 기술 덕택에 전 세계 어느 지역에서 어떤 일이 벌어지는지를 쉽게 알 수 있다. 스마트폰에서 캡처된 동영상, 사진, 음성 정보는 실시간으로 전송되고 SNS란 뉴 미디어의 확산력을 통해 폭발적인 정보유통이 가능하다. 더욱이 요즘 그 기술이 발달하고 있는 화상인식 기술과 보편화 단계에 들어선 자동차 블랙박스와 같은 스마트 정보 생성기술은 또 다른 정보 소스를 탄생시켰다. 말 그대로 정보와 데이터를 감지하는 새로운 형태의디지털 촉각이 하루가 멀다 하고 등장하고 있다.

 

나날이 개발되는 디지털 촉각들 덕택에 이제 원하는 데이터는 어디에 있든 구할 수 있는 시대가 도래했다. 발전하는 컴퓨팅 기술과 수학 알고리즘을 통해 시시각각 유입되는 데이터를 실시간으로 분석해 의사결정에 활용할 수 있는 시대 역시 다가오고 있다. DARPA에서 실시한 빨간 풍선 찾기 실험은 빅데이터 시대의 새로운 패러다임의 가능성을 실험한 역사적인 이벤트다. DBR 101화두는 빅데이터결정의 패러다임이 바뀐다에서 언급했던 것과 같이 빅데이터는 단순한 경영 운영의 문제가 아닌 패러다임의 이슈다. 즉 이제 인류 문명에서 의사결정을 둘러싸고 있던 가정을 바꿔야 할 때가 도래했다.

 

우리가 내리는 의사결정에 필요한 모든 정보는 언제든지 취합할 수 있고 이를 통해 정확한 의사결정을 내릴 수 있다는 게 빅데이터의 새로운 패러다임이다. 과거 데이터가 지금처럼 풍부하지 않고 데이터 분석 역량에도 한계가 있던 시절에는 우리가 의사결정을 내릴 때 필요한 정보가 충분하지 않다는 암묵적인 가정이 존재했다. 이런 불충분한 데이터 때문에 소수 데이터를 바탕으로 전체를 파악하는 고전 통계가 탄생했다. 선거 때 자주 사용되는 출구 조사나 공장에서 불량률을 파악하는 샘플링이 좋은 예다. 그러나 이제 반도체 공장과 같은 첨단 시설이 이용되는 제조 시설에는 시시각각 제조되는 모든 상황이 DB에 저장되고 전 제품의 상황이 모조리 모니터된다. 기술의 발달로 일부만 검사할 필요 없이 모든 사항을 검사하고 실시간으로 불량 여부를 판단할 수 있기 때문이다. 공장뿐 아니라 이젠 사회의 이슈도 소수나 일부의 의견을 통해 전체를 파악하는 수준에서 벗어나고 있다. 대중의 관심사나 이슈를 검색어 순위 등을 통해 실시간으로 파악해 곧바로 현상에 대한 통찰력을 얻을 수 있다. 구글의 검색어를 통한 전염병 확산 여부 산출이나 경기지표 파악이 이 범주에 속한다. IBM이 최근 선보인 슈퍼컴퓨터 왓슨은 과거 컴퓨터의 기계어에 의한 단순 계산이 아닌 사람이 내린 언어를 이해하고 그 문맥을 파악한다. 대용량 데이터 분석을 통해 답을 제시하는 수준을 넘어 지식을 전달하는 단계에까지 이르고 있다. IBM은 이 기술을 이용해 질병을 파악하고 의료 진단을 내리는 의료 서비스를 조만간 제공할 계획이다.

 

물론 아직 이러한 기술이 우리가 필요한 모든 의사결정에 100% 정확한 답을 지원하지는 않는다. 그러나 기술의 발전 속도를 가늠하면 조만간 의사결정에 필요한 모든 정보를 담아 보다 나은 의사결정에 도움을 주는 시대가 곧 오리라는 사실에는 의심의 여지가 없다. 이제 인류가 의사결정을 내릴 때 필요한 정보가 부족하다는 가정을 수정해야 될 때가 왔다. 이게 바로 빅데이터가 창조하는 새로운 패러다임이다.

 

1) <경영학콘서트>, 장영재, 비즈니스북스, 2010.

3V

- Volume (), Variety (다양성), Velocity (속도)

 

기존 패러다임에서 이야기하는 데이터와 새로운 패러다임, 즉 빅데이터에서 이야기하는 데이터는 근본적으로 다르다. 많은 학자들은 3V, Volume(), Variety(다양성), Velocity(속도) 3가지 측면에서 기존 데이터와의 차별점을 지적한다.2) 우선 데이터 양이다. 페타바이트(Petabyte)나 제타바이트(Zetabyte)처럼 엄청난 양의 데이터 생성은 빅데이터와 과거 데이터 간 확연히 드러나는 차이점이다. 데이터의 다양성 측면에서도 차이를 보인다. 과거에는 데이터라면 정형화된 데이터만을 의미했다. 매출액, 비용, 고객의 성별, 직업, 나이 등 이미 DB상에 카테고리가 형성돼 있는 분석 가능한 데이터였다. 그러나 이제는 음성, 화상, 그리고 일반 생활에서 나누는 소소한 대화까지 데이터 범주에 포함한다. 음성을 인식해 키워드를 찾아내는 기술은 이미 상용화된 지 오래다. 특히 대화 내용을 바탕으로 문맥을 컴퓨터가 인식하는 기술도 아이폰 시리(siri) 서비스처럼 상업화됐다. 여기에 IBM에서 개발된 인공지능 컴퓨터 왓슨은 단순한 대화뿐 아니라 사람이 던진 문맥과 뉘앙스, 핵심 키워드를 자체적으로 파악하고 컴퓨터에 입력된 방대한 정보를 자체적으로 검색해 질문에 대답하는 수준에 이르렀다. 심지어 왓슨은 미국 인기 TV 퀴즈쇼인제퍼디에서 인간 챔피언과 겨뤄 승리했을 정도로 비정형화된 텍스트를 이해하고 검색하는 기술까지 지니고 있다. 그 외 자동차 블랙박스에서 입력되는 데이터도 분석 가능한 형태로 컴퓨터가 자체적으로 인식 분석하는 기술이 나날이 발달되고 있다. 기존 정형화된 정보의 벽을 넘어 이처럼 비정형화된 데이터를 분석하는 기술이 발달함에 따라 이들 데이터의 가치가 재조명받게 되고 빅데이터의 새로운 핵심 정보로 부상하게 됐다.

 

마지막으로 신속한 컴퓨팅 기술의 발달 덕에 방대한 데이터의 이동과 확산이 기존 데이터 분석과 다른 새로운 가능성을 열었다. 정보기기의 발달로 정보의 실시간 유입과 전송, 분석이 가능해졌다. 이미 일상화된 클라우드 컴퓨팅이 좋은 예다. 우리가 휴대폰으로 찍은 동영상, 사진이나 다운받은 전자책은 실시간으로 집의 컴퓨터와 다른 IT 기기에 바로 저장된다. 더 나아가 실시간 유입된 데이터는 바로 분석이 돼 의미 있는 새로운 가치를 창조하고 우리의 의사결정을 지원한다. 이처럼 빅데이터는 기존 데이터의 근본적 개념과 다른 새로운 특성을 가지고 있으며 이러한 특성은 혁신적인 비즈니스를 창출할 기회를 제공한다.

 

새로운 운영 혁신 필요

 

“우리는 늘 수요 예측이 어려운데 데이터가 많고 분석 역량이 강화되면 시장이나 수요 예측을 좀더 정확하게 할 수 있지 않나요?”

 

“늘 재고가 남거나 모자라 문제인데 적정 재고 산출도 빅데이터로 가능한가요?”

 

“광고의 효과나 ROI를 분석하기 어려운데 이 데이터를 분석하면 좀 더 정확히 효과나 ROI를 예측할 수 있나요?”

 

필자가 빅데이터를 이야기할 때 늘 당면하는 질문은 위와 같이예측의 정확도다. 데이터가 많고 좀 더 정확한 분석이 가능하다면 기존 매출이나 비용, 혹은 시장 분석을 좀 더 정확하게 예측할 수 없겠느냐는 게 요지다.

 

물론 데이터가 많고 분석기술이 발달해서 기존 방식보다 좀 더 정확한 예측이 가능한 건 사실이다. 그러나 이러한 질문은 기존 비즈니스 운영의 틀은 변하지 않고 기존 틀에 빅데이터와 애널리틱스를 구현해보겠다는 의미다. 이는 마치 인력과 삽으로만 건물을 짓다가 포크레인과 굴착기를 구입해 놓고 기존에 삽질하던 운영방식을 그대로 고수하겠다는 것과 같다. 물론 사람이 하나하나 삽질하던 일을 자동화 장비로 진행한다면 땅 파는 일 그 자체는 큰 효율을 거둘 수 있다. 하지만 이는 첨단 장비를 잘 활용한다고 말하기는 힘들다. 이들 장비를 활용하기 위해서는 작업의 진행방식, 작업의 규모, 그리고 다양한 운영에서 새롭게 그 판을 짜야 한다.

 

새로운 운영의 판을 짠 사례로 세계적인 패션기업 자라(Zara)를 꼽을 수 있다. 2008년 세계적인 금융위기 이후 지속된 경제하락과 이로 인한 패션업계의 불황에도 불구하고 자라는 성장세를 이어가고 있다. 그 이면에는 바로 빅데이터의 패러다임인 데이터분석과 애널리틱스, 그리고 이를 적극적으로 활용한 운영 전략이 있었다.

 

일반 패션업계는 상품의 기획-제조-배분이라는 단계를 거쳐 패션 상품이 매장에 비치되는 데까지 약 1년의 기간이 소요된다. 즉 상품 기획이란 1년 후 유행할 상품을 예측한다는 의미로 해석할 수 있다. 그러나 요즘처럼 모든 게 빨리 변화하는 세상에서 패션처럼 유행에 민감한 상품을 1년 전에 예측해 기획한다는 건 거의 불가능에 가깝다. 물론 이러한 예측의 리스크를 조금이라도 줄이고자 많은 패션업체들이 상품 계획에 설문조사나 고객 집단 분석 등 다양한 노력을 기울이고 있다. 하지만 그 효용에는 전문가들조차 의문을 가지고 있다.

 

그렇다면 기존 데이터 분석이 아닌 빅데이터의 대용량 데이터 분석이라면 1년 후 패션 상황을 좀 더 정확하게 예측할 수 있을까? 물론 기존 방식보다 아주 미약하게나마 조금은 타당한 분석이 가능하겠지만 별 차이는 없을 것이라는 게 필자의 견해다. 아무리 데이터가 많아도 시시각각 변화하는 상황을 1년 전에 예측한다는 건 예측이 아닌 예언에 가깝다. 그리고 예언은 과학의 영역이 아닌도사의 영역이다. (아쉽게도 자라에서 도사를 고용했다는 소식은 듣지 못했다). 기존 시장을 분석해 수요를 예측한다는 것은 과거 패러다임의 운영방식이다. 아무리 데이터가 많고 빅데이터 첨단 애널리틱스 기법을 이용해도 과거 운영방식의 틀에 갇혀서는 그 효용을 기대하기는 어렵다.

 

대신 자라는 이러한 새로운 빅데이터 패러다임에 맞는 적절한 대응 전략을 창조했다. 실시간으로 유입되는 정보를 바로 분석해서 신속히 대응한다는 전략이다. 자라는 전 세계 모든 매장에서 유입되는 정보를 실시간으로 분석해 현재 어떤 상품이 유행인지를 파악하고 이를 바탕으로 어떤 상품이, 얼마만큼, 어느 매장으로 배송돼야 하는지를 수학적 최적화와 애널리틱스를 통해 결정한다. 즉 단순히 예측이란 과거 운영을 고수하는 게 아니라 실시간으로 유입되는 데이터를 바로 분석해 그 의미를 찾고 이를 수학적 알고리즘을 통해 곧바로 실행에 옮긴다는 빅데이터의 새로운 패러다임을 수용한 것이다. 그리고 이를 위해 제조에서 배분까지의 프로세스를 4주로 단축하는 혁신을 이뤄냈다. 빅데이터의 패러다임을 바탕으로 운영의 혁신을 이루고 이를 통해 빅데이터의 효용을 극대화한 것이다. 자라를 단기간 유행하는 상품을 바로 매장에 판매하는 패스트 패션으로만 치부하면 빅데이터와 그 효용의 의미를 명확히 이해하기 힘들다. 자라의 진정한 가치는 빅데이터라는 새로운 패러다임에 걸맞게 운영을 혁신했다는 데 있다.

 

새 술은 새 부대에 담으라는 말처럼 새로운 패러다임을 수용하기 위해서는 새로운 혁신이 반드시 필요하다. 빅데이터의 패러다임은 새로운 차원의 운영 혁신을 요구한다. 기존 운영 방식에 새로운 패러다임을 끼워 맞추려 하거나 데이터의 가치와 기회를 상실하는 오류를 범하지 않기를 기대한다.

 

2)http://www.forbes.com/sites/oreillymedia/2012/01/19/volume-velocity-variety-what-you-need-to-know-about-big-data/2/

 

장영재 KAIST 산업 및 시스템 공학과 교수 yjang@kaist.ac.kr

 

필자는 미국 보스턴대 우주항공학과를 졸업한 뒤 미국 매사추세츠공대(MIT) 기계공학 석사 학위와 MIT 경영대학원(슬론스쿨)에서 경영과학 석사 학위를 받았다. 이어 MIT 기계공학과에서 불확실성을 고려한 생산 운영방식에 관한 논문으로 박사 학위를 취득했다. 이후 반도체 기업인 마이크론테크놀로지 본사 기획실의 프로젝트 매니저로 과학적 방식을 적용한 원가절감 및 전략적 의사결정을 지원했다. 현재는 카이스트 산업 및 시스템 공학과 교수로 재직 중이다. 저서로는 <경영학 콘서트>가 있다. 트위터 아이디는 @youngjaejang이다.

동아비즈니스리뷰 334호 세계관의 세계 2021년 12월 Issue 1 목차보기