빅데이터에서 결론 이끄는 것은 직관 컴퓨터와 사람의 접점을 찾자

서브프라임 사태의 그림자가 미국 경제를 뒤집기 시작하기 직전인 2007년 초까지만 해도 경제학자들은 당시의 경기 불안정이 지난 수년간 이어온 경기 상승세로 인한 단순 조정인지, 초대형 경제 위기의 서막인지 명확히 판단하지 못했다. 2007년 4월, 미국의 2위 서브프라임 모기지 대출회사인 뉴샌츄리 파이낸셜이 파산을 선언하자 뭔가 잘못됐다는 것을 업계와 학계가 깨달았지만 이미 너무 늦은 상황이었다. 놀라운 사실은 대형 모기지 회사가 파산에 이르는 최악의 상황이 터지기 직전까지도 거대 투자은행을 비롯한 금융권 모두가 서브프라임 관련 투자규모를 경쟁적으로 확대해갔다는 점이다. 이쯤 되면 상황 판단을 못한 게 아니라 하지 않았다는 표현이 옳을 것이다.1 1<경영학콘서트> 장영재 저, 비즈니스북스, 2010 닫기

불확실성의 시대다. 서브프라임과 같은 경제 위기, 기후 변화로 인한 기상의 불확실성과 그로 인한 원자재 및 농수산물 가격의 변동, 급변하는 사회 정치적 상황, 기술 고도화 시대에서 새로운 기술의 혁신이 가져 온 파괴적 창조와 그 미명 아래 벌어지는 수많은 기업들의 파산과 신사업의 부상, 예측할 수 없는 미래와 불확실성이 일상화된 시대다.

과연 우리는 이런 불확실성에 대처할 수 있을까? 다시 서브프라임 이야기로 돌아가 보자.

“미국 경제는 3조 달러의 도박을 하고 있습니다!”

미국 부동산 경기가 서브프라임 모기지로 초활황의 정점에 이르렀던 2005년 당시 <뉴욕타임스> 토요일 부동산 면에 데이비드 레온하츠 기자가 쓴 기사의 제목이다.2 2“The Trillion-Dollar Bet”, New York Times, David Leonhardt and Motoko Rich, June 16, 2005. 닫기 그는 이 기사에서 2005년 부동산 경기가 왜 활황을 이어가고 있는지 서브프라임 모기지의 원리를 통해 명료하게 설명했다. 한편으로는 서브프라임 구조가 가진 치명적인 문제점을 지적하고 정부의 저금리 정책이 종료되는 순간 부동산 시장과 관련 금융시장에 큰 재앙이 닥칠 수 있다고 예견했다. 서브프라임이라는 불투명한 시스템 사이에 숨겨진 인간의 탐욕에 대한 설명만 빠졌을 뿐 서브프라임 사태 이후 경제학자들과 관련 전문가들이 분석한 사후 진단과 문제점을 이미 2년 전에 간파하고 있었다. 그렇다면 레온하츠 기자는 우리가 보지 못한 것을 볼 수 있는 대단한 능력의 소유자일까?

사실 돌아보면 그의 기사가 그리 놀라운 것은 아니다. 그가 예일대 수학과 출신이라는 점에서 독특한 경력을 갖고 있긴 하지만 이것만으로 전문가나 학자들이 파악하지 못했던 새로운 사실을 홀로 알아차릴 만큼 출중했다고 단정 지을 수는 없다. 그의 기사를 읽어보면 그는 단지 다양한 사실을 근거로 당시 부동산 시장의 급팽창 원인을 차근차근 설명했을 뿐이다. 부동산 시장 팽창의 원인을 파악하고 나면 그 문제점을 도출하는 것은 그리 어려운 일이 아니다. 사실 서브프라임 사태 이전의 신문이나 경제 분석을 뒤져보면 서브프라임이라는 모기지의 위험성에 대한 경고를 예상보다 훨씬 많이 찾아볼 수 있다.

자산규모로 미국 내 4위 은행인 웰스파고(Wells Fargo & Company) 역시 서브프라임 사태의 위험을 예견하고 대처한 대표적인 기업이다. 2000년 중반 거의 모든 금융권에서 서브프라임 관련 서비스와 투자로 소위 눈먼 돈 잔치를 할 때 웰스파고는 서브프라임이라는 상품의 위험성과 불투명성을 간파하고 보수적으로 대응했다. 실제로 2006년 웰스파고의 주택 대출에서 서브프라임 대출은 1.6%에 불과했다.3 3“Wells Fargo to Limit Subprime Lending”, By THE ASSOCIATED PRESS, July 27, 2007. 닫기 덕분에 금융위기로 금융권이 초토화된 당시 금융권에서 유일하게 S&P에서 AAA 신용등급을 받을 수 있었다.

우리는 항상 의사결정의 기로에 선다. 하지만 판단의 상당 부분은 사실적 기대보다 감정과 기대치가 뒤죽박죽 혼합된 상태에서 이뤄진다. 2008년 세계 5위 핸드폰 제조업체로 군림하던 국내 모 전자회사에서 스마트폰 전략 로드맵을 짜기 위해 글로벌 컨설팅업체에 시장 분석을 의뢰했던 일화가 유명하다. 이 컨설팅사는 스마트폰을 일부 마니아와 전문가들만 사용할 뿐 대중은 피처폰을 계속 원할 것이라는 보고서를 냈다. 보고서를 바탕으로 이 전자회사는 스마트폰에 대한 적극적인 투자를 보류했고 1년 후 핸드폰 시장의 패러다임이 완전히 바뀌면서 상당한 타격을 받았다. 재미있는 것은 당시 이 보고서를 작성한 컨설팅사의 팀원들 중 아무도 스마트폰을 사용해본 적이 없다는 이야기가 업계에 전해진다는 점이다. 이 이야기가 사실인지 아닌지 확인해볼 수는 없다. 하지만 당시 국내 핸드폰 제조업체뿐만 아니라 세계 핸드폰 시장의 강자들도 스마트폰으로 발생할 혁신과 변화의 바람을 파악하지 못했던 것이 사실이다. 2007년 이후 아이폰이 선풍적인 인기를 바탕으로 전 세계 핸드폰 시장을 잠식할 때도 핸드폰 시장의 1위였던 노키아가 팔짱만 끼고 이를 태풍의 눈으로만 취급했던 것 또한 잘 알려진 사실이다. 이것이야말로 분석을 못한 것이 아니라 아예 하지 않았다는 표현이 맞을 것 같다. 스마트폰으로의 패러다임 전환은 2008년 이미 상당히 진행됐고 이를 알려주는 시그널이 도처에 깔려 있었지만 그 사실을 인정하지 않고 외면했다고 봐야 한다.

일반적으로 전략이라고 하면 디테일한 분석과는 거리가 멀고 먼 미래를 통찰하는 혜안 정도로 치부하는 경향이 있다. 이런 맥락에서 우수한 직관력이 전략적 사고의 주 능력으로 평가받기도 한다. 즉 ‘전략적 사고=직관력’이라는 등식이 통용되고 직관력은 자료를 바탕으로 검증 및 분석하는 분석적 사고와는 상반된 의사결정 방식으로 이해되는 것이 일반적이다. 그러나 <자연주의적 의사결정(naturalistic decision making)>의 저자인 게리 클라인(Gary A. Klein)은 저서 4 4Source of Power: How People Make Desicions, MIT Press, 1998. (국내에는 번역서 <인튜이션>, 한국경제신문, 2012) 닫기 에서 직관이란 우리가 일반적으로 생각하는 추상적 혜안이 아니라 경험과 고도의 사고가 복합해 결정되는 매우 복잡한 의사결정 과정으로 설명한다. 신속한 판단을 내려야 하는 상황에서의 직관일수록 그 즉시성 때문에 복잡한 분석과정을 뛰어넘은 ‘감’으로 평가되지만 사실 직관이란 두뇌 내 축적된 경험인 데이터와 순간적인 사고력으로 진행된 결과물이다. 이처럼 직관이 사실의 경험에 의한 의사결정이라면 결국 직관 역시 사실에 근거한 프로세스라고 할 수 있다. 과거 인간의 직관은 맹수로부터 피해야 하는 위험한 상황에 순간적인 판단을 내릴 수 있도록 하는 과정에서 발달됐다. 그리고 이런 직관은 현대 컴퓨팅 기술과 폭발적으로 쌓이는 데이터를 통해 한 단계 업그레이드된 빅데이터 시대의 직관으로 진화하고 있다. 즉 인간 머리 안에 있는 경험이라는 데이터에만 의존했던 과거의 직관이 이제는 경험하지 않은 방대한 외부 데이터와 컴퓨팅 속도가 결합된 빅데이터 시대의 직관으로 거듭나고 있는 것이다.

빅데이터 직관의 의미를 가장 잘 설명해주는 예가 바로 게리 클라인의 조산아(이른둥이) 병동에서의 연구다. 게리 클라인은 연구실이 아닌 소방화재 현장, 걸프전 전투 현장, 응급실 등 긴박하게 전개되는 실제 상황에서 사람의 직관적 의사결정 관련 실험 및 분석을 시도하는 학자로 유명하다. 그는 조산아 병동 중환자실의 간호사들 중 경험이 많은 몇몇이 조산아가 어떤 위험에 빠지기 전에 이상 징후를 사전에 파악하는 사실을 발견했다. 이 간호사들은 인터뷰에서 위험한 조산아를 미리 알아채는 능력을 논리적으로 설명하지 못했다. 단지 육감 혹은 아이들의 병세를 파악할 수 있는 타고난 능력이 있겠거니 하는 추측 등으로 대답했을 뿐이다. 그러나 게리 클라인은 수년 동안 조산실에서 일하면서 자신들만의 경험이 축적됐고 자신도 모르게 이런 정보가 순간적인 사고력과 어우러져 우수한 판단능력을 지니게 됐다고 분석했다. 이 같은 다년간의 경험과 사고력은 간호사 개개인에게 의지할 수밖에 없고 다른 간호사에게 물리적으로 전수하기 어렵다는 것도 설명했다.

놀라운 직관력은 빅데이터에 의해 새롭게 창조되고 있다. 온타리오 대학병원의 조산아 병동은 온타리오 기술대학의 케럴린 맥그리거(Carolyn McGregor) 박사와 IBM이 공동 개발한 빅데이터 솔루션을 도입해 신생아의 모든 생체 시그널을 실시간으로 모니터링하고 위험 징후를 사전 포착한다. 아기들의 생체 패턴을 바탕으로 일반 상황과 위험한 상황을 구별하는 기계학습 알고리즘(machine learning algorithm)을 통해 우수한 간호사의 직관력을 재생산하는 것이다.5 5“Big Data in Healthcare - University of Ontario Institute of Technology Real - Time Health Monitoring and Intervention, IBM, 2012. 닫기 노력한 간호사의 직관력과 기계적인 분석 시스템에는 각각 장단점이 있을 것이다. 중요한 것은 직관력이 대용량 데이터와 빅데이터 분석 기술을 통해 새로 창조되고 있다는 점이다.

노련한 운전자가 돌발 상황에 대처하는 능력 또한 빅데이터를 통해 구현되고 있다. 구글이 무인자동차를 개발해 이미 기술 검증을 마쳤다는 것은 잘 알려진 사실이다. 수십 년간 기계나 전자공학에서 시도하다가 1990년대 포기하고만 무인 운전기술이 21세기 기계나 전자공학 연구실이 아닌 데이터를 다루는 구글에서 현실화하고 있다는 것은 빅데이터의 새로운 패러다임과 가능성을 제시하는 또 다른 사례다. 구글은 구글 맵(Google Maps)과 구글 스트리트 뷰(Google Street View) 서비스를 위해 구축한 지리정보와 무인 자동차가 운전 중 수집하는 영상자료를 실시간 분석해 노련한 운전자보다 더 뛰어난 판단력을 지닌 무인자동차를 탄생시켰다. 직관적 판단 능력이 빅데이터와 컴퓨팅 기술로 창조된 것이다.6 6“엄청난 정보로 새 패러다임을 열다, 구글의 무인자동차처럼” 장영재, 동아비즈니스리뷰, No. 107, 2012. 닫기

이 같은 빅데이터의 직관력과 전략적 의사결정의 의미는 무엇일까? 직관이란 순간적인 판단이 요구되는 상황에서 내리는 의사결정의 한 방식이다. 급박한 상황에서 볼 수 없는 무언가를 파악해 현명한 판단을 내리면 우수한 직관력을 가졌다고 여겨진다. 빅데이터를 활용해 수많은 다양한 정보를 실시간으로 파악해 쉽게 인지하기 어려운 패턴을 파악하는 것이 빅데이터 분석기술의 핵심인 데이터 마이닝의 기본 철학이다. 직관력이 경험으로 두뇌에 축적된 데이터에서 인간의 사고력으로 패턴을 찾는 것이라면 빅데이터 분석은 다양한 소스에서 모인 데이터베이스에 저장된 데이터를 수학이나 컴퓨터공학 기술을 통해 패턴을 찾는 것이다. 다양한 경로에서 수집된 대용량 데이터를 IT 인프라를 통해 신속히 처리하는 기술, 그리고 이를 통해 급박한 상황에서도 정확한 판단을 내릴 수 있도록 지원하는 것이 바로 빅데이터를 통한 직관의 의미다.

기업은 이 개념을 어떻게 활용할 수 있을까? MIT슬론 비즈니스 스쿨의 앤드루 맥아피(Andrew McAfee) 교수는 데이터 시대 기업의 전략을 기계와 인간의 두뇌 공존에서 찾는다. 인간의 머리로 분석할 수 없는 엄청난 데이터를 프로세싱해서 패턴을 찾는 기술은 인간 두뇌의 한계를 극복해준다. 반면 인간의 창의력 등은 기계로 구현하기 어려운 능력이다. 그는 인간의 두뇌와 데이터를 활용한 기계의 능력이 상호보완적으로 활용돼 ‘기계를 우리 편으로 만들면’ 기업의 새로운 혁신을 도모할 수 있다고 주장한다.7 7“Winning the race with ever-smarter machines,” Erik Brynjolfsson and Andrew McAfee, MIT Sloan Management Review, Winter 2012, pp53-60. 닫기 다양한 데이터를 기업의 ‘혜안’으로 활용하기 위한 핵심은 첫째, 필요한 상황에 직관처럼 즉시적 판단을 내릴 수 있도록 분석을 자동화하는 것과 둘째, 외부환경 변화를 큰 틀에서 감지할 수 있도록 외부 정보에 대한 촉수를 키우는 것이다. 즉 직관력의 핵심인 판단의 즉시성과 큰 틀을 파악하는 능력을 데이터를 통해 가능하도록 구현하는 것이다.

데이터를 통해 의사결정의 즉시성을 확보한다는 의미는 쉽게 말해 우리 기업이 무엇을 어떻게 하고 있는지 한눈에 정확히 파악하는 능력을 갖추는 것이다. 데이터 분석을 한다고 하면 많은 기업들이 미래를 예측하는 데 집중하지만 현 상황을 파악하지 않고 미래를 예측한다는 것은 불가능하다. 특히 우리 기업, 즉 자신을 모르는 상황에서 경쟁자를 알고 시장을 알겠다고 나서는 것은 어리석은 일이다. 우리 매장에 재고가 얼마나 있고, 어떤 고객이 제품을 구매하고, 현재 어떤 제품 주문이 가장 많은지 등을 우선 파악해야 한다. CEO가 이런 질문을 던졌을 때 보고하기까지 며칠이 걸리는 기업이 있고 BI(Business Intelligent) 시스템을 통해 단 몇 분 만에 보고할 수 있는 기업이 있다.8 8<경영학콘서트> 장영재 저, 비즈니스북스, 2010. 닫기 어떤 기업이 전략적으로 더 나은 직관력을 발휘할 것인지는 자명하다. 미국 반도체 기업 마이크론테크놀로지는 예측할 수 없는 반도체 시장에서 경쟁력을 확보하기 위해 지난 수년간 세일즈-마케팅-공급사슬-제조를 잇는 통합 데이터 연결작업을 핵심 프로젝트로 진행했고 이를 전략적 의사결정에 활용하고 있다. 전략적으로 어떤 기업을 인수하고 어떤 사업 부문을 확대/축소할 것인지의 기로에서 전 세계 공장 중 어떤 공장에서, 어떤 제품이, 어떤 장비에서 제조되고, 어떤 제품이 SCM 내 재고로 있는지 파악해서 급변하는 상황에 신속히 전략적 판단을 내릴 수 있도록 BI시스템을 설계한 것이다. 이런 시스템 덕분에 과거 수개월 이상 걸리던 현황 파악을 단 며칠 만에 분석할 수 있고 이를 바탕으로 데이터와 사실을 근거로 한 전략적 판단이 가능해졌다. 최근 마이크론테크놀로지가 최악의 메모리 반도체 경기로 파산한 업계 3위 독일의 퀴몬다 반도체와 2위 일본의 엘피다 반도체 제조 부문을 인수한 것도 이런 시스템이 뒷받침된 덕분에 신속하게 추진할 수 있었다.

앞서 데이터를 활용해 기업 내 직관력을 향상시키는 두 번째 요인으로 외부 환경을 파악하는 능력을 꼽았다. 시장이 어떻게 변하고 고객 요구 트렌드가 어떻게 달라지는지 파악하기 위해서는 기업 내부 데이터가 아닌 외부 데이터가 필요하다. 이런 외부 데이터는 어떻게 수집할 수 있을까? 해답은 일상에 있다. 미국 최대의 인터넷 상거래 사이트인 아마존닷컴에는 제품별 고객 리뷰가 공개돼 있다. 제품 리뷰는 단지 특정 상품의 리뷰 이상의 의미를 지닌다. 미국 최대 상거래 사이트에서 제공되는 수많은 고객 피드백은 소비 문화의 변화를 읽고 해석할 수 있는 정보의 보고다. 이미 학계에서는 고객 리뷰의 문맥이나 컨택스트에서 의견을 구체적으로 파악하는 데이터마이닝 기법이 연구되고 있다.9 9“A holistic lexicon-based approach to opinion mining”, Xiaowen Ding, Bing Liu, Philip S. Yu, WSDM ‘08 Proceeding of the 2008 International Conference on Web
Search and Data Mining, pp. 231-240. 닫기 만일 출판이나 문화 콘텐츠 관련 서비스 기업이라면 미국 최대 인터넷 상거래 사이트에 하루에도 수십만 건이나 올라오는 고객 리뷰는 전체적인 시장을 파악할 수 있는 금맥이나 다름없다.

교통 관련 서비스를 제공하는 업체는 최근 개방되고 있는 교통 관련 공공정보를 활용할 수도 있다. 서울과 수도권 지역 버스, 지하철의 대중교통 정보는 최근 공공정보 개방 붐을 타고 오픈 API(데이터베이스를 표준 형태로 공개하는 인터페이스) 형태로 공개되고 있다. 이를 통해 현재 어떤 노선의 어떤 버스가 어디를 지나는지 실시간으로 파악할 수 있다. 교통 관련 서비스나 도시지역 물류 이동 관련 기업이라면 이런 정보를 분석해 서울 지역 교통현황과 인구 이동 등을 파악하고 이를 통해 전체적인 트렌드를 파악할 수 있을 것이다.10 10한국정보화진흥원 보고서 - 공공정보 개방의 경제적 효과, 장영재 외, 2013. 닫기

아마존닷컴의 공개된 고객 리뷰 데이터, 국내 수도권 데이터 등 Web 2.0 및 공공정보 공개처럼 세상을 움직이는 시그널 역할을 하는 데이터 개방 플랫폼을 구하는 것은 그리 어려운 일이 아니다. 현대 디지털 사회에는 다양한 정보가 디지털화되고 다양한 기술과 경로를 통해 파악할 수 있는 길이 다양하다. 방대한 데이터를 끊임없이 수집하고 변화하는 패턴을 감지한다면 ‘시장에 대한 혜안’을 빅데이터 기술을 통해 ‘기업의 혜안’으로 승화시킬 수 있다. 빅데이터 시대에 데이터는 도처에 널려 있다. 이런 데이터들은 다양한 방식으로 우리가 더 나은 직관을 가질 수 있도록 끊임없이 기회를 제공한다. 빅데이터 시대에 전략적 직관은 감이 아닌 기술이라고 주장하는 이유다. 이를 활용할지, 그냥 버려둘지는 기업의 몫이다.

장영재 카이스트 산업및시스템공학과 교수 yjang@kaist.ac.kr

필자는 미국 보스턴대 우주항공과를 졸업하고 미국 메사추세츠공대(MIT)에서 기계공학 석사 학위를, MIT 경영대학원(슬론스쿨)에서 경영과학 박사 학위를 받았다. 이어 MIT 기계공학과에서 불확실성을 고려한 생산운영방식에 대한 논문으로 박사 학위를 취득했다. 이후 반도체 기업인 마이크론테크놀로지 본사 기획실의 프로젝트 매니저로 과학적 방식을 적용한 원가절감 및 전략적 의사결정을 지원했다. 현재는 카이스트 산업 및 시스템공학과 교수로 재직 중이다. 저서로는 <경영학 콘서트>가 있다. 트위터 아이디는 @youngjaejang이다.