엄청난 정보로 새 패러다임을 열다, 구글의 무인자동차처럼…

 

구글의 무인 자동차

“인류가 당면한 문제를 기술을 통해 풀자는 것, 이것이 바로 우리가 이 회사를 설립한 목적입니다. 그리고 인류가 안고 있는 가장 큰 문제 중 하나인 교통 문제를 해결하기 위해 무인자동차를 개발하기 시작했습니다.”

2010년 여름, 당시까지만 해도 루머로만 떠돌던 비밀프로젝트 ‘무인자동차 개발’을 구글의 창업자 세르게이 브린과 레리 페이지가 구글 블로그를 통해 그 실체를 인정했다. 이날 발표에 많은 과학자와 엔지니어는 물론 일반인들이 기대와 우려를 동시에 나타냈다. 1990년대 인터넷 혁명 이후 ‘구글 검색’으로 새로운 IT 패러다임과 세계 기술계의 방향을 제시하던 구글이 교통문제 해결을 위해 새로운 도전을 한다는 사실은 많은 이들에게 기대감을 안겼다. 하지만 한편으로는 1960년대부터 미국과 일본 등의 자동차 전문기업들이 시도했다가 실패한 무인자동차 개발에 구글이 재도전한다는 사실은 작지 않은 우려를 불러일으켰다. 특히 인터넷과 광고 서비스가 주력인 구글이 왜 전형적인 하드웨어 기술인 자동차 개발을 시도하는지에 대해 의문과 회의가 팽배했다.1 1John Markoff (2010-10-09). "Google Cars Drive Themselves, in Traffic". The New York Times2) Sebastian Thrun (2010-10-09). "What we're driving at". The Official Google Blog. Retrieved 2010-10-11 닫기 2 2Sebastian Thrun (2010-10-09). "What we're driving at". The Official Google Blog. Retrieved 2010-10-11 닫기 하지만 이러한 우려에도 불구하고 구글은 이후 20만㎞에 달하는 무인자동차 실험 운행을 통해 기술력을 입증했다. 미국 교통국에서는 도로교통법에 무인자동차 법령을 만들어야 할지를 고민하는 지경에 이르렀다.

구글이 일반적으로 IT 산업과 거리가 멀 것 같은 자동차 기술 개발에 뛰어든 이유는 무엇일까? 그 답은 빅데이터에 있다. 그리고 구글의 무인자동차 개발에서 일반 기업들의 빅데이터를 통한 비즈니스 혁신의 의미를 찾을 수 있다.

빅데이터란 IT와 인터넷 기술이 발달하면서 폭발적으로 증가하는 데이터에서 새로운 의미를 찾아낸다는 기술적 의미에서 탄생했다. 10여 년 전 야후나 구글 같은 인터넷 검색엔진 서비스를 제공하는 기업과 대용량 데이터 인프라를 제공하는 IT 기업에서 기존 데이터양과는 비교할 수 없을 만큼 방대한 데이터를 보관, 처리, 분석하는 방식을 고민하며 생긴 기술적 용어다. 비록 태생은 기술이지만 2011년 이후 이 단어는 기술뿐만 아닌 사회, 문화, 정치 등 삶 전체의 이슈이자 혁신적 패러다임으로 부각되고 있다. 이 기술 중심적 단어가 혁신적 패러다임 이슈로 증폭된 이유는 무엇일까? 이 질문에 대한 답을 구글 무인자동차에서 찾아보자.

1970년대 이후 일반 운전자에게 필요한 자동차의 기계공학적 이슈들이 어느 정도 해결되면서 당시 업계를 주도하던 미국 자동차 회사들은 새로운 이슈에 도전장을 내밀었다. 사람 없이 움직이는 무인자동차였다. 자동차 사고 대부분이 운전자 과실에서 비롯된 것이라는 연구 결과가 무인자동차 개발의 당위성을 제공했다. 하지만 무인자동차 개발은 그리 녹록지 않았다. 자동차의 가속과 정지, 방향을 제어하는 기계적 이슈부터 주위를 인식하고 상황에 대처해 종합적인 판단을 내리는 운전이라는 행위를 기계적으로 대체하는 데는 한계가 있었다.

몇 대의 시험용 무인자동차가 1980년대 소개됐지만 이는 자동차라기보다는 바퀴 달린 실험 장비에 불과했다. 개발에 참여했던 기업들은 하나둘씩 프로젝트를 취소하고 과학자와 엔지니어들의 관심에서도 멀어졌다. 그런데 2010년까지만 해도 실패했던 도전이 구글에 의해 다시 시험대에 올랐고 어느 정도 가시적인 성과를 내기 시작했다. 구글이 무인자동차 개발에서 점진적인 성공을 거둔 이유는 무엇일까? 1980년대에는 불가능했지만 2010년에는 가능하게 만든 기술은 무엇일까? 바로 빅데이터 분석이다.

무인자동차를 움직이려면 주변을 인식하고 주변을 주행하는 다른 자동차를 시각적으로 파악해 모든 정보를 실시간으로 취합해야 한다. 이를 토대로 최적의 속도와 방향을 찾고 운전에 필요한 의사결정을 내려야 한다. 이를 컴퓨터가 알고리즘을 통해 실행한다.

일반적으로 빅데이터의 핵심 기술은 3V와 애널리틱스로 표현된다. Variability 또는 Variety로 표현되는 비정형 데이터 분석, 실시간으로 유입되는 엄청난 자료를 신속하게 분석하는 실시간 분석 능력(Velocity), 그리고 방대한 데이터 분석(Volume)이다. 여기에 이러한 데이터 분석을 바탕으로 수학적 알고리즘을 통해 의사결정을 내리는 애널리틱스(Analytics)가 포함된다.

구글의 무인자동차는 빅데이터 분석을 통해 무인자동차를 실현했다. 구글 자동차에는 다수의 비디오 카메라가 장착돼 운전자의 시각을 대신한다. 비디오로 유입되는 영상 정보는 숫자로 정형화된 데이터가 아닌 전형적인 비정형 데이터다. 자동차 운전자는 운전 중에 주위 자동차들에만 시선을 두지 않는다. 주변 지형과 도로, 목적지까지의 교통 상황을 종합적으로 고려하며 운전한다. 구글은 이미 구글 스트리트뷰라는 기술로 미국 대부분 도로의 정보를 데이터베이스화해서 서비스를 제공하고 있다. 이미 저장된 도로 정보를 운전 주행에 연계해 무인자동차 제어에 활용한다. 여기에 바로 빅데이터의 특성인 방대한 데이터 분석기술이 활용된다.

또한 자동차 운전의 특성상 순간순간 실시간으로 유입되는 정보를 신속하게 분석해야 한다. 여기서 빅데이터 분석의 또 다른 핵심 기술인 실시간 분석이 응용되는 것이다. 마지막으로 이러한 정보를 바탕으로 수학적 알고리즘을 통해 실시간으로 속도와 방향을 제어하는 것이 바로 애널리틱스다. 이처럼 과거 1980년대 기계공학과 전자공학만으로는 실현 불가능했던 무인자동차를 빅데이터 기술로 가능하게 한 것, 이것이 바로 구글의 무인자동차 개발이 갖는 의미이자 빅데이터 자체의 의미다. 데이터 분석능력이 핵심 경쟁력인 구글이 무인자동차 개발에 투자하는 것은 그리 놀라운 사실이 아니다.

무인자동차 사례는 과거 불가능했던 일을 데이터 분석을 통해 가능하게 한 예다. 무인자동차 개발이라는 목표를 두고 많은 기계공학자 및 전자공학자들이 고민하던 이슈를 데이터라는 새로운 시각으로 접근한 구글은 자신들만의 빅데이터 분석 기술을 통해 이를 해결했다.

 

 

기존 데이터 분석과 빅데이터 분석의 차이점

빅데이터 분석이 기존 분석과 갖는 차이점은 크게 3가지로 요약된다.

1. 리포트가 아닌 결과 중심

2. 과거가 아닌 현재의 현상 파악

3. 예측 목적이 아닌 액션 중심

이제까지는 데이터를 분석한다고 하면 지난 분기 매출이 얼마며 지난 달 고객의 주요 구매 상품이 무엇이라는 식의 리포트를 결과물로 내놓는 과정을 의미했다. 즉 데이터 분석을 한다고 하면 이러한 자료들을 바탕으로 그래프를 그리고 퍼센트로 계산해서 그 의미를 해석한 리포트가 전부였다.

하지만 빅데이터 분석에서 이러한 리포트는 의미가 없다. 데이터 분석의 목적은 분석 그 자체가 아니라 데이터를 통해 의사결정을 내리고 그 결정을 바탕으로 행동에 나서는 것이기 때문이다. 즉 분석-의사결정-실행의 연결고리를 이어주는 것이 바로 애널리틱스의 역할이다.

빅데이터 분석은 애널리틱스를 수반하므로 즉각적인 효용을 기대할 수 있다. 세계 최대 리테일러인 아마존의 광고 전략이 좋은 예다. 미국 아마존닷컴에서는 개개인의 구매 데이터를 모아 모든 고객의 구매 패턴과 판매하는 모든 상품의 상관관계를 실시간으로 분석해 고객이 구매할 확률이 높은 상품을 추천한다. 데이터 분석(구매 데이터), 의사결정(어떤 고객에게 특정 상품을 추천), 액션(e메일 발송) 등 전 과정이 알고리즘화된 애널리틱스를 통해 이뤄진다.3 3<경영학 콘서트>, 장영재 저 닫기 만일 이러한 광고 메일이 광고에 소개된 상품 매출에 기여하는지 아닌지는 명확히 판별할 수 있다. 이처럼 빅데이터 분석과 애널리틱스는 단순히 어떤 리포트를 작성하는 것뿐만 아니라 특정 의사결정과 액션이 함께 묶여 그 효용을 명확히 파악할 수 있는 것까지를 포함한다.

기존 데이터 분석과 빅데이터 분석의 또 다른 차이점은 분석의 즉시성이다. 기존 분석을 통한 리포트 작성은 과거 트렌드를 짚어내는 일을 목적으로 했다. 지난 달 매출이 얼마고 지난 분기 성장률이 얼마였냐는 식의 결론을 내린다. 과거에는 데이터 수집과 취합된 데이터 분석에 많은 시간과 노력이 필요했다. 이렇다 보니 데이터 취합에서 리포트 결과 도출까지 시차가 컸다. 이 때문에 데이터 분석 리포트는 과거형 서술만 가능했다.

하지만 요즘은 발달된 IT 시스템과 휴대기기의 발달로 실시간으로 유입되는 데이터 수집이 가능하다. 본문에 소개된 패션 기업 자라가 상품을 기획하고 생산할 때 트렌드를 예측하지 않고 현재 유행을 바로 파악하고 즉시 생산해 시장에 선보이는 패스트 패션 전략을 취하고 있다는 사실은 유명하다.4 4DBR 81호, p78. ‘패스트 패션 자라, 놀랍게 빠른 성장비밀’ 참조 닫기 자라의 각 매장은 일주일에 두 번 본사에 상품을 주문하는데 북미와 유럽 지역 매장에서는 당일 매출 데이터를 지속적으로 분석해 어느 매장에 어떤 상품이 얼마만큼 배포돼야 할지 애널리틱스를 통해 결정한다. 과거 데이터 분석에서 그치지 않고 바로 지금 여기의 데이터를 즉시 분석해 의사결정에 반영하는 즉시성이 기업 운영의 핵심 전략으로 활용되는 것이다.

마지막으로 빅데이터 분석이 기존 데이터 분석과 차이를 보이는 것은 전수 분석을 통한 결과 중심적 운영이나 행동을 도출한다는 점이다. 아직도 많은 기업들이 데이터 분석을 고려할 때 ‘데이터를 분석하면 좀 더 정확하게 예측할 수 있나’는 식으로만 접근한다. 다음에 유행할 시장 흐름 또는 특정 상품의 선호도 등 예측에만 집중하고 있는 것이다. 하지만 예측의 목적이 무엇인지를 다시 생각해볼 필요가 있다. (특정 산업에 속한 기업을 제외하고) 기업 운영의 목적은 예측이 아니다. 좀 더 낮은 비용으로 서비스나 상품을 제공하거나 필요한 고객에게 필요한 상품이나 서비스를 제공하는 것이 기업의 목적이다. 예측은 이러한 목적을 달성할 때 좀 더 효율적으로 접근하기 위한 수단이다.

이러한 맥락에서 단지 예측에만 집중하는 것보다 결과 중심적으로 비용을 줄이거나 매출을 늘리거나, 혹은 서비스를 향상하는 식으로 데이터 분석의 목표와 기업 운영의 목적을 결합해야 데이터 분석의 가치가 높아질 수 있다. 앞서 소개한 아마존닷컴과 자라의 경우 예측 그 자체보다는 분석의 목적이 효과적인 광고로 매출을 올리고 고객에게 필요한 상품을 바로 전달한다는 매우 구체적인 액션에 집중했다. 즉 방대한 데이터를 사용할 수 있는 빅데이터 시대에는 예측 측면에서만 그 가치를 볼 것이 아니라 구체적인 액션으로 가치 판단과 무게중심을 옮겨야 한다. 이것이 바로 빅데이터의 새로운 가치라고 할 수 있다.

장영재 교수가 기업들에서 들은 빅데이터 관련 질문 베스트3

1. 빅데이터는 IT솔루션 업체들이 만들어낸 또 하나의 마케팅 수단이다?

현재 빅데이터 이슈에 다소 거품이 있는 것은 사실이다. 그리고 빅데이터 기술을 표방해서 인프라 세일즈에 열을 올리는 기업도 상당히 있다. 하지만 거품이 좀 있다고 해서 단순히 다가왔다가 금방 사라질 만한 트렌드는 아니다. 우선 기업 내 쌓이는 데이터 양을 보라. 국내 기업들의 경우 지난 10년간 적극적인 IT 투자로 상당한 데이터를 축적해왔다. 엄청나게 많은 양의 데이터가 그저 쌓이기만 하고 있다는 것, 이것은 분명한 사실이다. 하나 더, 이 데이터가 잘 활용되지 않고 있다는 것도 간과할 수 없는 사실이다. 대다수 기업들이 데이터를 모아두기만 할 뿐 거의 사용하지 않고 있다. 즉 데이터가 많이 있고 매년 더 빠르게 쌓이고 있다는 사실과 이런 데이터가 아직 잘 활용되지 않고 있다는 두 가지 사실만큼은 기업에서도 인정한다. 이 두 가지를 잘 연결해야 한다. 빅데이터가 허상인지 아닌지는 그리 중요하지 않다. 중요한 것은 일부 글로벌 기업들이 방대한 데이터를 활용해 성공적인 운영 사례를 만들어내고 있다는 것이다. 또한 앞으로 더 많은 데이터가 쌓일 것이다. 판단은 기업의 몫이다.

2. 빅데이터를 활용하기 위해서는 비정형 데이터 분석이나 하둡과 같은 특정 기술이 필요하다?

본문에서도 소개했듯 필자가 반도체 기업에서 근무하던 시절, 반도체 장비에서 생성되는 방대한 데이터를 분석해 380억 달러의 직접적인 비용 절감을 실현한 바 있다. 그런데 당시 빅데이터라는 타이틀을 걸고 프로젝트를 수행했던 것은 아니다. 장비에서 쏟아지는 엄청난 양의 데이터를 분석해야 하는데 기존 방식으로는 분석이 불가능했다. 그때 떠오른 생각이 구글에서 검색할 때는 검색어를 치자마자 결과가 뜨는데 장비 데이터 분석은 왜 실시간으로 결과를 볼 수 없을까라는 것이었다. 여기서 착안해 구글과 같은 기업에서 사용하는 기법을 공부했고 이후 하둡 등 새로운 방식의 기술이 있다는 사실을 깨달아 관련 기술을 적용했다. 빅데이터라는 개념도, 의미도 분명하지 않을 때였지만 목적이 분명했고 이후 관련 기술을 적용해 성공적인 결과를 얻은 케이스였다.

여기서 빅데이터 분석을 실제로 사용했는지 아닌지는 중요하지 않다. 핵심은 문제 인식을 토대로 해결에 주력했으며 그 과정에서 빅데이터에서 통용되는 기술을 끌어다 썼다는 점이다. 즉 분석의 목적이 무엇이고 그러한 분석을 위해 무엇을 해야 하는지에 대한 문제 인식이 있다면 이를 수행하다가 빅데이터 관련 기술을 도입하면 된다. 빅데이터 관련 인프라를 내세우는 솔루션 업체의 특정 하드웨어나 소프트웨어를 도입하지 않고 기존 인프라로 해결할 수 있는 분석도 있다. 중요한 것은 무엇을 하느냐지 어떻게 하느냐가 아니다. 특정 기술이 필요하다면 그때 전문가의 도움을 받아 해결하면 된다.

3. 데이터가 없는 기업에 빅데이터 패러다임은 그림의 떡이다?

빅데이터 패러다임의 핵심은 방대한 데이터를 분석하는 그 자체가 아니다. 현대 디지털 사회 그리고 데이터를 통한 효율적인 기업 운영이다. 기업에 데이터가 없다면 그 기업의 관리 능력을 의심해야 할 것이다. 오늘날과 같은 데이터 중심의 사회에서 정보와 데이터 관리 없이 기업 운영이 잘되고 있다고 보기는 어렵다. 회계 장부 없는 기업을 투명하다고 평가할 수 없는 것과 마찬가지다.

빅데이터 패러다임의 또 다른 핵심은 데이터를 통한 관리다. 빅데이터 패러다임은 방대한 데이터를 분석한다는 기술적인 면보다 데이터를 취합하는 데 많은 노력이 필요하지 않은 현대 디지털 세상의 기술을 활용해 기업 운영을 혁신해보자는 데 있다.

빅데이터의 새로운 패러다임

지난 10년간 IT와 인터넷이 발전하면서 엄청난 데이터가 생성됐다. 특히 스마트폰의 대중화와 트위터나 페이스북과 같은 소셜미디어의 사용 증가는 데이터 생성의 새로운 차원을 열고 있다. 또한 과거에는 이런 데이터들이 만들어지더라도 저장 공간의 기술적인 한계와 비용 문제 때문에 야후나 구글 등 데이터 전문 기업이 아닌 일반 기업들은 관심조차 갖지 않았다. 당시에는 대용량 데이터를 다루는 기업에 이를 관리하고 다루는 학자들이 하나둘 생겨나면서 이들을 칭하는 ‘데이터 사이언티스트(Data Scientist)’라는 새로운 직종이 생겼다. 하지만 이들 외에는 데이터의 축적과 활용을 심각하게 고민하는 주체가 거의 없었다. 이처럼 최근 몇 년 전까지만 해도 빅데이터는 데이터 전문 기업 일부, 그중에서도 데이터 사이언티스트라고 불리는 소수 인원들의 고민거리이자 기술적 이슈에 불과했다. 당시 빅데이터의 의미 또한 페타바이트(PB) 이상 또는 제타바이트(ZB) 이상 등 특정 용량 이상을 칭하는 의미로 통용되거나 기존 데이터베이스에 담을 수 없는 규모를 지닌 데이터를 칭하는 등 매우 기술적이고 편협한 의미로만 정의됐다.

특정 전문 기업들의 전유물이었던 빅데이터가 불과 몇 년 사이에 하드웨어 가격 하락과 분석기술의 발달로 일부 기업만이 아닌 다양한 산업의 기업들 사이에서도 관심을 얻고 있다. 유통회사들은 쌓아놓기만 했던 고객들의 주문 정보를 분석하기 시작했고 카드회사들은 회원들의 구매 패턴에 관심을 갖기 시작했다. 교통 물류 기업들은 상품의 이동 경로와 여행객의 이동 경로가 새로운 비즈니스 기회를 가져다 줄 수 있다는 사실을 깨달았고 광고회사는 개개인의 취향을 파악하면 고도화된 전략을 세워 과거에는 상상도 할 수 없었던 효과를 얻을 수 있을 것이라는 확신을 갖기에 이르렀다.

새로운 흐름에 맞춰 과거 전문가들 사이에서만 통용되던 빅데이터의 정의도 확대되고 있다. 특정 용량 이상이나 기존 데이터베이스로 처리가 불가능한 규모의 데이터를 칭하던 의미가 기술 혁신에 맞춰 다시 정의돼야 했다. 새로운 데이터 처리 기술이 개발되면서 어제는 처리하지 못하던 용량의 데이터를 오늘은 처리할 수 있게 됐다면 어제의 빅데이터가 오늘은 일반 데이터가 돼야 한다는 모순이 생긴다. 하루가 다르게 기술이 발달하는 세상에서는 특정 용량을 기준으로 빅데이터냐, 일반 데이터냐를 구분하는 것이 의미가 없다.

빅데이터는 과거 IT 업계에서 화두를 던진 웹2.0이나 클라우드 컴퓨팅과 같은 기술적 이슈, 그 이상의 의미를 지닌다. 이는 새로운 패러다임을 의미하기 때문이다. 구글의 무인자동차처럼 과거 패러다임에서는 불가능했던 일이 빅데이터와 그 활용을 통해 가능해지는 것이다. 데이터를 바탕으로 새로운 경쟁력을 갖게 된다는 의미다. 따라서 빅데이터를 단지 기술적으로만 이해한다면 내포된 의미와 가능성, 기회를 간과할 수 있다. 그렇다면 기업이 빅데이터를 활용하기 위해 필요한 조건은 무엇일까?

빅데이터 활용을 위한 전략①빅데이터 패러다임의 이해

빅데이터가 기술적 이슈에서 사회적 화두가 된 것은 단순한 기술적 발전 이상의 의미를 지닌다. 빅데이터를 논할 때는 하둡(Hadoop)이나 맵리듀스(MapReduce)와 같은 특정 기술이나 인프라 혹은 데이터마이닝 기술과 같은 분석 방식을 이야기하기 전에 그 본질의 의미와 핵심을 파악하는 일이 필요한 이유다. 그 본질의 중심에는 의사결정에 필요한 모든 정보를 취할 수 있다는 새로운 의사결정의 개념이 있다.

과거 데이터가 지금처럼 풍부하지 않고 데이터 분석 역량에도 한계가 있던 시절에는 우리가 내리는 의사결정에 필요한 정보가 늘 충분하지 않다는 암묵적인 가정이 존재했다. 데이터가 충분하지 않았기 때문에 소수의 데이터를 뽑아서 전체를 파악하는 고전 통계가 분석론의 전부이자 한계였다. 선거 때 활용되는 출구 조사나 공장에서 불량률을 파악하는 샘플링이 그 예다. 그러나 이제는 많은 비용이나 노력을 들이지 않아도 의사결정에 필요한 다양한 데이터를 수집할 수 있는 기술적 기반이 마련됐다.

반도체 공장과 같은 첨단 시설이 이용되는 제조시설에서는 이미 시시각각 모든 상황이 데이터베이스에 저장되고 모든 제품의 상황이 모니터된다. 일부만 뽑아 검사하는 시대는 이미 지나갔다. 모든 사항을 전량 검사하고 실시간으로 불량 여부를 판단하는 데 기술적으로 아무런 무리가 없기 때문이다. 미국의 최대 DVD 렌털과 실시간 영화 스트리밍 서비스 제공업체인 넷플릭스(Netflix)의 경우 회원 고객 모두의 과거 DVD 렌털 내역과 영화 평점을 바탕으로 개인별 취향에 맞는 영화를 추천해준다. 이 서비스는 기업의 핵심 전략으로 넷플릭스가 수년 만에 이 분야 최대 기업으로 성장할 수 있었던 비결이다. 넷플릭스는 수백만 고객의 행동 패턴과 수십만 개의 DVD 영화 평점을 함께 분석한다. 몇몇 고객의 샘플링이 아닌 전체 분석이다. 넷플릭스의 데이터마이닝 기술력을 학계에서도 인정하는 이유다.

물론 기업을 운영하는 데는 수많은 의사결정이 필요하고 이렇게 통합된 분석이 필요로 하는 모든 의사결정에 100% 정확한 답을 지원하지는 않는다. 그러나 기술의 발전 속도를 가늠해볼 때 필요한 모든 정보를 담아 보다 나은 의사결정에 도움을 주는 시대가 곧 도래할 것이라는 사실에는 의문의 여지가 없다. 비록 1980년대에는 불가능했지만 그로부터 30년 후 자동차 주행에 필요한 모든 데이터를 취합해 결국 무인자동차 운행에 성공한 구글의 케이스가 이를 뒷받침한다.

이러한 데이터를 어느 곳에서 먼저 기업 경쟁력으로 승화시키느냐가 관건이다. 이는 기술의 역할이 아닌 기업의 몫이다. 즉 인류가 의사결정을 내릴 때 항상 정보가 부족하다는 가정을 수정해야 할 때가 온 것이다. 이것이 바로 빅데이터가 창조하는 새로운 패러다임이다.

빅데이터 활용을 위한 전략②데이터 중심적 기업 문화

아무리 기술이 발전해도 사용하는 이들의 방식이 변하지 않는다면 효용을 기대할 수 없다. 새로운 인프라 기술이나 분석 시스템을 도입하더라도 빅데이터를 IT 이슈로만 치부해 사용 및 의사결정 프로세스가 혁신되지 않는다면 새로운 패러다임의 도입은 결코 성공할 수 없다. 새로운 패러다임은 단순한 기술과 인프라 이슈가 아닌 조직과 문화의 이슈다. 매일 내리는 의사결정에서 사실을 근거로 한 데이터 분석이 얼마나 이뤄지고 있는지, 그리고 이러한 작업의 효율을 높이기 위해 어떤 노력을 기울여야 하는지 고민해야 한다. 1990년대 말 세계1위 반도체 기업이었던 미국의 마이크론테크놀로지가 몇 번의 전략적 판단 오류로 2000년대 중위권으로 추락한 후 기업 혁신을 위해 단행한 첫 번째 작업이 바로 데이터 기반의 기업 문화 조성이었다. 아무리 작은 회의나 사소한 의견이라도 데이터를 근거로 의견을 개진하게 하는 교육을 실시했고 모든 사원을 대상으로 기본적인 데이터베이스 활용 교육을 시행했다. 그리고 기업 내 모든 자료를 통합하고 필요한 자료를 효율적으로 취합·분석할 수 있는 BI툴과 공급사슬망 운영, 제조시설 운영의 수학적 알고리즘을 바탕으로 한 애널리틱스 의사결정 시스템을 자체 개발했다. 기업 운영의 실시간 현황이 관련자들에게 같은 형태의 데이터로 제공됐고 애널리틱스를 적극 활용해 의사결정이 더욱 정교하게 내려질 수 있도록 했다.

그 결과 메모리 반도체 3위 기업인 독일 퀴몬다가 파산하고 4위 기업인 일본 엘피다가 법정관리 신청에 들어가는 등 반도체 산업이 휘청거렸던 지난 5년간 마이크론은 신속한 시장 대응을 통해 그 입지를 굳건히 유지하고 있다. 최근에는 법정관리에 들어간 엘피다 인수를 추진 중인데 이러한 전략도 사전에 갖춰진 애널리틱스 툴을 토대로 추진되고 있으며 이를 통해 메모리 반도체 1위 재탈환을 노리고 있다.

마이크론은 빅데이터라는 기술이 화두가 되기 전부터 이미 빅데이터 분석 도입에 적극 나섰다. (이 프로젝트에는 필자가 직접 참여했으며 구체적인 내용은 DBR 101호 Management Science 2.0 코너에서 찾을 수 있다.) 마이크론은 반도체 공장 내부의 실시간 로그 파일을 분석해 장비의 비효율 패턴을 감지했고 이를 통해 비효율의 원인을 규명했다. 이후 애널리틱스를 통해 최적의 생산 방식을 디자인해서 같은 장비에서 생산성을 10% 이상 향상시킬 수 있는 방법을 고안했다. 동일한 장비에서 생산성을 10% 올린다는 것은 이제까지 10대가 있어야 생산할 수 있었던 양을 9대만으로도 가능해진다는 의미다. 마이크론은 이 프로젝트의 실행으로 절감한 비용을 350억 달러로 추산하고 있다.

마이크론이 빅데이터 분석 시스템 도입으로 효과를 극대화할 수 있었던 가장 큰 요인은 ‘데이터를 기반으로 한 의사결정’이라는 기업 문화다. 직원들 사이에 데이터를 중요시하고 이를 바탕으로 하는 의견 개진 및 의사 결정이 문화로 자리 잡으면서 빅데이터 분석의 효용이 커졌다. 빅데이터 도입에 앞서 데이터에 대한 인식부터 달라져야 하는 이유다. 숫자를 숫자 놀음으로만 여기는 기업에서 빅데이터 기술은 한낱 굴러다니는 돌멩이에 불과할 수 있지만 그 가치를 아는 기업에는 보석이 될 수 있다.

빅데이터 활용을 위한 전략③예측만이 다는 아니다

아직 많은 기업들이 빅데이터 분석 활용이라고 하면 단순히 소셜미디어나 시장 분석을 정확히 해서 예측을 좀 더 잘해보겠다는 아이디어부터 내놓는다. 하지만 과연 빅데이터 분석만으로 좀 더 정확한 시장 예측이 가능할까? 이 질문에 답하기 전에 빅데이터 패러다임을 다시 한번 점검해야 한다. 기존 데이터 패러다임과 빅데이터 패러다임의 차이는 의사결정을 할 때 필요한 정보를 가지고 있거나 취합할 수 있느냐다. 시장 상황을 분석할 때 과거 분석에서 고려하지 않았던 소셜미디어나 검색어 트렌드 등은 당연히 시장에 대한 새로운 통찰력을 얻는 데 도움이 된다. 그러나 항상 급변하는 시장을 예측하는 일은 그리 녹록지 않으며 빅데이터 활용에서 예측은 수많은 응용 분야 중 극히 일부분에 지나지 않는다.

기업의 전략과 니즈에 맞춰 빅데이터 분석을 적절히 잘 활용한 사례를 자라(ZARA)와 볼보(Volvo)에서 찾을 수 있다. 패션 브랜드 자라는 시시각각 변하는 패션 시장에서 예측보다는 신속하게 대응하는 공급 전략을 취하고 있다. 빅데이터 활용도 이런 전략에 맞춰 시장 예측보다는 운영의 신속한 의사결정에 중점을 두고 있다. 실시간으로 유입되는 전 세계 매장 데이터를 분석해서 어느 배송지에서 어떤 상품 몇 개가 어떤 매장으로 어느 날 배송돼야 할지를 실시간 데이터 분석과 애널리틱스 알고리즘을 통해 결정한다. 빅데이터의 실시간 분석, 즉 velocity와 애널리틱스 활용에 중점을 둔 것이다. 자동차 제조사인 볼보도 자동차 텔레매틱스에서 유입되는 센서 데이터를 통해 자동차의 이상 유무를 실시간으로 모니터링하다가 특정 부품에서 지속적인 문제가 발생하자 신속한 리콜 조치를 취했다. 자라와 볼보의 사례는 의사결정에 필요한 모든 데이터를 실시간으로 취합해 애널리틱스를 통해 각 기업 상황에 맞는 최적의 의사결정을 한다는 공통점을 갖는다. 빅데이터를 단순히 시장을 예측하는 소스로 보지 않고 기업 니즈와 전략적 상황에 맞춰 창의적인 아이디어로 활용했다는 점에서도 공통점을 지닌다.

빅데이터 활용을 위한 전략 - 전문가 활용

많은 기업들이 빅데이터 활용에 고심하고 있다. 한편으로는 과연 우리 기업에 어떤 방식으로 도입해 이용해야 할까에 대해 명확히 그림이 그려지지 않는 것이 현실이다. 비용을 들여 인프라를 도입하자니 그 결과가 명확하지 않고, 그렇다고 추이를 지켜보자니 앞서가는 경쟁업체 모습에 불안하기도 하다. 이럴 때는 전문가 활용을 적극 권하고 싶다. 전문가들은 기업 내부 이슈와 니즈를 파악해 기업에 맞는 빅데이터 솔루션을 제안할 수 있고 자체 교육을 통해 기업 내부인을 빅데이터 활용의 도구로 자리 잡게 할 수도 있다. 이를 바탕으로 작지만 효과적인 성공 스토리를 만들 수 있는 단기 프로젝트를 통해 그 효용을 입증해 기업 내 공유하는 것이 첫 번째 해야 할 작업이다. 이후 기업 내 구성원들의 이해도가 성숙되고 어떤 작업을 할지에 대한 의견이 모이면 구체적인 그림이 그려지면서 본격적인 인프라 투자를 고려할 수 있다.

과거 기계적·전자적 패러다임에서는 실현하지 못했던 무인자동차가 빅데이터 패러다임에서는 가능하게 됐다. 기업 역시 과거에는 불가능했던 새로운 기회를 찾아 모험을 준비해야 할 때다. 빅데이터는 단지 인프라나 분석 방식의 이슈가 아니다. 경영의 새로운 패러다임이다. 기업이 망하는 이유는 무엇을 잘못했기 때문이 아니라 새로운 패러다임을 인식하지 못했기 때문이라는 피터 드러커의 말을 다시 한번 새겨볼 필요가 있다.

장영재 카이스트 산업 및 시스템 공학과 교수 yjang@kaist.edu

장영재 교수는 미국 보스턴대 우주항공과를 졸업하고 미국 메사추세츠공대(MIT) 기계공학 석사 학위와 MIT 경영대학원(슬론스쿨)에서 경영과학 석사 학위를 받았다. 이어 MIT 기계공학과에서 불확실성을 고려한 생산운영방식에 관한 논문으로 박사 학위를 취득했다. 이후 반도체 기업인 마이크론 테크놀로지 본사 기획실의 프로젝트 매니저로 과학적 방식을 적용한 원가절감 및 전략적 의사결정을 지원했다. 현재는 카이스트 산업 및 시스템공학과 교수로 재직 중이다. 저서로는 <경영학 콘서트>가 있다. 트위터 아이디는 @youngjaejang이다.