빅데이터를 어떻게 활용할 것인가를 고민하기 위해서는 무엇보다 데이터(data)의 특성을 이해할 필요가 있다. 세상에는 여러 종류의 데이터가 존재하지만 기존의 데이터라는 것은 정형 데이터(Structured Data)로 일정한 규칙에 의해 규정되고 정형화된 숫자나 문자를 지칭했다. 일반적으로 ‘데이터를 분석한다’는 의미는 ‘목적에 맞게 정형화되고 시스템에 담을 수 있는 데이터’를 대상으로 한다는 것을 뜻하며 그 외 비정형화된 데이터(Unstructured Data, 문서, 전자우편, 메모, 각종 멀티미디어 자료 등)는 중요하게 취급되지 않거나 아예 버려지기 일쑤였다.
하지만 인터넷이 발달하면서 이 세상에 존재하는 데이터는 비정형 데이터가 정형 데이터보다 훨씬 많아졌다. 이제는 그 규모를 비교할 수 없을 정도로 비정형 데이터들이 쌓여 만든 어마어마한 데이터 더미가 기업들에 가치를 제공할 수 있을 것이라는 시각이 생기기 시작했다. 빅데이터라고 불리는 최근의 조류는 비정형 데이터를 활용해 새로운 측면에서의 정보와 기회를 얻자는 취지에서 나타났다.
비정형 데이터의 중요성이 커지면서 기존 시스템만으로는 분석에 한계가 생겼고 이에 따라 어드밴스드 애널리틱스(Advanced Analytics·선진 분석 기법)가 새롭게 주목을 받게 됐다. 구체적으로 말해 어드밴스드 애널리틱스는 비정형 데이터를 활용해 미래 예측이 가능한 의미 있는 정보를 추출하기 위한 분석을 말하지만 최근에는 통상적으로 빅데이터를 활용한 분석을 의미한다.
사실 어드밴스드 애널리틱스에 활용되는 분석 기법은 기존 통계적 분석 기법상 존재하는 내용이 대부분이다. 때문에 기존 BI(Business Intelligence·비즈니스 인텔리전스) 분석 기법과 차이가 크지는 않다. 하지만 분석의 대상이 되는 데이터의 특성과 분석의 목적이 상대적으로 차이가 있기 때문에 다음과 같은 기준에 따라 <표1>과 같이 구분할 수 있다.
그렇다면 어드밴스드 시스템을 도입하면 기존 BI는 필요 없게 되는 것일까? 그렇지는 않다. 기업이 활동을 하는 중에 데이터는 자연 발생적으로 계속 생겨나고 이러한 데이터는 무결성이나 독립성 등이 보장되는 틀 안에서 보관되고 관리돼야 한다. 결국 안전한 데이터 운영 및 관리를 위해서는 기존 DBMS(Data Base Management System)가 여전히 필요하다. 또 이 데이터들을 기반으로 수행되는 분석도 지속적으로 필요할 것이다. 결국 당분간 어드밴스드 애널리틱스와 전통적인 BI는 상호 보완적 관계로 각자의 영역을 가져갈 것이다. 하지만 어드밴스드 애널리틱스가 보편화된 이후에는 기업 내 모든 분석이 BI라는 체계하에 정의되더라도 기업 내 분석의 중요성 및 위상은 어드밴드스 애널리틱스로 더욱 높아질 것으로 보인다.
빅데이터의 활용 방안 및 산업별 사례
빅데이터는 내/외부, 정형/비정형 데이터를 포괄한다. 결국 빅데이터 활용의 핵심은 수많은 데이터 가운데 무엇이 특별한지를 인식하고 분석을 통해 데이터가 주는 의미를 알아내는 것이다. 산업을 선도하는 대부분 기업들은 조직 내/외부에 존재하는 정보를 정교하게 이용하는 일이 고성장(High Performance)을 추진하는 데 매우 중요하다는 것을 인지하고 있으며 특히 일부 기업은 빅데이터야말로 오늘날의 치열한 시장환경에서 자사를 차별화할 수 있는 새로운 기회가 될 것이라고 보고 있다.
빅데이터를 활용하는 방법은 매우 다양하다. 시장조사를 할 때 트렌드를 읽어낼 수 있고 중장기 전략을 수립할 때 현재 동향과 고객의 감성, 제품 선호도 변화 및 앞으로의 흐름을 알아낼 수 있다. 프로모션을 펼칠 때 소비자가 누구인지, 무엇을 구매했는지, 프로모션에 어떻게 반응했는지 등을 파악해 목표 고객을 설정할 수 있으며 과거 정형화된 정보와 반복적으로 갱신되는 단편적 정보들을 결합해서 소비자가 상점에 있는 동안 실시간 프로모션을 진행할 수도 있다. 뿐만 아니라 ERP(Enterprise Resource Planning·전사적 자원관리)를 통해 얻을 수 있는 각종 기업 내부 데이터(재고, 거래정보, 실적정보, 프로모션 정도 등)를 보다 빠르게 분석할 수 있고 기존 자사 고객뿐 아니라 잠재적 고객에 대해서도 보다 구체적으로 정보를 수집해 가공할 수 있다.
그런데 여기서 중요한 점은 빅데이터가 적용되는 방식이 산업별 또는 업무 영역별로 서로 다르다는 것이다. 이는 기업마다 속해 있는 산업의 특성이나 운영하고 있는 비즈니스 모델의 형태에 따라 이를 구성하는 운영모델의 구성, 수익창출의 소스, 가치 제공의 대상 및 범위에 따라 필요한 정보와 필요성에 대한 우선순위가 달라지기 때문이다. 예를 들어 유통산업이나 통신산업의 경우 고객 개개인의 정보가 매우 중요하고 이를 분석하는 일에 초점을 맞추지만 유틸리티 산업은 설비 및 생산 공정에 역량을 집중한다. 결국 분석 활동은 핵심 역량을 강화하기 위한 수단이므로 빅데이터가 활용되는 분야 역시 산업 및 비즈니스 모델의 핵심 역량이 어느 곳에 집중되는지에 따라 달라진다.
실제로 빅데이터의 도입과 활용에 대한 해외 선진기업들의 사례를 보면 산업별로 활용의 초점이 다르게 나타나며 기업별 단위로 내려가면 그 차이의 격차가 더 커진다. 사실 빅데이터는 목적이 아닌 수단이며 빅데이터 도입 자체가 가치를 주는 것이 아니라 빅데이터가 주는 정보를 실제 업무에 반영해 기존 업무의 수행 역량과 성과를 높여서 가치가 창출되는 것이므로 빅데이터를 도입하는 것은 산업과 비즈니스의 특성을 고려해서 분석의 목적을 분명히 해야 한다. 어떤 데이터를 갖고 어떤 분석을 수행할 것인지 전략을 명확히 하지 않은 채 무조건 도입부터 서두르다가는 긍정적인 효과를 기대하기 어렵다. 즉 과연 우리 기업이 업무상 필요로 하는 정보가 무엇인지, 정보를 생산하기 위해 필요한 데이터소스는 어디 있는지, 이를 어떻게 가공해서 유의미한 정보로 만들 것인지, 생산된 정보를 어떻게 활용 및 관리할 것인지를 명확히 해야 한다. 그리고 이렇게 가공된 정보가 기업 성과에 어떤 순기능적 역할을 수행할 수 있을지를 파악하고 공감대가 형성되도록 해야 한다.
그렇다면 선진 기업들은 빅데이터를 어떤 목적으로 도입해서 어떻게 활용해 성과를 냈는지 몇몇 산업의 대표적인 사례를 토대로 살펴보겠다.
