빅데이터 남용시대 실속 있는 활용법은?

빅데이터 남용시대 실속 있는 활용법은?

바야흐로 빅데이터의 시대다. 과학적 예측이 전공인 필자처럼 데이터를 분석하는 것을 평생의 업(業)으로 삼고 사는 사람보다 평범한 사람들이 ‘빅데이터’란 단어를 더 많이 입에 달고 살고 있다. 우리에게 데이터가 왜, 그리고 얼마나 중요하기에 이토록 이 단어가 남발되는 것일까.

빅데이터라는 화두가 유행하면서 많은 개인과 단체, 기업들이 빅데이터 분석에 대해 알고 실제로 활용하기를 원한다. 그러나 빅데이터는커녕 자료 자체를 확보하지 못하는 경우가 종종 발생한다.

게다가 면밀히 살펴보면 사실 빅데이터 자체가 필요하지 않을 때도 많다. 예컨대 신상품 수요 예측 및 사업성 분석을 할 때 빅데이터보다 소비자 설문 방식이나 패널 분석이 더 효과적일 수도 있을 것이다. 그런데도 모두가 빅데이터에 목을 매는 것은 ‘빅데이터 신드롬’을 통해 경제적 이득을 취하려는 집단이 많아졌기 때문이다. 진지하게 빅데이터의 효용 가치나 분석법을 연구하지 않은 이들까지 나서서 책을 쓰고, 컨설팅을 하고, 빅데이터라는 새 언어를 모르면 디지털 문맹이 될 것처럼 말한다. 이들이 화려하게 띄워 올린 풍선 탓에 많은 이들이 빅데이터가 만병통치약이라도 되는 양 핑크 빛 꿈을 꾸게 된 것이다.

물론 빅데이터는 훌륭한 기술이다. 예컨대 소셜네트워크서비스(SNS) 내 단어 속에서 키워드를 분석하는 기술은 획기적인 분석법이다. 통상 숫자를 통해 분석했던 기법을 벗어나 이를 통해 사람들의 심리나 관심사를 효과적으로 읽어낼 수 있을 것이다.

하지만 지금 좀 더 관심을 가져야 할 부분은 빅데이터를 어떻게 활용하는가다. 최근 빅데이터에 대한 관심이 커지면서 좋은 데이터를 수집하는 기술에 대해서는 많은 발전이 이뤄졌다. 또 실제로 양질의 대량 데이터를 확보할 수 있게 됐다.

그러나 이런 데이터를 확보한 기업들조차 어떤 자료를 선택해 사용해야 할지 난감해 하고 있다. 이미 수집하고 저장해온 유사 자료가 너무 많아 선택에 어려움을 겪는 것이다.

이는 데이터를 긁어 모으는 데만 집중하고 이를 해석하고 분석하는 방법에 대한 연구는 소홀히 했기 때문이라고 볼 수 있다. 현재 국내뿐 아니라 전 세계적으로도 빅데이터를 제대로 활용할 수 있는 분석적 통계 기술 발전은 답보 상태에 빠져 있다. 신드롬에 걸맞은 분석 기술 발전 속도가 실현되지 않고 있는 셈이다.

이제부터라도 빅데이터만 일단 확보하면 뭐든 해낼 수 있을 것으로 생각하는, 빅데이터 신드롬 속 거품을 걷어내고 좀 더 냉철하게 상황을 분석해야 한다. 용어 자체의 신선함에 빠져 이를 추종하기에 앞서 빅데이터의 활용 목적이 무엇인지 진지하게 고민해야 한다는 뜻이다. 우리 정부, 기업, 개인의 목표가 무엇인지 명확히 설정해야 한다. 그리고 그 목표를 달성하기 위해 필요한 자료가 있는지 살피고, 없다면 어떻게 수집해 어떻게 사용할지 신중히 검토해야 한다.

또 이왕 빅데이터라는 대세에 제대로 올라타기로 했다면, 이를 효율적으로 분석할 수 있는 통계적 분석 방법 및 이론 개발에 좀 더 매진해야 한다. 이것이 실속 있는 빅데이터 시대 활용법이 될 것이다.

전덕빈 KAIST 경영대학원 교수·한국 경영과학회 회장

필자는 서울대 산업공학과를 졸업하고 UC버클리 산업공학과에서 공학박사 학위를 받았다. 2013년 서울에서 열린 제33회 국제예측학회 조직위원장을 지냈고 현재 제25대 한국경영과학회 회장 및 편집위원을 맡고 있다. 연구 분야는 수요 예측, 확산 및 선택과정, 구조변화 예측, 경기 순환 예측, 적응적 예측방법을 이용한 공급망 수요 예측, 신상품 수요 예측 및 마케팅 전략이다.