화두는 빅 데이터…결정의 패러다임이 바뀐다

편집자주

경영 현장에 수많은 수학자와 과학자들이 포진해 있습니다. 이들은 전략, 기획, 운영, 마케팅 등 다양한 분야에서 첨단 수학·과학 이론을 접목시켜 기업 경쟁력 강화에 기여하고 있습니다. 경영 과학은 첨단 알고리즘과 데이터 분석 기술로 기업의 두뇌 역할을 하면서 경영학의 새로운 분야를 개척해나가고 있습니다. <경영학 콘서트>의 저자인 장영재 교수가 경영과학의 새로운 패러다임을 소개합니다.

과거 몇 년 전까지만도 ‘빅 데이터’는 주로 학자들 간에 통용되는 언어였다. 당시에는 페타바이트(Petabyte)나 제타바이트(Zetabyte) 등 특정 용량에 따라 일반 데이터와 빅 데이터를 기술적으로 구별했다. 기존 데이터베이스 처리 방식으로 데이터를 저장하고 열람하기 어려운 대용량의 데이터를 빅 데이터라 칭하기도 했었다. 과거엔 기업에서 이러한 대용량 데이터를 담아 둘 기술이 부족했다. 설령 이런 데이터를 담아 둔다고 한들 의미 있는 분석이 불가능해 생성과 동시에 거의 폐기돼 버렸다. 대용량의 데이터를 분석한다는 건 구글처럼 우수한 인력을 확보하고 있는 소수 기업들의 전유물로만 여겨졌다.

하지만 최근 트렌드가 바뀌기 시작했다. 우선 기업들이 데이터의 가치를 재조명하기 시작했다. 한발 더 나아가 전문가가 아니더라도 대용량 데이터를 저장하고 분석할 수 있는 기술과 환경이 속속 등장하면서 방대한 정보를 모으고 함께 분석하는 가치가 새롭게 부상하면서 화두로 떠오르게 됐다.

이러한 새로운 트렌드에 맞춰 과거 전문가들 사이에서만 통용되던 ‘빅 데이터’의 정의도 확대되고 있다. 과거 특정 용량 이상이나 기존 데이터베이스로 처리가 불가능한 양의 데이터를 빅 데이터라 칭하는 의미도 기술혁신에 맞춰 다시 정의돼야 했다. 새로운 데이터 처리 기술의 개발로 어제는 처리 못하던 용량의 데이터가 내일은 처리 가능하다면 어제의 빅 데이터가 오늘은 일반 데이터가 되는 모순이 생긴다. 이처럼 나날이 속속 신기술이 선보이는 세상에서 어느 특정 요량을 구분해 빅 데이터냐, 일반 데이터냐를 구분하는 건 의미가 없다. 그렇다면 요즘 부각되고 있는 빅 데이터의 의미는 무엇인가? 바로 현대 데이터 시대를 바로 보는 새로운 패러다임이다.

빅 데이터를 이용한 수백억 원대의 비용절감 사례

반도체 공장 운영의 핵심은 수억 원에서 수백억 원에 이르는 고가의 반도체 제조 장비다. 필자는 과거 박사 학위 취득 후 글로벌 반도체 기업인 마이크론 테크놀로지에서 근무했던 경험이 있다. 이곳 반도체공장에서 내부 운영과 각각의 장비 구성들에 대해 파악한 후 6개월째 되던 시점부터 반도체 장비를 다루기 시작했다. 그리고 실제 반도체 기계에서 생성되는 장비의 데이터를 수집하기 시작하며 흥미로운 사실을 발견했다. 어느 반도체 장비에서 생산되는 제품의 생산 시간을 뽑아 보니 시간이 균일하지 않고 거의 무작위적인 형태를 보였다. 예를 들어 제품을 20초에 하나씩 생산하다 갑자기 50초에 하나씩 생산하더니 15초에도 생산하고 거의 10초대와 몇 분대를 오가며 생산 시간이 불규칙한 것이었다. 제품 생산시간이 (최소한 이론적으로는) 일정해야 함에도 불구하고 왜 이렇게 들쑥날쑥한 걸까? 우선 이 문제를 여러 선임자들에게 물어 보니 돌아오는 대답은 두 가지였다. 지난 수년간 이 장비를 사용했고 이 장비의 생산시간이 불규칙한 것도 이미 알고 있었지만 그리 큰 문제는 없었다는 게 하나였다. 또 하나의 답변은 이제까지 별 문제가 없었기에 굳이 파고 들어가 봐야 별로 나올 게 없을뿐더러 그 원인을 파악할 수 있는 데이터를 구하기도 어려울 것이라는 것이었다.

과연 그럴까? 물론 선배들의 말에 그저 그렇구나 하며 돌아설 수도 있었지만 이 생산 시간의 결과치를 한번 분석해 보니 마치 풀어야 할 미스터리처럼 문제가 다시 다가왔다. 눈으로 보기에는 생산 시간이라는 결과치가 무작위적으로 보였지만 생산 시간 데이터를 좀더 깊이 들여다 분석해 보니 어떤 패턴을 따르고 있다는 사실을 발견했다. 과연 이 패턴은 무엇을 의미하는 것일까? 이 패턴을 파악하면 불규칙한 생산시간에 대한 미스터리를 풀 수 있을까? 그리고 이 미스터리를 파악한다면 과연 생산에 긍정적인 영향, 즉 비용을 절감하거나 생산 효율을 올리는 일에 기여할 수 있을까? 이들 질문에 답할 수 있는 방법은 단 하나뿐이었다. 바로 빅 데이터 분석이다.

이 문제에서 생산 시간은 결과치일 뿐이다. 즉 어떤 원인에 의한 결과이자 현상일 뿐 본질은 아니다. 본질을 파악하기 위해서는 생산시간을 구성하는 요소들을 면밀하게 분석할 필요가 있다. 그러기 위해서는 결과가 아니라 이 결과를 생성해 내는 다른 데이터를 분석해야 했다. 아쉽게도 필자가 원하는 데이터는 반도체 장비 내에 저장돼 있지 않았다. 최소한 겉으로 보기에는 그랬다. 장비 담당자도 “글쎄 그런 데이터가 있을까”라고 반문했다.

그러나 반도체 장비 관련 연구를 경험했던 필자는 장비 내에서 이뤄지는 엄청난 많은 일들, 즉 장비 안에서 전류가 어떻게 흐르고 장비 내 로봇이 어떤 작업을 수해하는지, 또 장비 프로세스에 필요한 화학적 반응이 시시각각 어떻게 일어나는지 등의 데이터가 어딘가는 분명히 저장되고 있을 것이라는 확신이 있었다. 최첨단 기술의 집합체인 반도체 공정장비가 어떤 족적을 남기고 있는지 기록이 안 되고 있다는 사실은 마치 항공기가 어느 고도로 어떤 지점을 비행하고 있는지 행적을 기록하지 않는다는 것과 같다. 데이터가 저장되고 있지 않는 게 아니라 공장 기계 사용자 입장에서 이러한 데이터가 어디에 숨어 있는지 찾지를 못하는 것이라는 확신이 있었다.