고객도 시장도 빅데이터 홍수 ‘맞춤형 정보’ 필터링이 필요하다

현재 기업과 소비자가 맞닥뜨리고 있는 가장 큰 문제 중 하나는 정보 과다(information overload)다. 인터넷으로 인해 급격히 늘어난 정보 때문에 기업과 소비자 공히 정보를 처리하는 데 어려움을 겪고 있다. 가까운 예로 요즘 소비자 입장에서는 어떤 제품을 구매할 때 정보가 부족한 경우보다는 정보가 너무 많아서 문제인 경우가 더 많다. 구매하려는 제품을 잘 아는 소비자라면 판단하는 데 문제가 없겠지만 잘 모르는 경우에는 어떤 기준으로 어떻게 판단해야 하는지 막막한 경우가 많다. 기업도 소비자와 시장에 대한 정보가 웹사이트, 내부 ERP와 POS, 서비스센터, SNS 등 다양한 경로로 마구 쏟아지고 있다. 그렇기 때문에 정보가 없어서 문제라기보다 그 많은 정보를 어떤 방법으로 처리, 분석해야 할지를 몰라서, 혹은 어떤 정보가 가치 있는지를 판단하기 어려워서 문제인 사례가 더 많다.

이와 같은 정보 과다의 환경에서 기업이 당면한 가장 중요한 도전은 크게 두 가지다. 1) 넘쳐나는 소비자와 시장에 대한 정보를 어떻게 효과적으로 분석할 것인가? 2) 소비자가 정보 과다를 극복하는 데 도움을 줄 수 있는가? 또 도움을 주면서 동시에 기업의 경쟁우위를 확보할 수 있는가?

소비자와 시장에 대한 정보의 수집과 분석하기

현재 기업에 쌓이는 데이터 양은 점점 증가하고 있지만 이를 적절히 분석해서 활용하는 능력이나 기술은 이에 크게 못 미치고 있다.1 1DBR, No.107 닫기 또한 과거처럼 정형화된 숫자 데이터가 아니라 텍스트나 이미지와 같이 비정형화된 데이터의 양이 급속하게 증가하고 있다. 이런 변화를 많은 사람들이 ‘빅데이터(big data)’라는 말로 설명하고 있다. 즉, 데이터의 크기가 늘어나고 종류가 다양해서 과거의 데이터 분석과는 전혀 다른 패러다임이 필요하고 새로운 데이터 분석의 패러다임을 ‘빅데이터 분석’이라고 표현하는 것이다. 빅데이터에 대해서는 최근 관심이 급속도로 높아져 많이 연구하고 있지만 그 핵심은 1) 비정형을 포함한 다양한 데이터를 활용하고(데이터 종류의 다양성) 2) 데이터의 양이 엄청나기 때문에 과거의 일반적인 분석방법으로는 충분치 않고 새로운 분석 방법을 사용할 필요가 있으며(분석 방법의 차이) 3) 데이터가 있기 때문에 분석하는 것이 아니라 알고 싶은 것이 있어서 필요한 자료를 수집해서 분석한다(분석 동기의 차이)는 것이다.

다음(Daum)의 빅데이터 분석 사례

Daum(http://www.daum.net)은 한국의 대표적인 포털 사이트 중 하나다. 2012년 3월 기준으로 사용자의 검색 건수가 월간 약 10억 건, 사용자가 보는 웹 페이지의 수를 나타내는 페이지뷰(Page view)가 월간 약 137억 건에 이르는 거대한 사이트다. 게다가 처리해야 하는 데이터의 양이 기하급수적으로 증가하는 문제를 가지고 있다. 데이터 양이 이 정도 되면 복잡한 전략적인 분석은 물론이고 기본적인 자료를 정리하는 것도 어려워진다. Daum도 기본적인 분석인 일일 로그분석(어느 검색어, 페이지가 가장 인기 있는가 등의 분석)을 하는 데에도 10시간이 넘게 걸리고 개별고객에 대한 분석은 130분 이상 걸리는 문제가 있었다. 이런 문제를 해결하기 위해 2009년부터 순차적으로 도입한 새로운 빅데이터 분석 시스템은 데이터 처리를 빠르게 하기 위한 다양한 기술2 2데이터 전처리를 위한 Hadoop, SQL 기반의 데이터 분석을 위한 Hive, 데이터 저장을 위한 Pentaho Kettle, 병렬 데이터베이스를 위한 Greenplum 등이 사용됐다. 닫기 을 채용했다. 그 결과 일일 로그분석이 3시간 이하, 개별 고객 분석은 14분 이하로 가능해졌다.

빅데이터 분석이 기본적인 자료 처리에만 도움을 주는 것은 아니다. 빠른 데이터 처리 능력을 전략적으로 활용할 수 있다. Daum의 경우 빅데이터 분석을 사용자의 검색행동과 기사 내용 분석에 적용했다. 검색행동 분석의 예를 살펴보자. 사용자가 검색을 위해 키워드를 입력하면 그에 따른 검색결과가 표시되고 사용자가 검색 결과 중에서 관심 있는 아이템을 클릭하게 된다. 각 키워드에 대해서 어떤 아이템을 많이 클릭했는가를 분석함으로써 사용자가 입력한 키워드에 따라 관심이 높은 아이템을 앞쪽으로 표시해 줄 수 있다. 이는 검색 만족도의 향상(검색 결과가 정확하다고 느끼는 것)으로 이어졌다. 두 번째 예로 첫 화면에 표시되는 항목의 결정에도 빅데이터 분석을 사용했다. 빠르게 추가되는 정보(신문기사나 아고라에 올라오는 글)를 거의 실시간으로 분석해서 사용자가 관심이 있을 것으로 생각되는 내용을 골라서 Daum의 첫 화면에 표시할 내용을 즉각적으로 바꾸면서 사용자의 정보 만족도(정보의 신선도와 적절성)를 높였다. Daum의 경우에는 사용자가 느끼는 검색의 정확도와 정보 만족도가 바로 경쟁력으로 이어지기 때문에 이런 분석은 전략적으로도 매우 중요한 사항이라고 할 수 있다.

빅데이터 분석에 사용되는 기술

빅데이터 분석 기술의 특징은 우선 다양한 소스, 다양한 형태의 데이터를 같이 처리할 수 있다는 점이다. 그리고 기존 기술이 정확성을 위해 속도를 희생했다면 새로운 시스템은 정확성을 조금 희생하더라도 처리속도를 획기적으로 높이는 기술이라는 것이다. 이러한 기술이 필요한 이유는 데이터 분석의 패러다임이 바뀌었기 때문이다. 과거와 같이 고정된 형식을 가진, 제한된 양의 데이터를 정확히 처리하는 것보다는 넘쳐나는 데이터를 빨리 처리해서 전체적인 그림을 그리는 쪽으로 정보처리 패러다임이 바뀌었기 때문이다. 분석이 아무리 정확해도 제시간에 결과를 볼 수 없는 것보다는 좀 부정확해도 제시간에 결과를 볼 수 있는 것이 더 중요하다.

기업에 쌓이는 정보 중에는 특별한 노력이 없어도 입수할 수 있는 정보(예를 들어 판매 정보)가 있는가 하면 기업이 별도의 시간과 노력을 들여야 입수할 수 있는 정보(예를 들어 SNS에 나타난 기업과 제품 평가)가 있다. 기업 내부에 쌓이는 정보는 위에서 설명한 Daum이 좋은 예이고 외부에서 수집된 정보를 분석하는 대표적인 예가 SNS에서 소비자들이 올린 텍스트를 분석하는 것이다. SNS에서 사람들이 올리는 글들을 모아서 분석해 보면 글에 공통적으로 등장하는 키워드가 바로 그 시점에서 사람들이 가장 관심을 갖는 것이라고 할 수 있다. 예를 들어 대통령 선거 직전에는 각 후보의 이름과 ‘대선’ ‘선거’ ‘투표’ 등이 중요 키워드로 등장할 것이다. 이런 분석을 ‘버즈 분석(buzz analysis)’이라고 한다. 이를 좀 더 응용하면 서로 다른 소비자 집단별 관심사항을 분석할 수 있다. 예를 들어 서울에 사는 20대 사람들의 글에서 중요한 키워드가 다른 연령층 혹은 다른 지역과 어떻게 다른지를 분석해 보면 많은 시사점을 얻을 수 있다. 기업의 입장에서는 자신의 회사나 제품에 대한 사람들의 의견을 분석해 볼 수도 있다. 자신의 제품이 등장하는 SNS의 글을 찾아서 제품 이름과 함께 등장하는 키워드가 어떤 것인지를 분석해 보면 소비자들이 자신의 제품에 대해서 긍정적으로 생각하는지 부정적으로 생각하는지, 어떻게 소비하는지 등을 알 수 있다. 특정 과자 이름과 함께 자주 등장하는 키워드가 ‘맥주’ ‘TV’라면 이 과자는 소비자들이 TV를 보면서 맥주 안주로 많이 소비한다는 것을 알 수 있을 것이고 어떤 자동차 모델명과 같이 등장하는 키워드가 ‘고장’ ‘짜증’이라면 이 모델은 고장이 잦아서 소비자가 불만족한다는 것을 알 수 있다. 여기에서 더 나아가면 각 제품에 대해서 소비자가 느끼는 세밀한 이미지(고급스러움 vs. 대중적, 젊음 vs. 원숙) 등에 대한 분석도 가능하며 이를 ‘분위기 분석(sentiment analysis)’이라고 한다.

빅데이터 분석을 어떻게 활용할 것인가?

빅데이터 분석을 정보의 과다라는 시각에서 보면 새로운 모습을 볼 수 있다. 우선, 데이터의 종류가 다양해진 것은 정보 과다에 따른 자연스러운 결과다. 정보가 넘쳐나는 정보 과다의 상황에서 가장 중요한 것은 1) 중요한 정보가 어떤 것인지 판단하는 것과 2) 이 정보를 어떻게 빨리 처리하는가이다. 정보의 가치는 그 정보를 입수하기 위해 들어간 비용에 비례하지는 않는다. 기업의 일상적인 운영(재고, 판매, 로지스틱스 등)에 대한 정보는 큰 추가 비용 없이도 이미 구축된 정보시스템을 통해서 자동적으로 수집되지만 때로는 잘 분석하면 기업의 전략과 관련된 중요한 정보를 얻을 수도 있다. 반대로 많은 비용을 들여서 SNS에서의 해당 기업과 제품에 대한 소비자의 평을 수집한다고 해서 반드시 기업에 큰 도움이 되는 것은 아니다. 어떻게 정보를 수집했는가와 관계없이 많은 자료를 빨리 처리해서 즉각적인 의사결정에 사용할 수 있도록 하는 것이 빅데이터 분석 기술의 핵심이다.

어떤 정보가 중요한지 어떻게 알 수 있는가? 빅데이터 분석의 성공을 위해서 중요한 것은 다양한 소규모 실험이다. 다양한 자료를, 다양한 분석방법을 이용해서 실험적으로 분석한 결과를 보면 어떤 정보가 그 기업에 중요한지 판단할 수 있다. 일단 중요하다고 판단되면 그 자료를 빠르게 수집하고 분석할 수 있는 시스템을 갖추고 이를 의사 결정에 활용하면 된다. 지금과 같은 정보과다의 상황에서는 “모든 데이터를 철저하게 다 분석하겠다”는 생각을 하면 안 된다. 현재 답변하고자 하는 가장 중요한 질문이 무엇인지를 먼저 생각하고 그 답을 구하기 위해 필요한 정보가 무엇이고 어떤 분석이 가능한지에 집중해야 한다. 그리고 그 질문은 “우리 제품을 반복 구매하는 고객의 특성은 무엇이고 반복 구매하는 이유는 무엇인가”와 같이 단순하고 구체적일수록 좋다. 이와 같은 구체적인 질문에 답변하기 위한 실험적인 데이터 분석을 계속하는 것 또한 중요하다. 실험을 계속하면서 어떤 정보가 중요한지에 대한 노하우 또는 지식이 축적되고 이것이 기업의 중요한 자산이 될 것이다. 소규모의 실험에서 중요한 것은 경영과 전략을 잘 아는 자료분석가와 기술을 잘 아는 개발자의 긴밀한 협력이다. 자료분석가는 어떤 분석이 필요한지에 대해서는 잘 알지만 어떤 자료가 있고 어떻게 자료를 얻는지는 잘 모르고, 반대로 개발자는 어떤 자료가 가능한지는 잘 알지만 무엇을 분석해야 하는지는 잘 모르는 경우가 많다. 가장 이상적인 것은 둘 다 잘 아는 사람이 분석을 담당하는 것이겠지만 그런 경우가 드물기 때문에 분석가와 개발자를 한 팀으로 묶어서 공동의 목표를 가지고 공식/비공식적으로 긴밀히 협력할 수 있도록 하는 것이 필요하다. 분석가와 개발자가 서도 다른 부서에 있으면서 공식적인 업무협조 형태로 일을 진행해서는 좋은 결과를 기대할 수 없다.

정보 과다의 상황에서 빅데이터 분석을 적용하기 위해 기업은 무엇을 준비해야 할까? 우선 명심해야 할 것은 현재는 정보 분석에 있어서 과도기라는 점이다. 이것이 시사하는 것은 아직 빅데이터를 어떻게 수집하고 분석하는 것이 최선인가에 대한 정립된 방법이 없다는 것이다. 인터넷의 경우를 보더라도 인터넷을 경영에 어떻게 활용하고 어떤 정보를 수집/분석하는 것이 좋은가에 대한 가이드라인이 정립되는 데 10년 이상이 걸렸다. 빅데이터 분석도 그 정도까지는 아니더라도 상당한 시간이 걸릴 것으로 예상할 수 있다. 재 기업이 취할 수 있는 최우선적인 대처방법은 분석을 하려고 할 때 필요한 데이터가 없어서 분석을 못하는 일이 없도록 가능한 정보를 최대한 수집, 축적하는 것이다. 그렇다고 방법이 정립될 때까지 데이터만 수집하면서 기다리라는 뜻은 아니다. 오히려 빅데이터 분석이 큰 비즈니스 기회가 될 수 있는 기업이 있다. 이런 기업은 적극적으로 빅데이터 분석을 시작해야 한다. 그렇지 않은 기업은 시장의 움직임을 지켜보면서 필요한 실험적 분석을 시도해야 할 것이다. 어떤 기업이 빅데이터 분석으로부터 얻는 효용이 클 것으로 예상되는가? 상황에 따라 다르지만 일반적인 기준은 고객이 다양한 기업, 그중에서도 쌓이는 정보가 급격히 늘어나는 기업은 빅데이터 분석으로부터 얻을 수 있는 효과가 클 것으로 예상해 볼 수 있다.소비자를 직접 상대하는 제조, 서비스업의 중견 및 대기업이 대부분 여기에 해당된다. 이런 기업은 시급한 답변이 필요한 경영상의 질문이 무엇인가 생각해 보고 이에 답하기 위해 현재 사용할 수 있는 정보가 어떤 것이 있는가, 분석 방법은 어떤 것이 가능한가를 생각하고 위에서 얘기한 대로 소규모 실험적 분석을 통해서 중요한 정보와 그에 맞는 분석방법을 찾는 시도를 할 필요가 있다.

소비자의 정보처리를 지원하면서

경쟁우위 확보하기

기업이 정보 과다 환경에서 소비자를 도와줄 수 있는 방법 중 하나가 소비자가 필요로 하는 정보를 걸러주는 필터(filter)역할을 하는 것이다. 정보 과다 상황에서 소비자 개인은 자신 나름의 휴리스틱(Heuristic)을 통해서 정보 처리 방법을 찾는다. 그렇지만 정보가 빠르게 늘어나면 소비자 개인이 이를 처리하는 데에는 한계가 있다. 만일 각 소비자의 정보 처리를 대신해주는 기업이 있으면 소비자에게는 매우 큰 도움이 된다. 아래 넷플릭스의 사례를 보자.

넷플릭스(Netflix) 사례

넷플릭스(http://www.netflix.com)는 전 세계에 3000만 명이 넘는 고객을 가진 온라인 영화 대여 회사이다. 고객들은 한 달에 일정액을 내면 영화를 DVD로 빌려보거나 온라인에서 스트리밍 방식으로 볼 수 있다.

영화를 하나의 제품으로 보면 고객이 이 제품을 소비하는 과정에서 겪는 큰 어려움은 어떤 영화가 자기에게 맞는지를 판단하는 것이다. 제품의 특성상 최소한 20∼30분 정도는 봐야 그 영화가 자기에게 맞는지를 정확히 판단할 수 있다. 넷플릭스가 다른 경쟁자와 차별화되는 것 중 하나가 고객을 위한 영화 추천 시스템이다. 넷플릭스는 영화를 본 고객이 그 영화에 대한 평가를 하면 이를 바탕으로 ‘협업 필터링(collaborative filtering)’이라는 기술을 사용해서 (아래 ‘소비자의 필터역할을 하는 데 사용되는 기술’ 참조) 그 고객이 좋아할 만한 영화를 추천해 주는 CineMatch라는 시스템을 개발해서 가동하고 있다. 고객이 넷플릭스에 로그인하면 화면에는 이 시스템이 추천한 영화로 채워진다. 즉, 넷플릭스 웹사이트 자체가 각 고객에게 맞춤화(customized), 더 나아가서 개인화(personalized)된 것이다.

어찌 보면 사소한 서비스일 수도 있는 영화의 추천이 왜 중요할까? 만일 자신에게 맞지 않는 영화를 선택하면 고객은 그 영화를 보면서 시간적, 감정적인 (괜히 봤다는 후회) 비용을 지불해야 한다. 이런 경험이 반복되면 영화를 잘 안 보게 될 것이고 결국 고객의 이탈로 이어질 수 있다. 고객이 좋아하는 영화를 정확히 추천해 주는 것은 넷플릭스 비즈니스의 성패를 좌우할 수도 있다.

실제로 자료에 따르면 고객이 넷플릭스에서 소비하는 영화 중 약 60%가 이 추천에 의한 것이다.3 3“Netflix Case Study: David Becomes Goliath,” Flat World Knowledge, http://www.flatworldknowledge.com/node/19553 닫기 거기에다 고객이 넷플릭스에서 영화를 많이 보면 고객의 평가 데이터가 쌓여서 더 정확한 추천을 해주기 때문에 쉽게 다른 회사로 바꾸지 못한다. 다른 회사에는 넷플릭스만큼 정확한 추천시스템이 없을 뿐 아니라 있다 하더라도 다시 영화에 대한 평가를 해야만 정확한 추천을 받을 수 있기 때문이다. 넷플릭스의 고객 이탈률(churn rate)은 4% 이하인 것으로 알려져 있는데 이것은 영화뿐 아니라 모든 산업을 통틀어서도 가장 낮은 수준이다. 이와 같이 넷플릭스는 자신이 가진 기술을 사용해서 소비자의 정보처리와 제품선택을 도와줄 뿐 아니라 자신의 경쟁력 향상에 사용하고 있다.

핀터레스트(Pinterest) 사례

핀터레스트(http://www.pinterest.com)는 소비자의 정보 필터링에서 매우 독특한 모델을 보여준다. 이 사이트에는 사용자들이 자신의 관심 사항(예를 들어 제품, 이벤트, 취미 등)에 관련된 이미지를 모아서 핀보드(pin board)라는 공간에 올려놓을 수 있다. 그러면 다른 사용자들이 이 핀보드를 보고 관심 있으면 트위터의 리트윗(re-tweet)처럼 자신의 핀보드에 복사하는 리핀(re-pin)을 하거나 잡지를 구독하듯이 팔로(follow)할 수 있다. 내가 팔로하는 사용자가 새로운 이미지를 올리면 실시간으로 볼 수 있기 때문에 팔로(구독)하는 사람의 핀보드 변동은 자동으로 추적된다. 또한 핀보드에 있는 많은 이미지가 해당 제품을 구입할 수 있는 온라인 쇼핑몰에 링크돼 있기 때문에 이미지만 클릭하면 직접 구입할 수도 있다. 핀터레스트는 이러한 매출이 발생하는 경우 해당 쇼핑몰에서 커미션을 받는 것이 수입이 된다. 이런 서비스는 일종의 구독형 필터링(filtering by subscription)이라고 할 수 있다.

이 모델이 독특한 점은 무엇인가? 우선, 필터링의 기준이 사람이다. 어떤 분야의 전문가나 나와 비슷한 관심사항이 있는 사람을 찾아서 그 사람의 핀보드를 보는 것만으로도 필터링의 역할을 한다. 패션을 예를 들어 생각해 보면 패셔니스타로 평가받는 이효리나 지드래곤이 자신들이 좋아하는 옷을 모아 놓은 핀보드가 있다면 이것만 보아도 많은 사람들이 패션에 대해서 가치 있는 정보를 얻을 것이다. 이런 의미에서 핀터레스트는 내게 맞는 필터(사용자)를 선택하는 사이트라고 할 수 있다. 둘째, 필터의 종류가 무수히 많다. 다른 사이트에도 전문가들이 정보를 필터링해서 좋다고 생각되는 것을 모아서 보여주는 경우가 있다. 그렇지만 핀터레스트에서는 전문가뿐 아니라 누구나 핀보드를 만들 수 있다. 즉, 사용자의 수만큼의 필터가 존재할 수 있다. 셋째, 정보가 특정 맥락(context)상에서 보여진다. 예를 들어 핀보드에 청바지가 있는 경우 그 청바지만 보여지는 것이 아니고 청바지와 어울릴 만한 액세서리나 다른 옷과 함께 보여질 것이고, 또한 그 핀보드의 주인의 취향을 알기 때문에 훨씬 더 생생한 정보가 된다.

소비자의 필터 역할을 하는 데 사용되는 기술

위의 넷플릭스 사례와 같이 고객의 입장에서 정보수집과 처리를 기업이 대신해 줄 수 있으려면 우선 고객의 정보를 수집하고 각 고객의 취향이나 니즈를 알아내는 기술이 필요하다. 고객의 취향을 알아내는 데 사용되는 기술의 종류로는 크게 아래와 같은 것이 있다.

1) 사람을 중심으로 한 기술:소비자들은 취향이 비슷한 집단으로 나누어 볼 수 있다. 이를 위한 전통적인 방법이 시장 세분화(market segmentation)이며 소비자의 인구통계적 자료(나이, 성별, 거주지역, 직업 등)와 제품의 구매 여부 등이 주로 사용되기 때문에 정확도에 한계가 있다. 소비자의 취향을 알아내는 좀 더 진보된 기술로 ‘협업 필터링(collaborative filtering)’이 있다. 이 기술은 구매/소비한 제품에 대한 각 소비자의 평가를 받아서 평가 패턴이 비슷한 소비자를 한 집단으로 보고 그 집단에 속한 소비자들의 취향을 활용하는 것이다. 예를 들어, A라는 소비자와 제품 평가 패턴이 비슷한 사람들을 골라서 이 사람들이 공통적으로 좋아하는 제품 중에서 A가 아직 접하지 않은 제품을 골라내서 제시하는 기술이다. 이 기술은 사람들의 취향이 뚜렷이 구분되는 제품(예를 들어, 영화나 음악, 패션)의 경우 정확하다고 알려져 있다. 이 기술의 한 가지 한계는 사람들의 평가 정보를 구하기 어려울 수도 있다는 점이다. 소비자들에게 제품을 구입한 후에 평가 정보를 요청하면 이를 제공하는 사람이 많지 않다. 이러한 한계를 극복하기 위해서 간접적인 정보를 사용하는 경우가 많다. 어떤 제품에 대해서 계속적으로 정보를 검색하는 것이나 어떤 제품을 쇼핑카트에 넣는 것 등은 그 제품에 대한 관심의 표현이다. 이러한 정보가 온라인에서는 클릭스트림(clickstream)의 형태로4 4클릭스트림은 온라인 소비자의 클릭을 모아 놓은 것이다. 예를 들어 어떤 소비자가 웹사이트에서 A-D-B-E와 같이 클릭해서 방문한 페이지의 순서를 모아놓은 것을 클릭스트림이라고 한다. 닫기 수집되기 때문에 클릭스트림의 분석을 통해서 소비자의 취향이나 니즈를 알아낼 수 있다. 협업필터링의 가장 대표적인 예가 아마존의 제품 추천 시스템과 넷플릭스의 영화 추천 시스템이다.

사람을 중심으로 하는 두 번째 필터링 기술로는 최근에 각광을 받고 있는 SNS를 활용하는 기술을 들 수 있다. SNS는 각 사람의 인적관계에 대한 자세하고도 정확한 정보를 가지고 있다. 연구에 의하면 사람들은 물건을 구입할 때 온라인상의 전문가나 다른 사람의 추천보다도 친구나 가족의 추천을 가장 신뢰하고 제품을 구매할 확률도 높다고 한다. 만일 기업이 SNS 정보를 필터링에 결합할 수 있다면 막강한 영향력이 발생할 것이다. 예를 들어 한 소비자와 친한 사람들이 구입한 제품에 대한 분석을 통해서 “OOO님의 SNS 친구들에게 가장 인기 있는 레스토랑은 XXX이고 가장 많이 구입한 화장품은 YYY입니다”와 같은 정보를 제공할 수 있다면 소비자 입장에서도 유용한 정보가 될 것이고 기업은 이런 정보를 각 개인에게 맞춤화된 마케팅이나 서비스에 적용할 수 있을 것이다. 또 페이스북이 최근 시작한 흥미 있는 서비스 중 하나로 구매와 SNS의 결합된 서비스다(고객의 허락을 받아서 각 고객이 구입한 제품에 대한 정보가 그 고객의 페이스북 친구에게 발송되는 것). 예들 들어, 페이스북에 접속했을 때 뉴스피드에 “친구 OOO님이 XXX브랜드 구두를 YYY점포에서 ZZZ원에 구입했습니다”와 같은 메시지가 자동으로 뜨는 것이다. SNS 친구들이 어떤 제품을 얼마에 구입했는가는 소비자의 제품구입에 중요한 정보(긍정적으로, “나도 사야지!” 혹은 부정적으로, “나는 다른 모델로 사야지!”)가 될 것이다. 이와 같은 SNS 정보를 필터링해서 활용하는 것은 앞으로 무궁무진한 가능성이 있다.

2) 내용을 중심으로 한 기술:소비자가 소비하는 제품 중 텍스트 정보가 많은 제품(예를 들어서 뉴스나 책 등)의 경우는 해당 제품의 내용을 분석해서 필터링할 수 있다. 텍스트 정보의 분석에 대해서는 문헌정보학 분야에서 오래 전부터 연구가 이뤄져 왔다. 텍스트 중에서 형태소(명사, 동사 등)를 추려내고 이 중에서도 핵심 키워드가 어떤 것인지를 분석하는 기술이 기본적이다. 이렇게 추려낸 키워드를 활용해서 소비자의 관심사항에 대한 분석이 가능하다. 예를 들어서 어떤 소비자가 현재 관심이 있는 것으로 보이는 책이나 뉴스가 있다면 그 책과 뉴스의 키워드를 추려내고 다른 책이나 뉴스 중에서 비슷한 키워드를 가진 것들을 찾아내서 화면의 상단에 보여주면 소비자가 이들을 클릭해서 볼 가능성이 높을 것이다. 앞에서 예로 든 버즈분석이나 분위기 분석에도 같은 기술이 사용된다.

3) 지식을 중심으로 한 기술:‘사람을 중심으로 한 기술’과 ‘정보를 중심으로 한 기술’의 공통적인 단점은 전체적인 그림이 없다는 것이다. 어떤 소비자가 어떤 제품을 좋아할지에 대한 분석은 가능하지만 “왜 그 제품을 좋아할 것인가”에 대해서는 답을 해줄 수 없다. 지식을 중심으로 한 필터링은 특정 분야(domain)에 대한 전문가의 도움을 받아서 그 분야에 대한 전체적인 지식구조를 만들어서 이를 활용하는 방법이다. 전체적인 지식구조는 다양한 형태로 표현될 수 있다. 그 분야의 중요한 개념을 가지고 체계도(ontology)를 만드는 것이 가장 일반적인 방법이다. 우리가 동물을 ‘종-속-과-목-강-문-계’로 분류해 체계도를 그리듯이 어떤 분야의 키워드와 그 관계를 그림으로 표시한 것이 체계도다.예를 들어, ‘컴퓨터’라는 분야에서는 가장 중요한 상위 분류가 ‘PC’ ‘노트북’ ‘태블릿’이 될 것이며 전문가는 이들 각각에 대해서 그 밑에 어떤 것들이 있고, 다시 그 밑에는 또 어떤 것이 있는지 등을 제시할 수 있을 것이다. 이렇게 작성된 체계도를 바탕으로 소비자가 구매한, 혹은 관심 있는 제품과 관련이 있는 제품을 이 체계도에서 찾아서 제시할 수 있다.

지식을 기반으로 한 필터링의 장점은 전체적인 구조를 알 수 있다는 것이고 지식이 중요한 분야(예를 들면 교육, 와인, 커피 등)에서 효과가 좋다는 점이다. 그렇지만 단점으로는 각 분야의 전문가가 필요하고 전문가의 능력에는 한계가 있기 때문에 모든 세세한 분야에 다 적용할 수 없다는 점이다.

4) 하이브리드 기술:현재 소비자를 위한 필터링은 위에서 얘기한 기술을 한 가지만 사용하는 경우는 별로 없고 대부분 두 가지 이상의 기술을 혼합해서 사용하는 하이브리드 형태다. 예를 들어 아마존의 추천 시스템에서도 협업필터링이 주가 되지만 그 외의 다양한 기술이 같이 사용된다. 연구에 따르면 하나의 기술을 사용할 때보다 복수의 기술을 사용하는 경우에 정확도가 향상되고 결합되는 기술의 종류가 많아질수록 더 큰 향상이 이뤄진다. 실제로도 각 기술은 장단점이 뚜렷하기 때문에 이들을 적절히 결합하면 좋은 효과를 볼 수 있다.이때 하나의 과제는 각 기술을 어떤 방식으로 결합할 것인가인데 이것은 각 기업과 산업이 처한 환경에 따라 다르기 때문에 다양한 시도를 해보면서 최적의 방법을 찾는 것이 가장 바람직할 것이다.

소비자 정보필터의 전략적 활용

개인화된 필터는 영화뿐 아니라 다른 소비재 부문에도 잘 적용될 수 있다. 정보의 필터링이 매출 증가와 고객 충성도 향상으로 이어지는 사례가 많다. 예를 들어, 아마존이 제공하는 추천 리스트를 보고 제품을 구입하는 비율이 최대 아마존 매출의 30% 정도가 될 것으로 추정한다.5 5“Amazon’s recommendation secret,” CNN Money, 2012년 7월30일. 닫기

또 한 가지 가능한 응용 분야로는 정보 필터의 기술과 구독 상거래의 결합이다. 핀터레스트와 같은 구독 상거래의 경우 사람에 의존하기 때문에 장점도 있지만 단점도 있다. 가장 큰 단점은 일관성과 지속가능성이다. 핀보드를 유지하던 사람이 사정이 생겨 업데이트를 하지 않거나 탈퇴해 버리면 그 사람을 팔로(구독)하던 사람은 난감할 것이다. 위의 필터링 기술을 사용해서 다양한 필터를 구축하고 적절한 필터를 사람들이 구독하게 하면 일관성과 지속가능성 측면에서 장점이 있을 것이다.

모바일 환경에서는 정보 필터의 역할이 더욱 커진다. 그 이유는 모바일 기기는 화면이 작아서 표시할 수 있는 정보의 양에 한계가 있기 때문이다. 만일 표시되는 정보가 자신에게 맞는 것이 아니면 소비자는 PC보다 더 많은 시간과 노력(클릭을 더 많이 해야 하고 화면을 이리저리 더 많이 움직여야 하는 것)을 들여 정보를 찾아야 한다. 최근 연구에 따르면 소비자들은 모바일 기기를 사용할 때 리스트의 위쪽에 표시된 정보를 더 많이 클릭한다. 즉, 화면이 커서 리스트 전체를 표시할 수 있는 PC와는 달리 모바일 기기는 리스트의 윗부분을 먼저 표시하기 때문에 그 첫 화면에 있는 항목들이 더 많이 클릭된다는 것이다. 이것이 시사하는 바는 모바일 환경에서는 각 소비자에게 맞는 개인화된 정보를 제공하는 것이 소비자의 노력을 더 많이 줄여줄 것이기 때문에 소비자가 그에 의존하는 정도가 커질 것이라는 점이다.

자신을 대신해서 정보처리를 대신해 주는 기업이 있으면 소비자의 삶은 훨씬 더 간편해(minimal) 진다. 원래 사람은 단순함, 편리함을 찾는 성향이 있기 때문에 일단 자신의 정보 처리를 정확하게 대신해 주는 기업이 있으면 그 기업에 의존한다. 여기서 중요한 것은 ‘필요한’ 정보를 ‘정확하게’ 제공해 준다는 것이다. 소비자의 특성에 맞는 맞춤화된 정보나 서비스를 제공하겠다는 시도는 많다. 이들 서비스가 활성화되지 않는 것은 소비자가 ‘필요’하지 않거나 만족할 정도로 ‘정확’하지 않기 때문이다. 이미 개인화된 서비스들이 많이 등장했는데 왜 대부분의 사람들은 이들 서비스를 잘 사용하지 않을까? 필요 없거나 정확하지 않기 때문이다. 화면 구성을 내가 원하는 대로 해주는 서비스를 쓰지 않는 것은 그것이 필요하지 않기 때문이다. 내가 관심 있는 뉴스를 따로 모아서 보여준다는 서비스를 사용하지 않는 것은 그렇게 모아진 뉴스가 내 관심사항과 정확히 일치하지 않기 때문이다. 네이버나 다음과 같이 모든 것을 모아 놓은 포털을 우리가 여전히 많이 사용하는 이유도 이와 무관하지 않다.

넷플릭스의 경우를 보면 영화 추천은 소비자가 잘못된 영화를 골랐을 때 지불해야 하는 값비싼 비용(시간과 감정)을 줄여주기 때문에 필요한 것이고, 또한 넷플릭스가 추천한 영화는 매우 정확하기 때문에 소비자들이 사용하는 것이다. 기업이 소비자의 정보 과다를 줄여주는 필터를 생각하고 있다면 이 두 가지 기준, ‘필요’와 ‘정확’을 기억해야 할 것이다. 만일 어떤 필터링 서비스가 이 두 가지 기준을 충족하지 못한다면 그 서비스는 차라리 이 기준을 충족할 때까지 출시하지 않는 것이 낫다. SNS를 통해 각 소비자가 구입한 제품에 대한 정보를 그 소비자의 지인들에게 발송해 주는 서비스의 예를 보자. 소비자의 개인정보 사용에 동의를 구한다고 하더라도 무차별적으로 정보를 보내는 것은 그 정보를 필요로 하지 않는 소비자의 반발로 인해 실패할 가능성이 높다. 제품들 중에서도 소비자가 다른 사람들의 구입 여부에 관심을 가지고 있는 것은 어떤 것인가, 어떤 사람들이 이런 정보에 대한 반응이 높은가 등을 정교하게 분석해서 대상 제품과 소비자를 정확히 선별해서 전송을 해야 성공할 가능성이 크다.또 소비자의 반응을 활용해서 정확도가 자동적으로 계속 높아지는 방식으로 시스템을 설계할 필요가 있다.6 6소비자의 반응을 시스템에 반영하는 것은 적합도 피드백(relevance feedback)이라 하며, 다양한 기술이 개발되어 있다. 닫기

소비자의 개인화된 필터를 구축하는 데 있어서 또 한 가지 고려할 것은 소비자의 개인정보와 필터의 제공방식이다. 개인화된 필터링을 제공하기 위해서는 소비자의 개인정보가 필요하다. 그러나 많은 경우 소비자는 개인정보를 제공하기를 꺼려한다. 이 경우 해결방법은 크게 두 가지다. 1) 소비자의 개인정보가 최소로 필요한 방식을 사용하거나 2) 소비자에게 필터링의 효용을 잘 설득하는 것이다. 개인정보를 최소화하는 방식은 위에서 설명한 클릭스트림을 사용하는 것이 좋은 예이며 이를 위해서는 기술적인 발전이 필요하다. 소비자에게 개인정보를 제공하도록 설득하는 가장 좋은 방법은 필터링의 효용을 인지하게 하는 것이다. 개인정보를 제공함으로써 훨씬 더 정확한 정보와 서비스를 제공받을 수 있다고 설득하면 소비자가 개인정보제공에 동의할 가능성이 많다.

‘기업 내부의 정보처리’와 ‘소비자의 정보처리를 돕는 것’은 동전의 양면과도 같다. 두 가지 모두 정보의 과다에 따라 나타나는 문제를 해결하기 위한 것이며 기술도 두 가지에 공통적으로 사용되는 것이 많다. 단지 차이가 있다면 정보처리의 목적이라고 할 수 있다. 하나는 기업 내부적 혁신을 위한 것이라면 다른 하나는 기술을 소비자를 위해서 사용하면서 동시에 전략적 우위를 얻고자 하는 점이 차이라고 할 수 있다. 위에서 여러 가지 기술을 설명했지만 이들 기술의 궁극적인 목표는 명확하다. ‘수집 가능한 정보를 최대한 수집하고 빠르게 처리해서 기업의 경영에 도움을 주는 것’이다.

임일 연세대 경영대학 교수 il.im@yonseo.ac.kr

필자는 서울대에서 경영학 학사와 석사를 받은 후 University of Southern California에서 정보시스템 분야 경영학 박사 학위를 받았다. New Jersey Institute of Technology 교수를 거쳐 2005년부터 연세대 경영대학 교수로 있다. 주요 관심 분야는 정보기술의 사용과 영향, 개인화, 추천시스템 등이다.