빅데이터에서 개인화 자료부터 확보 소규모로 시작해 최적 솔루션 찾아라

최근 기업의 정보기술 분야에서 가장 큰 이슈를 들라면 단연코 ‘빅데이터’일 것이다. 많은 기업이 빅데이터를 어떻게 활용할 것인가, 빅데이터의 어떤 기술을 도입하는 것이 우리 기업의 상황에서 맞는 것인가 등을 고민하고 있을 것이다. 빅데이터를 적용할 수 있는 분야는 다양하지만 많은 기업이 공통적으로 고려하는 것이 ‘개인화(personalization)’다. 다양한 경로로 수집된 자료, 즉 구매를 비롯한 고객행동에 관련된 자료와 SNS에 올린 메시지 등을 통해서 각 개인의 취향을 알아내고 이를 활용해 각 개인에게 맞는 마케팅과 고객 서비스를 제공하고자 하는 것이 빅데이터를 활용한 개인화다.

개인화를 위한 기술은 계속 발전하고 있으며, 특히 고객이 명시적으로 말하지 않아도 고객의 자료로부터 고객의 취향을 추론해 내는 기술은 앞으로 발전의 여지가 많은 분야다. 이 분야의 대표적인 기술이 추천시스템(recommender system)이다. 추천시스템은 다양한 자료로부터 고객의 취향을 추론해 내고 이를 바탕으로 고객이 좋아하고 구매할 만한 제품을 추천해 주는 시스템이다. 아마존이나 넷플릭스는 이런 추천시스템을 잘 활용하고 있으며 추천한 제품의 판매가 전체 매출의 70%에 이르기도 한다.1 1“고객도 시장도 빅데이터 홍수 ‘맞춤형 정보’ 필터링이 필요하다,” DBR, April 2013, Issue 1, No. 126 참조. 닫기

추천시스템은 현재 기업이 보유하고 있는 데이터를 가장 손쉽게 활용해서 눈에 보이는 차별화된 서비스를 제공할 수 있는 방법이기도 하다. 추천시스템을 웹사이트에 추가하면 눈에 확 띄는 서비스가 될 것으로 예상할 수 있다. 그렇지만 여기에는 경영자가 기대하는 효과와 실제 마주칠 상황 사이에 큰 괴리가 있다. 아마 경영자는 추천시스템을 도입하고 난 후에 아래와 같은 모습을 기대할 것이다.

고객이 우리 웹사이트에 방문하면 아마존에서나 보던 추천시스템이 자신에게 맞는 제품을 척척 추천해 준다. 고객은 시간을 많이 들이지 않고 원하는 제품을 추천리스트에서 찾아서 쇼핑을 편리하게 할 수 있다. 그 결과 고객 충성도는 물론 객단가가 올라가서 다시 찾는 고객이 늘어나고 매출과 이익이 크게 향상된다.

그러나 실제 마주칠 가능성이 큰 모습은 아래와 같다.

고객이 사이트에서 자꾸 필요 없는 물건을 추천해 줘서 짜증이 나고 쇼핑에 방해가 된다고 불평한다. 일부 고객은 자신의 개인정보를 어떻게 빼내서 추천에 이용하는지 밝히라고 이의를 제기한다. 구축하는 데 비용이 많이 들어갔고 이를 유지하는 데에도 적지 않게 비용이 들어가는데 눈에 보이는 효과는 없다. 기대만큼 비용 대비 효과가 없어서 추천 기능을 사이트에서 내려야 할까 고민하게 된다.

이 두 가지 시나리오는 추천시스템이 잘 구축된 경우와 그렇지 않은 경우를 좀 과장되게 표현한 것이다. 추천시스템은 잘 구축해 적절히 활용하면 큰 효과를 기대할 수 있지만 그렇지 않은 경우에는 골칫거리가 될 수도 있다. 추천시스템을 제대로 활용하려면 어떻게 해야 할까? 이 글에서는 지난 십 수년간 추천시스템 분야에서 연구된 결과와 추천시스템을 활용하는 기업들의 사례를 바탕으로 추천시스템에 대한 일부 잘못된 인식을 바로 잡고 추천시스템 도입을 고려하는 기업이 활용할 수 있는 가이드라인을 제시하고자 한다.

1.추천시스템을 둘러싼 잘못된 이해

추천시스템을 잘 알고 있다고 생각하는 사람도 실제 대화를 나눠보면 잘못 이해하고 있는 부분이 많다. 추천 시스템에 대한 몇 가지 편견에 대해서 미리 언급할 필요가 있을 것 같다.

오해 1 추천시스템은 모든 제품에 유용하다?

연구에 따르면 추천시스템은 제품의 종류에 따라 정확도가 많이 차이가 난다고 한다.2 2, Il & Alexander Hars, “Does one-size recommendation system fit all? The effectiveness of collaborative filtering based recommendation systems across different domains and search modes,” ACM Transactions of Information Systems, Vol. 26, No. 1, November 2007. 닫기  추천시스템이 잘 작동하는 이상적인 조건은 중간 정도 관여도(involvement) 제품으로 상당히 자주 (최소 연 2∼3회 이상) 반복구매가 일어나는 것들이다. 또한 고객의 취향이 다양하고 제품이 무수히 많아서 고객이 자신에게 맞는 제품을 찾으려면 많은 시간과 노력을 들여야 하는 경우다. 대표적인 것이 영화, 음악, 책, 패션제품 등이다. 이들의 공통점은 같은 제품이라도 사람에 따라 선호도가 다르고 제품의 종류가 많아서 고객이 평가하기 어렵다는 점이다. 이 경우, 추천시스템이 제품을 정확히 추천해 준다면 고객의 제품 탐색 노력이 크게 줄어들어서 많은 도움이 될 수 있다.