빅데이터 리더십: 디지타이징 비즈니스
Article at a Glance
디지타이징 비즈니스(digitizing business) 유형 중 예측과 개인 맞춤화 추천
1. 예측 : 이상탐지는 리스크 관리를 위한 예방 차원, 즉 고장이나 사고 등 나쁜 소식에 미리 대처하기 위한 것에 중점을 둠. 반면에 예측은 사고뿐만 아니라 다양한 가능성에 대해 개인 맞춤화 추천이나 최적화 등 선제적(proactive)이고 처방적(prescriptive)인 대응을 목표로 함. 부부가 이혼할 확률, 개인들의 대출 상환 확률 등을 예측할 수 있음.
2. 개인 맞춤화 추천 : 빅데이터 시대에 지속적으로 영역이 확대되고 있는 것이 개인화 추천 시스템. 특정 상품이나 서비스를 구매할 확률이 높은 고객을 예측해 그 고객에게 해당 상품이나 서비스를 추천하는 것. 넷플릭스나 아마존의 추천 시스템에서 발전하기 시작해 이제는 구체적인 여행 상품과 계획의 추천까지 가능한 수준으로 발전.
미래를 예측하기 위한 가장 신뢰할 만한 방법은 현재를 이해하려고 하는 것이다.
― 존 나이스비트(『메가트렌드』 저자)
디지타이징 비즈니스는 빅데이터 시대의 5대 핵심 기술(소셜미디어, 모바일, 사물인터넷, 클라우드, 빅데이터 분석)을 활용해 자신의 사업을 혁신하는 것이다. 디지타이징 비즈니스의 유형은 [그림 1]처럼 크게 7가지로 나뉜다. (DBR 229호 ‘배우 윌 스미스와 서울 심야버스, 빅데이터에서 인사이트를 끄집어내다’ 참고.) 지난 DBR 232호에서 유형 1의 사례(진단분석, 이상탐지)에 대해 다룬 데 이어 이번 글에서는 유형 2, 즉 예측과 이를 바탕으로 한 개인화 추천 사례를 다루려고 한다.
개인 신용 예측 모델
많은 사람이 은행을 이용하고 필요할 때 대출을 받는다. 하지만 과거의 은행대출 과정은 느리고, 객관적이지도 않으며, 불공정하게 왜곡돼 있었다. 여신 담당자들이 주관적으로 고객의 신용도를 평가하고 그것을 바탕으로 대출을 승인하는 과정에서 재량권을 남용해 친구를 돕거나 소수민족을 차별하는 등의 부작용이 많았다. 비과학적 대출 관행은 고객들의 채무불이행 위험을 높이기도 했다. 물론 100여 년 전부터 작은 소매상들이 서로 연합해 고객에 대한 재정정보를 공유했고, 이것이 나중에는 소규모 신용회사로 발전하기도 했지만 체계적이고 분석적인 신용 예측 모델은 없었다.
스탠퍼드대 출신의 컴퓨터 엔지니어인 페어(Bill Fair)와 수학자인 이삭(Earl Issac)은 은행의 여신 담당자를 개인 신용 예측 모델로 대신할 수 있다는 혁신적인 생각을 했다. 그들은 고객이 대출을 신청할 때 그 고객의 과거 재무적 행위(고객이 과거에 받은 대출을 어떻게 갚았는지)에 대한 자료를 활용해 계량화한 모델을 개발한다면 해당 고객이 대출을 갚을 수 있는 가능성, 즉 개인의 신용을 예측할 수 있다는 생각을 하게 됐다. 이렇게 개발한 예측점수(신용점수)를 이용하면 은행은 빠르고 더 나은 대출 결정을 할 수 있게 된다. 두 사람은 1956년에 회사를 설립하고 신용 예측에 착수해 2년 뒤인 1958부터 개인 신용점수를 제공하기 시작했다.
어떤 개인이 특정 시점에서 부채(대출이나 주택금융, 신용카드 등)를 갚을 가능성, 즉 신용도를 예측하는 모델 속에는 개인의 금융활동 내역에 관한 다양한 변수들이 포함돼 있는데 이 변수들은 다음과 같은 5개 영역으로 구분할 수 있다.
● 상환 내역
- 각종 계좌(주택담보대출, 신용카드, 소매점 카드, 할부 금융 등) 지불 내역
- 채무 불이행의 기간
- 채무 불이행 계좌의 금액과 계좌 수 등
● 채무 내역
- 계좌별 채무 금액
- 잔액이 남아 있는 계좌 수
- 총 신용 가능 금액 중 사용한 금액의 비율
- 미지급 할부 금액의 비율 등
● 신용기간
- 계좌 개설 후의 기간
- 계좌 사용 이후의 기간 등
● 새로운 신용
- 최근 개설한 계좌 수
- 최근 신용점수 요청 건수
- 최근 개좌 개설 이후의 시간
- 신용점수 요청 이후의 시간 등
● 사용한 신용의 종류
- 신용 계좌(주택담보 대출, 신용카드, 소매점 카드, 할부 금융 등)의 종류와 수
미국에서 개인의 금융 활동에 대한 자료는 매우 풍부하다. 미국인의 모든 금융 관련 행위는 매달 신용보고기관(credit reporting agencies·CRA)에 보고된다. 즉, 매달 모든 금융기관은 고객의 계좌번호, 대출의 종류(주택금융, 신용카드 대출, 자동차 대출 등), 현재 잔액, 회수조치 내용, 대출상환내역 등을 CRA에 보고한다. 매달 45억 개 이상의 데이터가 신용기록에 입력되는 것이다. 신용점수를 계산하는 계량적 모델을 개발하면 CRA 자료를 이용해 개인의 신용 예측 점수를 개발할 수 있다. 두 사람은 위에서 제시한 다양한 변수(과거 재무적 행위)들 간의 관계와 패턴을 계량화해 신용점수(FICO 점수)를 산출하는 공식(algorithm)을 개발해 특허까지 받았다. 이 공식에서는 신용점수 계산에서 5개의 변수 영역이 차지하는 중요도(가중치)가 잘 알려져 있다.
● 상환 내역: 35%
● 채무 내역: 30%
● 신용 기간: 15%
● 새로운 신용: 10%
● 사용한 신용의 종류: 10%
FICO 점수는 300점에서 850점 사이인데 점수가 높을수록 신용도가 높다. FICO 점수는 고객이 빌릴 수 있는 금액의 크기와 이자율에 영향을 미치는데 770점 이상이면 대출이자가 가장 낮다. 700 점 이상은 일반적으로 양호한 신용도로 평가되지만 650점 이하가 되면(sub-prime rate) 금리가 크게 오른다. FICO 점수는 싸고(쉽게 계산됨), 신뢰도가 높으며, 더욱이 인종, 성별, 결혼 여부, 소득 등을 고려하지 않기 때문에 공정하고 객관적이다. 은행이나 신용카드 회사와 같은 기관들이 고객에게 돈을 빌려줌으로써 갖게 되는 잠재적인 위험을 신용점수를 이용해 쉽게 평가하게 됨으로써 신용시장의 효율성이 크게 개선됐다. 고객 측면에서도 신용을 얻기가 쉬워졌으며 비용도 낮아졌다.
FICO 점수는 현재 전 세계 1400여 개의 금융기관이 사용하고 있고, 그중에는 미국 100대 은행 중 99개 은행, 세계 50대 은행 중 49개 은행, 미국 100대 신용카드 회사 전부가 사용하고 있다. 또한 신용의 직접 제공과 관련 없는 많은 회사들이(보험회사, 이동통신회사, 부동산 임대회사, 금융기관 자회사 등) 고객과 영업을 하는 데 있어서 신용점수를 활용한다. 예를 들면 보험회사가 어떤 고객과 보험계약을 할 것인지, 계약을 한다면 보험료는 얼마로 할 것인지를 신용점수를 바탕으로 결정하는 것이다. 프로그레시브 보험(Progressive Insurance)은 1996년부터 자동차 보험을 계약할 때 고객의 신용점수를 활용하기 시작했는데 그 이유는 고객이 사고를 낼지 예측하는 데 있어서 신용점수가 놀라울 정도로 높은 예측력을 갖기 때문이었다. 이제는 많은 보험사들이 고객의 보험계약에도 신용점수를 활용하고 있다.
개인화 추천의 전성시대
내게 있어서, 미래는 개인화 추천이다.
― 마리사 메이어(前 야후 회장)
톰 크루즈가 출연한 ‘마이너리티 리포트’라는 영화가 있다. 이 영화에서는 3명의 초능력자가 아직 벌어지지 않았지만 가까운 미래에 벌어질 범죄를 예측한다. 이 예측을 근거로 체포하는 팀의 리더인 톰 크루즈는 곧 범죄를 저지를 것으로 예측되는 사람을 잡아들인다.
이처럼 예측을 한다는 것은 예측에 근거해서 구체적인 행동을 한다는 것을 의미한다. 기업에서는 예측을 대부분 개인화된 추천으로 활용한다. 빅데이터 시대에 지속적으로 영역이 확대되고 있는 것이 개인화 추천 시스템이다. 특정 상품이나 서비스를 구매할 확률이 높은 고객을 예측해 그 고객에게 해당 상품이나 서비스를 추천하는 것이다.
인터넷 쇼핑의 빠른 성장으로 소비자들은 상품과 서비스의 바다 속에서 자신들이 원하는 것을 효과적으로 찾아야 하는 문제에 직면했다. 이런 정보의 과부하를 해소시키는 동시에 매출 증대를 위한 수단으로 기업들은 다양한 추천 시스템을 개발, 활용하고 있다. 예를 들어 온라인에서 자신의 취향과 선호에 맞는 여행지를 정하고 이동수단과 묵을 곳을 선정해 예약하기 위해서는 상당한 시간 동안 정보를 탐색해야 한다. 하지만 개인 맞춤형 여행 추천 시스템은 개인의 인구 통계적 특성, 취향, 과거의 여행 기록 등을 토대로 고객이 가장 흥미를 가질 장소를 예측해서 추천해 줌으로써 이런 정보 탐색의 부담을 크게 줄여준다. 온라인 쇼핑의 급속한 증가가 개인 맞춤형 추천 시스템의 발달로 자연스럽게 이어진 것은 이런 이유 때문이다.
현재 개인 맞춤형 추천 기법은 책, 영화, 음악, 쇼핑, TV 프로그램, 인터넷 콘텐츠, 신문이나 잡지 기사뿐만 아니라 심지어는 온라인 데이트에까지 광범위하게 활용되고 있다. 아마존 매출의 35%는 추천으로 발생하고 넷플릭스에서 다운로드되는 영화의 3분의 2는 추천으로부터 발생하고 있을 정도다. 이제 개인화 추천 알고리즘은 기업의 성패를 좌우하는 수단이자 핵심 자산이 되고 있다.
개인화 추천 기법은 어떤 정보(제품 특성, 고객 취향, 구매 기록 등)를 사용해 개인이 가장 좋아할 만한 아이템을 추천하느냐에 따라 몇 가지로 나눌 수 있다. 그중에서도 가장 성공적이고 많이 사용되는 협업 필터링(collaborative filtering) 기법은 고객들의 유사한 행위(구매, 시청, 청취 등)나 평가 정보를 활용한다. ‘협업(collaborative)’은 많은 다른 고객들의 선호 정보를 바탕으로 개인별로 추천을 한다는 의미이며, ‘필터링(filtering)’은 추천을 자동적으로 수행한다는 것을 말한다. 많은 온라인 추천 시스템의 기반이 되는 이 기법의 대표적인 사례는 넷플릭스(Netflix)가 개발한 영화 추천 엔진 ‘시네매치(Cinematch)’다.
1997년에 컴퓨터광이자 영화광인 헤이스팅스(Reed Hastings)는 미국에서 제일 큰 비디오 대여 체인인 블록버스터(Blockbuster Video)에서 ‘아폴로 13’이란 영화를 빌렸는데 반납하는 것을 깜빡했다가 40달러의 연체료를 물게 됐다. 비싼 연체료에 속이 상한 그는 ‘늦게 반납하더라도 연체료를 안 내고 DVD를 빌려볼 수 없을까’라고 생각하다가 새로운 사업 아이디어를 떠올렸다.
그는 넷플릭스(Netflix)라는 회사를 차리고 비디오 대여를 헬스클럽처럼 매달 회비만 내면 연체료를 물지 않고 마음껏 이용할 수 있는 사업을 구상했다. 회원들이 온라인으로 영화 DVD를 주문하면 우편으로 배달하고 나중에 우편으로 반납하는 사업이었다. 우편요금은 회사 부담이었지만 대부분의 사람들은 이 사업 아이디어를 비웃으며 곧 망할 것이라 예상했다. 당시에는 이미 블록버스터라는 오프라인의 공룡이 미국 구석구석에 9000여 개의 대여점을 두고 매년 30억 달러 이상의 수입을 올리며 시장을 장악하고 있었기 때문이었다. 더욱이 미국 우편 서비스는 ‘달팽이 우편’이라는 별명이 붙을 정도로 느린 것으로 인식돼 있었다.
하지만 모든 사람들의 예상과는 반대로 넷플릭스는 1999년 500만 달러의 매출에서 7년 후인 2006년에는 10억 달러, 2013년에는 44억 달러, 2016년에는 88억 달러로 초스피드 성장을 했다. 온라인 플랫폼으로 완전히 전환한 현재 넷플릭스의 회원 수는 전 세계 190여 개 나라에 약 1억1000만 명이나 될 정도다. 넷플릭스는 가장 성공적인 닷컴 기업 중의 하나로 우뚝 섰고, 오프라인 공룡이었던 블록버스터는 파산하고 말았다.
넷플릭스의 성공 비결은 바로 개인 맞춤형 영화 추천 활용이었다. 우선 넷플릭스는 많은 사람들이 어떤 영화를 빌릴까를 결정하는 데 많은 어려움을 겪는다는 사실에 주목해 시네매치(Cinematch)라는 영화 추천 엔진을 개발했다. 처음에 이 알고리즘은 장르별로 분류한 10만 개의 영화에 대한 2000만 건의 영화 평점을 활용했다. 지금은 각 회원의 웹사이트 내에서의 행동 패턴(DVD 클릭 패턴과 검색어 등), 실제 대여 이력, 시청한 영화에 부여한 평점 등을 함께 분석해서 각 고객의 취향과 DVD 재고 상황을 모두 최적화하는 방식으로 영화를 추천한다. 회원들의 80%가 시네매치가 추천한 영화를 대여할 정도로 추천을 신뢰하고 감상 후 만족도도 90%로 높다.
많은 정보 중에서 시네매치가 가중치를 두는 것은 고객들의 영화에 대한 평점이다. 예를 들어 ‘해운대’와 ‘괴물’을 재미있게 본 고객들이 ‘7번방의 선물’을 좋아했다면 ‘해운대’와 ‘괴물’을 재미있게 본 다른 고객들에게 ‘7번방의 선물’을 추천하는 식이다. 사용자 기반(user-based) 협업 필터링이라고 불리는 이 방식은 추천하기 전에 고객들의 선호나 행위에 대한 많은 데이터 수집이 필요하다. 하지만 새로 나온 제품의 경우에는 고객들의 선호에 대한 충분한 데이터가 크게 부족해 추천에 어려움을 겪게 된다.
온라인 서점으로 시작한 아마존도 처음에는 사용자 기반의 기법을 사용했지만 영화와 책이라는 영역의 차이(책에 대한 개인 평점은 상대적으로 적음)와 특히 매일 엄청나게 발간되는 신간 서적의 특성 때문에 그 방식은 추천의 정확도가 매우 낮았다. 그래서 독자적으로 아이템 기반(item-based) 협업 필터링이라는 새로운 기법을 개발해 특허까지 등록했다. 이 방식은 고객들의 선호나 행위는 고려하지 않고 고객들이 구매한 아이템에서만 유사성을 찾는다. 예를 들어 ‘해운대’를 본 고객이 ‘7번방의 선물’도 봤다면 ‘해운대’만을 본 고객들에게 ‘7번방의 선물’을 추천하는 식이다.
한편 아마존은 고객들이 아이템을 검색할 때마다 “이 상품을 산 사람은 이런 상품도 샀습니다”라는 제목으로 추천 아이템의 목록을 순서대로 제시한다. 고객들의 효율적인 구매에 큰 도움을 주는 이 기법은 아마존 도약의 발판이 됐고 현재 아마존은 이제 31개의 제품 카테고리를 커버하는 세계 최대의 온라인 쇼핑몰로 승승장구하고 있다.
빅데이터 시대에 기업들은 고객들을 ‘강남 거주 20대 여성’과 같이 하나의 집단으로 분류하고 일방적인 마케팅 메시지를 전달해서는 성공할 수 없다. 날마다 연속적으로 유입되는 엄청난 데이터 속에는 고객들에 대한 수많은 정보, 즉 고객들이 어디서, 어떤 브랜드를, 얼마의 가격으로, 어떻게 구입하는지에 대한 정보가 숨어 있다. 이 정보를 실시간으로 분석, 개개인의 고객의 선호를 예측해 개인 맞춤형 서비스나 상품을 적시에 더 정교하게 추천을 할 수 있는 기업만이 치열한 경쟁에서 크게 앞서갈 수 있을 것이다.
편집자주
4차 산업혁명의 중심에 빅데이터가 자리 잡고 있습니다. ‘혁명적인 변화’가 일어나고 있는 만큼 리더십 자체도 혁명적으로 변화해야 합니다. 국내 최고의 빅데이터 전문가인 김진호 교수와 영업혁신의 대가 최용주 교수가 ‘빅데이터 리더십’을 통해 새로운 리더십 해법을 제시합니다.
김진호 서울과학종합대학원 빅데이터 MBA학과 주임교수 jhkim6@assist.ac.kr
최용주 서울과학종합대학원 산학협력단장 yjc@assist.ac.kr
김진호 교수는 서울대 경영대를 졸업하고 미국 펜실베이니아대(Wharton School)에서 경영학 석사와 박사 학위를 받았다(통계학 부전공). 사회와 기업의 다양한 문제를 계량 분석적으로 접근하는 연구를 주로 했다. 저서로는 『Keeping Up With the Quants: Your Guide to Understanding+Using Analytics(Harvard Business Review Press)』와 『빅데이터가 만드는 제4차 산업혁명』이 있으며 DBR에 ‘Power of Analysis’를 연재했다.
최용주 교수는 기업경영 성과에 직접적인 영향을 미치는 기능인 영업(Sales)에 대한 연구를 해왔다. 연구의 결과로서 『영업의 미래』라는 저서와 『영업혁신』을 발간했다. 최근 들어 ‘영업성과의 향상을 위한 빅데이터 활용에 관한 연구’를 진행하고 있다. 국내 제약회사 및 식품회사의 현장사업본부장 및 부사장, 컨설팅사 대표를 역임했다. 현재 서울과학종합대학원(aSSIST) 교수이자 산학협력단장으로 재직하고 있다.