편집자주 이 글은 하버드비즈니스리뷰(HBR) 2011년 3월 호에 실린 에릭 T. 앤더슨과 던칸 시메스터의 글 ‘A Step-by-Step Guide to Smart Business Experiments’를 전문 번역한 것입니다.
10년 전부터 기업은 분석의 힘에 눈을 뜨기 시작했다. 첨단 컴퓨터와 소프트웨어 개발로 시작된 정보의 홍수는 기업에 엄청난 자료를 안겨 줬다. 2010년 한 해에 기업이 수집한 고객 정보가 그 이전에 수집한 자료를 모두 합한 양보다 많다는 추산이 나올 정도다. 폭발적으로 쏟아지는 각종 정보는 기업에 엄청난 수익 증대 기회를 안겨 준다. 그러나 이 기회를 잡기 위해서는 정보를 효과적으로 활용하는 방법부터 알아야 한다.
안타깝지만 정보의 효과적 사용법을 아는 기업은 드물다. 과거 자료에서 의미를 도출하기 위한 정보 분석은 생각보다 훨씬 복잡한 작업이다. 온전한 정보 분석을 위한 기술적 역량을 갖춘 기업도 찾기 힘들다. 정보 분석에 엄청난 자본을 투자한 기업조차도 다양한 한계 때문에 결과를 해석해서 기업 수익을 즉각 제고하는 데 어려움을 겪는다.
많은 기업들은 아주 간단한 경영실험(business experiment)을 통해서도 많은 가치를 창출할 수 있다. 거래에 대한 자료를 연대기적으로 수집해 분석하기보다 실험을 통해 올바른 결정을 내리는 일이 훨씬 쉽다. 우선 책임자는 실험을 위해 필요한 기본 기술, 다시 말해 ‘검증과 학습(test and learn)’ 방식을 능숙히 활용할 수 있어야 한다. 특별한 처치를 한 특정 고객군과 아예 아무 조치도 취하지 않은 대조군의 결과와 비교하는 기술이다. 실험 결과는 단순해서 분석하기 쉽다. 자료 해석도 용이하며 인과관계도 일반적으로 명확하다. 이런 ‘검증과 학습’ 방식은 아주 강력한 힘을 발휘한다. 소수의 실험으로 얻은 결과를 경영에 반영하면 수익을 즉각적으로 제고할 수 있기 때문이다. (자료 ‘유통업체의 할인 전략 실험’ 참조) 기존 자료 분석과 달리 실험 기술은 어떤 관리자라도 쉽게 습득할 수 있다. 그렇다 하더라도 막상 시작하려면 막막할 수 있다. 이제 소규모 경영실험을 시행하는 법을 단계별로 찬찬히 알아보자.
실험의 목적은 고객 반응 확인
실험이 경영의 필수 과정으로 자리잡은 산업 분야가 있다. 예를 들어, 제이크루(J.Crew)나 포터리 반(Pottery Barn)이 고객에게 보낸 우편 카탈로그도 실험의 일부일 가능성이 짙다. 고객에게 우편 카탈로그를 보내면서 제품 및 가격을 검증한다. 카탈로그 종이의 무게조차도 실험의 대상이다. 기금 모금 및 신용카드 회원 모집도 마케팅 실험의 일환이 될 때가 많다. 신용카드사 캐피털원(Capital One)은 신용카드 고객의 모집 방식을 개선하거나 고객의 평생 가치를 극대화하며 수익성이 낮은 카드 서비스를 종료하기 위해 매년 수만 번의 실험을 실시한다. 이런 노력 덕분에 캐피털원은 시그닛은행(Signet Bank)의 한 부서에서 시가총액이 무려 190억 달러에 이르는 어엿한 회사로 독립할 수 있었다.
실험의 난이도는 결과를 얼마나 편리하게 관찰할 수 있느냐에 따라 달라진다. 우편 광고업체나 카탈로그 업체, 온라인 유통업체는 영업 방식의 특성상 소비자 개인의 특성을 고려한 맞춤형 조치를 취하고 그에 따른 소비자의 반응을 측정할 수 있다. 그러나 신뢰할 만한 소비자 반응을 습득하기 힘든 영업 방식 및 경로를 가진 기업도 많다. 대표적인 예가 바로 TV 광고다. 코카콜라는 지난 올림픽 때 내보낸 TV 광고에 대한 소비자 반응을 그저 추측할 수밖에 없었다. ‘광고의 아버지’라 불린 기업가 존 워너메이커(John Wanamaker)는 이런 명언을 했다. “광고비의 절반은 낭비된다. 문제는 어느 쪽 절반이 낭비됐는지를 알 수 없다는 점이다.” 광고의 한계를 잘 드러내는 말이다. 소비자의 반응을 측정하는 효과적 체계가 없다면 경영자는 직감에 의존해 의사결정을 할 수밖에 없다.
대부분의 기업은 양극단의 중간에 위치한다. 이들은 개인별로 차별화된 정보를 얻기보다 소비자 전체에 대한 자료를 바탕으로 실험을 실시하고 동등한 조건에 있지도 않은 실험군과 대조군을 비교해 소비자 반응을 평가할 수밖에 없다. 애플이 아이폰 신규 모델의 적절한 가격대를 결정하기 위해 실험을 한다면 각 나라마다 다른 가격을 책정해 그에 대한 반응을 관찰할 수밖에 없다. 가격 및 제품 관련 실험은 마케팅 경로나 광고 관련 실험보다 대체로 쉬운 편이다. 소비자 영업(B2C)의 경우도 기업 대 기업(B2B)보다 실험을 실시하기에 용이하다. 실험에 참여시킬 잠재 고객이 훨씬 더 많기 때문이다.
|
실험에 대한 반발심 극복하기
한 대형 은행이 핵심 상품인 양도성 예금증서(CD) 광고를 개선하기 위해 실험을 실시하기로 결심했다. 이 은행의 광고 결정권은 단 한 명의 책임자가 쥐고 있었다. 광고업계에서 잔뼈가 굵은 그는 조직 내에서 높은 지위를 가지고 있었으며 풍부한 경험을 내세워 강력한 권한과 높은 연봉을 보장받고 있었다.
그렇기 때문에 그는 자신의 직관적 판단을 대신하기 위한 실험을 위협으로 간주했다. 그는 실험을 실시하면 낭비되는 시간이 너무 많고 필요한 결정은 이미 내려졌다고 주장하며 실험을 막으려고 했다. 결국 광고가 수익 및 손실에 직접적 영향을 미치는 부서의 고위경영진이 개입했다. 그는 실험 추진을 허락했고 실험으로 잘못된 결정을 내린다고 해도 연말 보너스에 반영하지 않겠다고 약속했다.
실험 문화를 도입할 때 가장 큰 장애물은 바로 조직의 반발이다. 새로운 관행의 가장 큰 적이 기존 관행인 것과 같은 이치다. 조직이 구축한 의사결정 방식을 바꾸려면 엄청난 노력이 필요하다.
이때 조직이 저지르는 실수 중 하나는 고객연구부서에 실험 권한을 위임하는 것이다. 그렇게 하면 고객연구부서는 실험을 실시하기 위해 필요한 권한을 각 관련 부서에 요구해야 한다. 이는 분명 잘못된 방법이다. 의사결정을 개선하기 위한 실험의 과정은 결정을 내린 주체, 다시 말해 각 사업부서에서 책임을 져야 한다.
적절한 기대 수준 또한 매우 중요하다. 실험을 하면 무조건 혁신적 개선책을 찾을 수 있다고 생각해선 안 된다. 안타깝지만 그럴 확률은 5%밖에 되지 않는다. 그렇기 때문에 8개월에 걸쳐 하나의 대규모 실험을 시행하는 전략은 별로 바람직하지 않다. 실험의 생산성을 높이고 싶다면 수십 개의 소규모 실험을 동시에 실행할 수 있는 인프라가 필요하다. 100개의 실험 중 장래성이 있고 다시 시행할 가치가 있는 실험은 5∼10개 정도밖에 없으며 이렇게 해서 한두 개의 수익성 개선 방법을 찾아낼 수 있을 뿐이다. 다음에는 가능성이 높아 보이는 실험에 모든 자원을 집중해 철저히 분석한다. 초기에는 여러 실험에서 조금씩 성과를 내는 것보다 하나의 실험에서 혁신적 해결책을 찾는 게 낫기 때문이다.
혁신적 개선안을 찾는 일은 결코 쉽지 않다. 그러나 이는 대부분의 조직이 실험을 이행하는 과정에서 만나게 되는 제도적 저항을 극복하지 못했기 때문이다.
|
과학자처럼 생각하기
경영실험을 실시하기 위해서는 두 가지 요소가 반드시 필요하다. 대조군과 고객 반응 측정 체계다.
실험에서 대조군의 역할을 알지 못하는 경영자는 거의 없지만 대부분의 경우 대조군의 역할을 간과하고 신상품을 전체 고객군에 차별 없이 공급해 버린다. 일례로 독점 계약이 각 대리점에 미치는 영향을 평가하려는 기업이 모든 대리점과 독점 계약을 맺는다면 소중한 실험 기회를 놓치는 것과 다름 없다. 독점 계약이 영업 결과에 미치는 영향을 더 쉽게 평가하려면 비교 평가를 위해 비독점 계약을 하는 특정 지역이 필요하다.
대조군은 무작위로 설정하는 게 가장 좋다. 앞서 설명한 캐피털원은 다른 신용카드의 채무 대환 서비스(회사의 성공을 가져온 혁신사례가 됨)가 고객의 호응을 어느 정도 받을지를 예측하기 위해 채무 대환 서비스를 제공할 고객을 무작위로 선별했다. 이와 함께 이전과 동일한 서비스를 받는 대조군도 무작위로 선발했다. 대조군은 실험군을 먼저 구성하고 남은 고객 중에서 선별하는 게 합리적이다. 한 금융기관은 소매금융 온라인 플랫폼의 성능을 시험하기 위해 이 방법을 썼는데 덕분에 기타 조건이 동일하게 구성된 광범위한 고객군 내에서 신규 플랫폼에 대한 반응을 비교·평가할 수 있었다.
실험군과 대조군을 올바로 설정하기 위해서는 이들을 명확히 구분해서 한쪽에 취한 조치가 다른 쪽에 파급 효과를 미치지 않도록 만전을 기해야 한다. 고객이 웹사이트를 반복해서 방문할 수 있는 온라인 환경의 경우 특정 고객이 방문한 웹사이트를 일일이 추적하기가 어렵기 때문에 실험 결과의 오염을 방지하기가 그만큼 힘들다. 각 지점마다 영업 방식을 달리하는 기존 실험 방식 또한 고객이 다양한 지점을 방문하면 실험 결과가 오염되는 위험을 안고 있다. 이 경우 지역별로 방식을 달리 할 수 없다면 시간에 따라 영업 방식을 바꾸는 시차적 간극을 둔다. 그러나 이 경우에는 시간이 지남에 따라 소비자 수요가 변하면서 시차적 비교 결과가 오염될 가능성이 있다. 그럴 때에는 해당 조치를 단기간 여러 번 반복하면 된다.
경영 실험의 두 번째 요구사항은 고객이 기업의 조치에 어떻게 반응하는지 보여주는 피드백 메커니즘이다. 고객의 반응은 행동 반응과 인식 반응의 두 가지로 나눌 수 있다. 행동 반응은 고객의 실제 구매와 같은 행동을 측정한다. 고객이 실제 구매라는 행동에 이르기 전 단계에서도 유용한 자료를 얻을 수 있다. 구글이 광고주에게 유용한 도구가 되는 까닭은 광고 클릭 등과 같은 관심을 가지고 있다는 것을 표현하는 행동을 관찰할 수 있게 해주기 때문이다. 만약 구글이 단순한 클릭 수가 아닌 실제 구매를 측정하는 방법을 개발한다면 기업에 없어서는 안 될 존재로 부상할 것이다. 이를 잘 알고 있는 구글과 다른 검색 엔진들은 온라인·오프라인상에서 광고가 실제 구매결정에 미치는 영향을 측정하기 위해 다양한 방법을 개발 중이다.
인식 반응은 기업이 특정 행동을 취했을 때 ‘이렇게 반응하겠다’는 고객 자신의 생각을 말한다. 주로 설문조사나 FGI(Focus Group Interview), 컨조인트 연구 등의 전통적인 시장분석 방식을 통해 진행된다. 인식 반응 조사는 의사결정 과정에서 발생하는 변화를 찾아내는 데 유용하다.
그러나 대부분의 기업이 단순히 고객 인식을 조사하는 것보다 고객 행동 변화를 파악하려는 의도를 갖고 있기 때문에 기업 수익과 보다 직접적으로 관련된 실험은 고객 행동, 특히 구매 행동을 측정하는 실험이라고 할 수 있다.
