“70% 할인? 그동안 우리 바가지 썼네”

편집자주  이 글은 하버드비즈니스리뷰(HBR) 2011년 3월 호에 실린 에릭 T. 앤더슨과 던칸 시메스터의 글 ‘A Step-by-Step Guide to Smart Business Experiments’를 전문 번역한 것입니다.

10년 전부터 기업은 분석의 힘에 눈을 뜨기 시작했다. 첨단 컴퓨터와 소프트웨어 개발로 시작된 정보의 홍수는 기업에 엄청난 자료를 안겨 줬다. 2010년 한 해에 기업이 수집한 고객 정보가 그 이전에 수집한 자료를 모두 합한 양보다 많다는 추산이 나올 정도다. 폭발적으로 쏟아지는 각종 정보는 기업에 엄청난 수익 증대 기회를 안겨 준다. 그러나 이 기회를 잡기 위해서는 정보를 효과적으로 활용하는 방법부터 알아야 한다.

안타깝지만 정보의 효과적 사용법을 아는 기업은 드물다. 과거 자료에서 의미를 도출하기 위한 정보 분석은 생각보다 훨씬 복잡한 작업이다. 온전한 정보 분석을 위한 기술적 역량을 갖춘 기업도 찾기 힘들다. 정보 분석에 엄청난 자본을 투자한 기업조차도 다양한 한계 때문에 결과를 해석해서 기업 수익을 즉각 제고하는 데 어려움을 겪는다.

많은 기업들은 아주 간단한 경영실험(business experiment)을 통해서도 많은 가치를 창출할 수 있다. 거래에 대한 자료를 연대기적으로 수집해 분석하기보다 실험을 통해 올바른 결정을 내리는 일이 훨씬 쉽다. 우선 책임자는 실험을 위해 필요한 기본 기술, 다시 말해 ‘검증과 학습(test and learn)’ 방식을 능숙히 활용할 수 있어야 한다. 특별한 처치를 한 특정 고객군과 아예 아무 조치도 취하지 않은 대조군의 결과와 비교하는 기술이다. 실험 결과는 단순해서 분석하기 쉽다. 자료 해석도 용이하며 인과관계도 일반적으로 명확하다. 이런 ‘검증과 학습’ 방식은 아주 강력한 힘을 발휘한다. 소수의 실험으로 얻은 결과를 경영에 반영하면 수익을 즉각적으로 제고할 수 있기 때문이다. (자료 ‘유통업체의 할인 전략 실험’ 참조) 기존 자료 분석과 달리 실험 기술은 어떤 관리자라도 쉽게 습득할 수 있다. 그렇다 하더라도 막상 시작하려면 막막할 수 있다. 이제 소규모 경영실험을 시행하는 법을 단계별로 찬찬히 알아보자.

실험의 목적은 고객 반응 확인

실험이 경영의 필수 과정으로 자리잡은 산업 분야가 있다. 예를 들어, 제이크루(J.Crew)나 포터리 반(Pottery Barn)이 고객에게 보낸 우편 카탈로그도 실험의 일부일 가능성이 짙다. 고객에게 우편 카탈로그를 보내면서 제품 및 가격을 검증한다. 카탈로그 종이의 무게조차도 실험의 대상이다. 기금 모금 및 신용카드 회원 모집도 마케팅 실험의 일환이 될 때가 많다. 신용카드사 캐피털원(Capital One)은 신용카드 고객의 모집 방식을 개선하거나 고객의 평생 가치를 극대화하며 수익성이 낮은 카드 서비스를 종료하기 위해 매년 수만 번의 실험을 실시한다. 이런 노력 덕분에 캐피털원은 시그닛은행(Signet Bank)의 한 부서에서 시가총액이 무려 190억 달러에 이르는 어엿한 회사로 독립할 수 있었다.

실험의 난이도는 결과를 얼마나 편리하게 관찰할 수 있느냐에 따라 달라진다. 우편 광고업체나 카탈로그 업체, 온라인 유통업체는 영업 방식의 특성상 소비자 개인의 특성을 고려한 맞춤형 조치를 취하고 그에 따른 소비자의 반응을 측정할 수 있다. 그러나 신뢰할 만한 소비자 반응을 습득하기 힘든 영업 방식 및 경로를 가진 기업도 많다. 대표적인 예가 바로 TV 광고다. 코카콜라는 지난 올림픽 때 내보낸 TV 광고에 대한 소비자 반응을 그저 추측할 수밖에 없었다. ‘광고의 아버지’라 불린 기업가 존 워너메이커(John Wanamaker)는 이런 명언을 했다. “광고비의 절반은 낭비된다. 문제는 어느 쪽 절반이 낭비됐는지를 알 수 없다는 점이다.” 광고의 한계를 잘 드러내는 말이다. 소비자의 반응을 측정하는 효과적 체계가 없다면 경영자는 직감에 의존해 의사결정을 할 수밖에 없다.

대부분의 기업은 양극단의 중간에 위치한다. 이들은 개인별로 차별화된 정보를 얻기보다 소비자 전체에 대한 자료를 바탕으로 실험을 실시하고 동등한 조건에 있지도 않은 실험군과 대조군을 비교해 소비자 반응을 평가할 수밖에 없다. 애플이 아이폰 신규 모델의 적절한 가격대를 결정하기 위해 실험을 한다면 각 나라마다 다른 가격을 책정해 그에 대한 반응을 관찰할 수밖에 없다. 가격 및 제품 관련 실험은 마케팅 경로나 광고 관련 실험보다 대체로 쉬운 편이다. 소비자 영업(B2C)의 경우도 기업 대 기업(B2B)보다 실험을 실시하기에 용이하다. 실험에 참여시킬 잠재 고객이 훨씬 더 많기 때문이다.

 

 실험에 대한 반발심 극복하기

한 대형 은행이 핵심 상품인 양도성 예금증서(CD) 광고를 개선하기 위해 실험을 실시하기로 결심했다. 이 은행의 광고 결정권은 단 한 명의 책임자가 쥐고 있었다. 광고업계에서 잔뼈가 굵은 그는 조직 내에서 높은 지위를 가지고 있었으며 풍부한 경험을 내세워 강력한 권한과 높은 연봉을 보장받고 있었다.

그렇기 때문에 그는 자신의 직관적 판단을 대신하기 위한 실험을 위협으로 간주했다. 그는 실험을 실시하면 낭비되는 시간이 너무 많고 필요한 결정은 이미 내려졌다고 주장하며 실험을 막으려고 했다. 결국 광고가 수익 및 손실에 직접적 영향을 미치는 부서의 고위경영진이 개입했다. 그는 실험 추진을 허락했고 실험으로 잘못된 결정을 내린다고 해도 연말 보너스에 반영하지 않겠다고 약속했다.

실험 문화를 도입할 때 가장 큰 장애물은 바로 조직의 반발이다. 새로운 관행의 가장 큰 적이 기존 관행인 것과 같은 이치다. 조직이 구축한 의사결정 방식을 바꾸려면 엄청난 노력이 필요하다.

이때 조직이 저지르는 실수 중 하나는 고객연구부서에 실험 권한을 위임하는 것이다. 그렇게 하면 고객연구부서는 실험을 실시하기 위해 필요한 권한을 각 관련 부서에 요구해야 한다. 이는 분명 잘못된 방법이다. 의사결정을 개선하기 위한 실험의 과정은 결정을 내린 주체, 다시 말해 각 사업부서에서 책임을 져야 한다.

적절한 기대 수준 또한 매우 중요하다. 실험을 하면 무조건 혁신적 개선책을 찾을 수 있다고 생각해선 안 된다. 안타깝지만 그럴 확률은 5%밖에 되지 않는다. 그렇기 때문에 8개월에 걸쳐 하나의 대규모 실험을 시행하는 전략은 별로 바람직하지 않다. 실험의 생산성을 높이고 싶다면 수십 개의 소규모 실험을 동시에 실행할 수 있는 인프라가 필요하다. 100개의 실험 중 장래성이 있고 다시 시행할 가치가 있는 실험은 5∼10개 정도밖에 없으며 이렇게 해서 한두 개의 수익성 개선 방법을 찾아낼 수 있을 뿐이다. 다음에는 가능성이 높아 보이는 실험에 모든 자원을 집중해 철저히 분석한다. 초기에는 여러 실험에서 조금씩 성과를 내는 것보다 하나의 실험에서 혁신적 해결책을 찾는 게 낫기 때문이다.

혁신적 개선안을 찾는 일은 결코 쉽지 않다. 그러나 이는 대부분의 조직이 실험을 이행하는 과정에서 만나게 되는 제도적 저항을 극복하지 못했기 때문이다.

과학자처럼 생각하기

경영실험을 실시하기 위해서는 두 가지 요소가 반드시 필요하다. 대조군과 고객 반응 측정 체계다.

실험에서 대조군의 역할을 알지 못하는 경영자는 거의 없지만 대부분의 경우 대조군의 역할을 간과하고 신상품을 전체 고객군에 차별 없이 공급해 버린다. 일례로 독점 계약이 각 대리점에 미치는 영향을 평가하려는 기업이 모든 대리점과 독점 계약을 맺는다면 소중한 실험 기회를 놓치는 것과 다름 없다. 독점 계약이 영업 결과에 미치는 영향을 더 쉽게 평가하려면 비교 평가를 위해 비독점 계약을 하는 특정 지역이 필요하다.

대조군은 무작위로 설정하는 게 가장 좋다. 앞서 설명한 캐피털원은 다른 신용카드의 채무 대환 서비스(회사의 성공을 가져온 혁신사례가 됨)가 고객의 호응을 어느 정도 받을지를 예측하기 위해 채무 대환 서비스를 제공할 고객을 무작위로 선별했다. 이와 함께 이전과 동일한 서비스를 받는 대조군도 무작위로 선발했다. 대조군은 실험군을 먼저 구성하고 남은 고객 중에서 선별하는 게 합리적이다. 한 금융기관은 소매금융 온라인 플랫폼의 성능을 시험하기 위해 이 방법을 썼는데 덕분에 기타 조건이 동일하게 구성된 광범위한 고객군 내에서 신규 플랫폼에 대한 반응을 비교·평가할 수 있었다.

실험군과 대조군을 올바로 설정하기 위해서는 이들을 명확히 구분해서 한쪽에 취한 조치가 다른 쪽에 파급 효과를 미치지 않도록 만전을 기해야 한다. 고객이 웹사이트를 반복해서 방문할 수 있는 온라인 환경의 경우 특정 고객이 방문한 웹사이트를 일일이 추적하기가 어렵기 때문에 실험 결과의 오염을 방지하기가 그만큼 힘들다. 각 지점마다 영업 방식을 달리하는 기존 실험 방식 또한 고객이 다양한 지점을 방문하면 실험 결과가 오염되는 위험을 안고 있다. 이 경우 지역별로 방식을 달리 할 수 없다면 시간에 따라 영업 방식을 바꾸는 시차적 간극을 둔다. 그러나 이 경우에는 시간이 지남에 따라 소비자 수요가 변하면서 시차적 비교 결과가 오염될 가능성이 있다. 그럴 때에는 해당 조치를 단기간 여러 번 반복하면 된다.

경영 실험의 두 번째 요구사항은 고객이 기업의 조치에 어떻게 반응하는지 보여주는 피드백 메커니즘이다. 고객의 반응은 행동 반응과 인식 반응의 두 가지로 나눌 수 있다. 행동 반응은 고객의 실제 구매와 같은 행동을 측정한다. 고객이 실제 구매라는 행동에 이르기 전 단계에서도 유용한 자료를 얻을 수 있다. 구글이 광고주에게 유용한 도구가 되는 까닭은 광고 클릭 등과 같은 관심을 가지고 있다는 것을 표현하는 행동을 관찰할 수 있게 해주기 때문이다. 만약 구글이 단순한 클릭 수가 아닌 실제 구매를 측정하는 방법을 개발한다면 기업에 없어서는 안 될 존재로 부상할 것이다. 이를 잘 알고 있는 구글과 다른 검색 엔진들은 온라인·오프라인상에서 광고가 실제 구매결정에 미치는 영향을 측정하기 위해 다양한 방법을 개발 중이다.

인식 반응은 기업이 특정 행동을 취했을 때 ‘이렇게 반응하겠다’는 고객 자신의 생각을 말한다. 주로 설문조사나 FGI(Focus Group Interview), 컨조인트 연구 등의 전통적인 시장분석 방식을 통해 진행된다. 인식 반응 조사는 의사결정 과정에서 발생하는 변화를 찾아내는 데 유용하다.

그러나 대부분의 기업이 단순히 고객 인식을 조사하는 것보다 고객 행동 변화를 파악하려는 의도를 갖고 있기 때문에 기업 수익과 보다 직접적으로 관련된 실험은 고객 행동, 특히 구매 행동을 측정하는 실험이라고 할 수 있다.

 

 유통업체의 할인 전략 실험

대형마트에 가면 브랜드 제품의 가격 할인 행사를 심심찮게 발견할 수 있다. 할인 행사의 비용을 대는 쪽은 제조업체지만 모든 유통업체가 할인 행사를 마냥 반기는 건 아니다. 가격 할인으로 해당 제품의 매출이 늘어날지 모르지만 경쟁 카테고리 내 PL 제품의 매출은 상대적으로 줄어들 수 있기 때문이다. 유통업체가 가져가는 수익률은 PL 제품이 단연 높다. 브랜드 제품이 할인 행사에 들어갈 때 PL 제품의 점유율을 지키면서 제품을 홍보해야 하는 한 유통업체가 우리의 도움을 받아 실험을 실시하기로 했다.

이 회사는 6개의 실험 조건을 설계했다. 대조 기준을 설정하고 0∼35% 범위 내에서 PL 제품의 할인율을 5단계로 나눴다. 매장은 6개 그룹으로 분류했고 각 그룹의 변화 수준은 무작위로 설정했다. 다시 말해 각 매장은 제품별로 적용되는 할인폭이 달랐다. A 매장의 경우 PL 설탕을 20% 할인된 가격에 판매하고 PL 마스카라는 제값에 팔았다. 반면 B 매장에서는 마스카라를 할인 행사에 포함시키는 대신 설탕은 제값을 받았다. 매장 간 조건이 동일하지 않은 상황에서 발생 가능한 여러 변수를 통제하기 위해서였다.

실험 결과, 브랜드 제품의 할인 행사가 있을 때 PL 제품도 소폭 할인하면 그렇지 않을 때보다 PL 제품의 수익이 10% 증가한다는 사실이 밝혀졌다. 이후 유통업체는 브랜드 제품이 판촉 행사를 할 때마다 자동적으로 PL 제품의 가격을 할인하는 방식을 도입했다. 실험을 통해 PL 제품 할인의 필요성을 확인한 유통업체는 이후 브랜드 제품의 행사 유형에 따른 여러 반응을 시험하며 방어 전략을 완성시켰다. 예를 들어, 브랜드 제품이 ‘1개를 사면 다른 1개 50% 할인’ 행사를 시행하면 PL 제품도 단순히 할인만 하지 말고 같은 방식의 행사를 해야 한다는 결과를 얻을 수 있었다.

이런 식의 구체적 실험은 두 가지 이유로 성공을 거뒀다. 첫째, 실행하기 쉬운 실험이었다. 둘째, 실험 결과의 측정이 용이했다. 각 실험은 일주일이면 결과를 얻을 수 있었다. 게다가 실험 규모도 크지 않았기 때문에 실험을 위해 추가 인력을 투입할 필요도 없었다. 실험은 다른 판촉 행사와 접목해 이뤄졌기 때문에 매장 직원조차도 실험을 실시하고 있다는 사실을 알지 못했다.

첫 실험에서 유통업체는 너무 많은 변화를 한꺼번에 시도하면 이행에 어려움이 생겨 과정이 지연되고 많은 추가 비용이 발생한다는 사실을 깨달았다. 노동력이 부족해서 임시직원을 투입할 때는 제품을 찾고 가격이나 진열대 표시를 바꾸는 훈련을 시켜야 했다. 실험이 일주일 이상 길어지자 진열대 배치와 안내 표시를 계속 바꿔야 하는 문제도 발생했다. 이럴 때 매장이 규정대로 운영되는지 여부를 확인하기 위한 점검 프로그램이 필요했다. 실험을 하기 위한 실험이 이어진 것이다. 유통업체가 실험을 통해 배운 것은 신속한 결과 분석과 이행 촉진을 위한 실험 설계방식이었다.

경영실험의 7대 원칙

다른 모든 활동처럼 경영실험도 최소 투입으로 최대 효과를 내는 분야부터 시작해야 한다. 다시 말해 이행이 쉽고 확실한 결과를 신속히 얻을 수 있는 실험부터 시작해야 한다는 것이다. 가격을 인상·인하하거나 광고물 우편을 발송하고 고객의 반응을 관찰하는 게 가장 대표적인 예다. 실험에서 신속한 결과를 도출하려면 다음의 원칙을 명심해야 한다.

1. 개별 소비자와 단기 결과에 집중한다.

정확한 실험을 위해서는 고객군이나 전체 지역이 아니라 개별 고객에게 조치를 취하고 이에 대한 반응을 관찰해야 한다. 실험은 (인지 반응이 아니라) 구매 행동을 측정하고 이 변화로 수익이 증대됐는지를 밝히기 위한 것이다. 따라서 고객이 즉각적으로 반응할 수 있는 환경에 실험을 집중해야 한다. UBS는 자산관리 사업을 개선하기 위해 어떤 실험을 실시할지를 두고 고심하다가 고객의 평생가치 증대보다는 신규 고객 모집과 관련한 실험부터 시작해야겠다는 결론을 얻었다. 고객 모집을 위한 실험은 즉각적으로 결과를 측정할 수 있는 반면 평생 가치의 측정에는 25년의 시간이 필요했기 때문이다.

2. 실험을 단순화한다.

기존 자원 및 인력을 활용하고 실행하기 쉬운 실험부터 시작한다. 고객 실험을 실시하려던 한 은행은 지점의 창구 직원을 모두 재훈련시켜야 하는 실험을 피하고 대신 은행 IT시스템을 통해 자동화할 수 있는 실험부터 시작했다. 지점 배치나 은행 상품, 직원 의무를 광범위하게 설정해야 하는 실험은 엄청난 비용이 들 때가 많다. 일례로 한 유통업체가 전 매장에서 수천 개에 이르는 제품의 가격을 변화시키며 실험을 실시했다. 총 100만 달러의 비용이 투자된 노동 집약적 실험이었다. 그러나 대규모 실험에서 얻은 정보의 대부분은 지점이나 상품 수가 훨씬 적은 소규모 실험으로도 충분히 얻을 수 있는 결과였다. 실험의 규모를 줄였다면 이 유통업체는 더 적은 자원으로 많은 실험을 실시할 수 있었다.

3. 실험의 개념부터 먼저 입증한다.

학계의 실험 연구에서는 연구자들이 변수를 하나씩 바꿔 해당 결과를 초래한 원인을 밝히는 일이 가능하다. 그러나 경영실험에서는 개념 증명(proof of concept)부터 먼저 해야 한다. 이를 위해서는 의도하는 결과를 도출할 가능성이 가장 높은 변수의 조합에 최대한 많은 변화를 준다. 예를 들어, 브랜드 제품이 아닌 자체 브랜드(PL) 제품의 구매를 촉진하려는 한 편의점 체인은 브랜드 제품의 가격을 인상하는 동시에 PL 제품의 가격을 인하했다. 이를 통해 브랜드 제품 수요를 PL 제품으로 이전할 수 있다는 실험의 기본전제를 입증한 유통업체는 각 제품의 가격을 개별 조정해 가격 전략을 완성했다.

4. 결과 자료를 쪼개 분석한다.

실험군과 대조군에 다수의 고객이 무작위로 배정돼 있다면 효과적으로 여러 개의 실험을 실시해서 그 결과를 분석할 수 있다. 일례로, 표본에 남성과 여성 고객이 모두 포함될 경우 남성과 여성의 결과를 따로 분석해서 새로운 자료를 얻을 수 있다. 대부분의 행동은 특정 고객에게 더 큰 영향을 미치기 때문에 결과 자료를 얻을 때 실험군 및 대조군에 속한 사람들을 하위 그룹으로 분류해 그룹별 결과를 분석하면 좋다. 종합된 결과만 알고 있으면 해당 행동이 어떤 고객에게도 영향을 미치지 않았다는 잘못된 결론을 도출할 가능성이 높기 때문이다. (자료 ‘하위 그룹별 결과 분석’ 참조)

성별이나 과거 구매패턴 등의 하위그룹 변수는 실험의 대상이 되는 행동에 영향을 미치지 않는 독립변수여야 한다. 예를 들어, 지점 개설이 카탈로그 수요에 미치는 영향을 분석하려면 지점에서 직접 물건을 구매하는 고객과 카탈로그 구매 고객을 단순 비교해서는 안 된다. 그렇게 해서 얻은 결과는 신규 매장이 가져온 변화가 아니라 기존 고객의 특성 차이를 반영할 것이다. 따라서 이 경우에는 매장 근처에 거주하는 고객과 너무 멀리 살아서 매장에 올 일이 없는 고객의 구매량을 비교하는 게 더 효과적이다. 비교가 가능할 정도로 두 그룹의 다른 변수가 동일할 때 이들의 행동에 차이가 생긴다면 그 원인은 매장 개장에 있다고 볼 수 있기 때문이다.

5. 틀에 박힌 생각에서 벗어난다.

기업이 가장 자주 저지르는 실수 중 하나는 기존 정책을 조금만 변형시켜 실험에 적용한다는 점이다. IBM의 경우 영업점에 판매하는 도매 가격이 매출 수입에 어떤 영향을 미치는지 알아내기 위해 가격을 조금씩 변화시켜 실험을 실시할 수도 있다. 그러나 그보다는 독점 지역이나 광고 협력 프로그램 등 완전히 다른 영업 방식을 시험해보는 게 수익 증대에 더 큰 도움이 된다. ‘이러면 어떨까’ 식의 모험 정신을 발휘하지 않으면 실험을 통해 혁신적 개선안을 얻기가 힘들다. 대표적인 예가 바로 영국 슈퍼마켓 체인 테스코(Tesco)다. 테스코는 야생 조류 사료를 구매한 적이 있는 고객에게 유기농 식품 쿠폰을 보내면 수익이 증가한다는 사실을 발견했다. 이런 혁신적 발견이 가능했던 건 테스코가 상대적으로 경력이 많지 않은 본사의 주니어 애널리스트에게도 한정된 고객을 대상으로 실험을 실시할 권한을 주었기 때문이다. 이들은 젊은 고객층에게 파급력 있는 창의적이고 신선한 발상을 끊임없이 제공하며 고위 경영진도 하지 못하는 일을 해내고 있다.

6. 중요한 모든 것을 측정한다.

고객 반응을 측정할 때 주의할 점이 있다. 중요한 영향을 모두 측정해야 한다는 점이다. 전국에 매장을 낸 의류 유통업체는 고객군별 카탈로그 발송 빈도를 결정하기 위해 최근 대규모 실험을 실시했다. 실험군은 9개월간 카탈로그를 17번 받았고 무작위로 선정한 대조군은 같은 기간 카탈로그를 12번 받았다. 평소 구매 빈도나 금액이 높았던 고객은 실험 기간에 카탈로그를 많이 받으면 그만큼 지출이 증가했다. 하지만 실험이 끝난 후에는 지출이 다시 감소했다. 판매 경로별 매출을 분석해 보니 단골 고객의 경우 온라인 구매보다 카탈로그를 통한 구매(우편이나 전화 구매)가 더 많았다. 기간 및 판매 경로별 매출 자료를 모두 종합하자 단골 고객에게는 카탈로그를 보내는 횟수를 줄여도 매출이 감소하지 않는다는 결론이 나왔다. 특정 판매 경로에서 취한 행동이 다른 판매 경로에 영향을 미치거나 단기적 조치가 장기적 영향을 가져올 때에는 실험 결과를 분석할 때 신중하게 상황을 살펴야 한다. 고객 모집처럼 단기간에 가시적 결과를 가져다 주는 실험을 먼저 권유하는 것도 이 때문이다.

7. 자연적 결과가 있다면 이를 활용한다.

1989년 노벨 경제학상을 수상한 노르웨이 경제학자 트리그베 호벨모(Triygve Haavelmo)는 세상에는 “인간이 해야 하는 실험”과 “자연이라는 거대한 실험실에서 행해지는 실험”의 두 가지 실험이 있다고 말했다. 기업이 이런 자연적 실험 기회를 찾아낼 수만 있다면 추가 비용을 거의 들이지 않고도 놀라운 사실을 발견할 수 있다. 한 의류업체는 특정 주(州)에 오프라인 매장 1호점을 개장하면서 매장이 위치한 지역으로 카탈로그 및 인터넷 판매 제품을 배송할 때마다 영업세(sales tax)를 납부해야 한다는 사실을 알게 됐다. 이에 따라 카탈로그 및 인터넷 구매 고객은 이전에는 낼 필요가 없었던 세금을 내기 시작했다. 해당 의류업체는 이 일을 통해 영업세가 온라인 및 카탈로그 수요에 미치는 영향을 측정할 절호의 기회를 얻었다. 업체는 매장에서 먼 남쪽 끝에 거주하는 고객, 매장이 너무 멀어서 직접 방문할 일이 없는 고객들의 인터넷 및 카탈로그 구매를 개점 전후로 비교했다. 매장이 생겨도 방문할 일이 없는 이들의 구매량이 개점 후 감소했다면 원인은 영업세가 될 수밖에 없었다. 비교 결과 영업세 도입은 온라인 구매를 크게 떨어뜨렸지만 카탈로그를 통한 구매에는 별다른 영향을 주지 못했다.

자연적 실험을 파악하고 결과를 분석하려면 자연적으로 발생하는 외부요소에 의해 만들어진 실험군과 대조군을 찾아내야만 한다. 실험군과 대조군은 지역별로 구성되는 경우가 많지만 그렇다고 항상 지역이 기준이 되는 건 아니다. GM이나 포드, 크라이슬러 등의 자동차 생산업체가 직원 할인율로 신차를 구매할 수 있는 기회를 전 국민에게 제공한 적이 있다. 이 경우에는 지역별로 실험군과 대조군을 구분할 수가 없었다. 모든 고객이 동일한 조건에서 거래를 했기 때문이다. 그래서 연구자들은 직원 할인율 제공 전과 후를 몇 주에 걸쳐 비교해 할인 행사의 영향을 관찰했다. 그 결과 직원 할인율을 통해 매출을 늘리려면 자동차 가격의 급등이 선행돼야 한다는 흥미로운 사실을 발견했다. 자동차 가격이 크게 오르면 직원 할인율로 살 때 그만큼 싸게 샀다는 기분을 주기 때문이다. 엄밀히 따지자면 할인 받은 자동차의 가격은 행사가 진행되기 전 원래 자동차 가격보다 높았는데도 말이다. 다시 말해 고객은 실제 구매 가격보다 할인폭에 더 크게 반응한 것이다. 이들은 더 많은 값을 지불했는데도 대체적으로 거래에 만족하는 모습을 보였다.

 

 하위 그룹별 결과 분석

실험 후 처음 얻는 결과는 진실을 왜곡해 전달할 수 있다. 할인행사가 고객의 구매 행동에 어떤 영향을 미치는지 실험을 통해 확인한 출판사를 예로 들어 보자. 이 출판사는 대조군으로 설정한 고객에게 낮은 할인율을 제공하는 카탈로그를 보냈다. 출판사에서 늘 제공하던 할인율이었다. 반면, 실험군 고객에게는 특정 제품에 관해 높은 할인율을 제공하는 카탈로그를 보냈다. 출판사는 이후 2년간 카탈로그를 받은 고객의 총 구매량을 추적했다. 그 결과 실험군과 대조군의 차이는 아주 미미했다.

All customers: 모든 고객/ per customer: 고객 1인당

할인율이 낮은 카탈로그를 받은 고객(대조군): 1인당 구매액 159달러

할인율이 높은 카탈로그를 받은 고객(실험군): 1인당 구매액 157달러

Change: 격차 2달러

그러나 이런 식으로 자료를 분석했을 때에는 결코 알 수 없던 진실이 추가 분석을 통해 밝혀졌다. 카탈로그를 받기 전 고가 도서를 구매했는데 같은 물건이 70% 할인된다는 소식을 접한 고객은 이후 구매를 18%나 줄였다. 바가지를 썼다는 생각에 기분이 상한 것이다. 이들 중에는 장기 고객도 다수 있었다.

Customers who recently∼: 최근 고가 도서를 구매한 고객

Per customer: 고객 1인당

할인율이 낮은 카탈로그를 받은 고객: 1인당 구매액 506달러

할인율이 높은 카탈로그를 받은 고객: 1인당 구매액 415달러

Change: 격차 91달러

이 사실을 알게 된 출판사는 의도치 않게 단골 고객의 심기를 거스르지 않도록 카탈로그 내용을 수정하는 전략을 도입했다.

 

장애물 극복

경영실험을 최대한 활용하려는 기업은 내외부적으로 어떤 장애물이 있는지를 제대로 파악해야 한다. 유통업체나 판매업체를 대상으로 서로 다른 가격을 적용한다면 법적 규제를 받을 수 있다. 특히 경쟁이 치열한 시장에서라면 규제는 더 심해진다. 소비자 유형별로 다른 가격에 상품을 판매하는 경우(같은 항공편이라도 구매 시점과 경로에 따라 가격은 천차만별이다)는 법적 제약이 약하지만 소비자의 격렬한 반발을 받을 수 있다. 이는 일부 기업에 강력한 제재로 작용한다. 다른 사람보다 안 좋은 대접을 받고도 그냥 넘어갈 사람은 별로 없기 때문이다. 특히 인터넷에서 가격 비교를 쉽게 할 수 있는 요즘에는 가격을 차등화한 사실이 쉽게 드러날 위험이 있다.

대부분의 경우 내부 장애물은 외부 장애물보다 강력하다. 직감으로 의사결정을 내리는 기업이 실험 문화를 받아들이려면 경영 방식에 근본적인 변화를 줘야만 한다. 직감 경영은 신속히 결정을 내리고 싶은 개인의 성향과 실패를 용서하지 않는 기업 문화에 뿌리를 두고 있다. 그러나 실험 경영은 객관적이고 측정 가능한 결과를 바탕으로 다양한 방식을 시도하는 경영 방식을 추구한다. 이때 시도한 다양한 방식은 항상 실패의 위험을 안고 있다.

실험은 성공을 했을 때에만 유용하다는 잘못된 시각을 가진 기업도 있다. 경영 실험의 목적은 완벽한 실험을 실시하는 데 있지 않다. 그보다는 현재보다 나은 결정을 내리는 데 목적이 있다. 실험을 하지 않는 경영진은 오로지 직감에 의존해 결정을 내린다. 이런 어리석은 결정보다 더 놀라운 것은 훌륭한 매니저들이 이런 결정들에 대해 느끼는 방식이다. 이래서는 안 된다. 경영진이 의사결정을 바라보는 방식에도 개선이 필요하다. 실험 문화를 만들기 위해 노력하는 기업은 고위경영진부터 실험으로 얻게 되는 기회를 명확히 이해하고 실험을 기업의 전략적 목표에 포함시킨다. 시저스엔터테인먼트(Caesars Entertainment)로 이름을 변경한 하라스(Harrah’s)의 개리 러브맨(Gary Loveman) 최고경영자(CEO)는 3만5000명의 직원을 거느린 조직이 실험을 핵심가치로 받아들이도록 기업 문화를 바꾸는 데 성공했다. 그는 실험 지원에 필요한 인재와 인프라를 갖추는 데 필요한 투자를 아끼지 않았다. 실험을 시도한 직원을 보상하는 지배구조를 확립시켰다. 오직 직감에만 의존해 결정을 내린 사람은 그 직감이 맞았다고 해도 비판을 받았다.

한 기업이 실행할 수 있는 실험의 수는 제한적이다. 이럴 때에는 통계 및 과거 자료 분석이 매우 중요하다. 이는 실험 결과를 바탕으로 대부분의 의사결정이 이뤄지는 기업에도 마찬가지다. 우편으로 고객을 모집하는 캐피털원은 예외적이다. 캐피털원은 고객 모집 활동을 통해 수천 개의 실험을 시행할 수 있다. 과거 데이터를 분석한 사전 테스트를 실시할 필요가 없다. 그러나 캐피털원과 같은 운영 모델을 가지지 못한 기업들은 사업 여건상 소수의 실험밖에 시행하지 못할 수 있다. 이런 기업은 실험을 신중히 계획하고 자료 분석을 통해 사전 테스트를 실시해야 한다. 예를 들어 판매 경로를 변경하는 실험은 무척 어려운 작업이다. 기존 유통업체 및 판매업체와의 관계를 파괴하는 변화를 시도해야 하기 때문이다. 이 때문에 판매 경로 변경 실험은 한계에 부닥친다. 이런 상황에서는 경쟁업체의 과거 행동 및 관련 산업의 사례 연구 등 자료 분석을 통해 실험에 집중하는 데 도움이 되는 매우 유용한 통찰을 얻을 수 있다.

규모나 구성 방식(자연적 혹은 인위적)에 상관없이 경영 실험의 최종 목적은 항상 같다. 직관 혹은 감으로 의사결정을 내리던 관행에서 벗어나 실험을 통해 효과성이 입증된 의사결정을 내리는 기업 문화를 정착시키는 것이다. 물론 직관은 혁신을 위해 반드시 필요한 요소 중 하나다. 그러나 어떤 발상이든 폭넓게 시행되기 전에 실험을 통해 그 유효성이 실증돼야만 한다. 실증된 결과에 입각해 의사결정을 내리는 기업은 장기적으로 낮은 직급의 사람들까지 소규모 실험을 통해 의사결정을 내리는 문화를 확립할 수 있다. 그렇게 되면 틀에 얽매이지 않는 혁신을 통해 진정한 변화를 꾀하는 일이 가능해질 것이다.

번역 ｜우정이 woo.jungyi@gmail.com

에릭 T. 앤더슨(Eric T. Anderson)은 노스웨스턴대 경영대학원 마케팅 교수다.

던칸 시메스터(Duncan Simester)는 MIT 경영대학원 경영과학 교수다.