비즈니스 실험, 똑똑하게 하는 법

28호 (2009년 3월 Issue 1)

관리자들은 진정한 인사이트를 얻기 위해 다양한 소규모 실험을 실행한다. 그러나 지나치게 많은 ‘실험’이 입증해 주는 것은 그리 많지 않다. 그럼에도 많은 관리자는 새로운 아이디어를 뒷받침하는 진정한 근거도 없이 매일 실험을 실행하고 있다.
 
그들은 통상 ‘이건 틀림없어’ ‘내 생각은 그래’라는 식의 직감이나 상식에 의존해 제품에 이런저런 변화를 가하고, 유통 방법을 달리하는 등 업무 방식을 바꾼다. 심지어 일부는 과학적인 언어로 의사 결정을 마무리함으로써 실험의 타당성을 뒷받침하는 증거가 있다는 착각을 불러일으키게 하기도 한다.
 
그들이 말하는 실험은 엄중성을 결여하고 있어 그 이름에 걸맞은 가치를 지니지 못한다. 실험 결과로 미루어 짐작한 사실은 틀린 경우가 대부분이다. 더욱 심각한 것은 그 과정에서 배울 수 있는 내용도 거의 없다는 점이다.
 
고객 서비스 개선이라는 목표를 설정한 한 소매 은행의 예를 보자. 이 은행은 과학적이라는 찬사를 받은 프로그램을 도입했다. 이 프로그램의 일환으로 은행의 몇몇 지점에 ‘연구소’라는 명칭이 붙었고 새로운 접근법은 ‘실험’으로 알려졌다.
 
그러나 이 은행은 다양한 아이디어를 실험하겠다는 의욕에 앞선 나머지 ‘연구소’로 지정한 지점에서 한꺼번에 너무 많은 변화를 시도했다. 이 때문에 무엇이 향상되었는지 판단하기 어려운 상황에 처했다. 변화를 시도한 지점들의 비교 대상인 대조군도 설정하지 않았다. 때문에 예상한 결과가 나타난 것인지 아닌지조차 확실히 파악할 수 없었다.
 
비난이 두려웠던 관리자들은 대조군을 설정한 실험을 실시했다. 대기 줄에 TV 뉴스가 나오는 비디오 스크린을 설치하고 고객들이 이 덕분에 대기 시간이 실제보다 줄었다고 인식하는지 아닌지를 알아보는 실험이었다. 그러나 이들은 여기에서도 또 실수를 저질렀다. 여러 대조군 및 실험군을 마련하지 않고 단 하나의 대조군과 실험군만을 비교했기 때문이다. 이는 통계적으로 유효한 결과를 얻어내기에 충분하지 않은 숫자였다.
 
실험 지점을 방문한 고객들은 대기 시간이 줄었다고 인식한 것으로 나타났다. 그러나 비디오 스크린을 설치하지 않은 지점에서도 비슷한 결과가 나왔다. 이렇듯 혼란스러운 데이터로는 도저히 제대로 된 실험 결과를 도출할 수 없었다. 그럼에도 불구하고 관리자들은 이 사실을 최고 경영진에게 보고하지 않았다.
 
이러한 예는 얼마든지 피할 수 있는 상황이다. 새로운 소프트웨어를 도입하고 그 역량을 키우기 위한 투자를 선행한다면 관리자들은 과학적 실험을 통해 근거 있는 결과를 도출할 수 있다. 물론 과학적인 기법과 응용이 비즈니스계에서 전혀 새로운 개념은 아니다. 다이렉트 메일 마케팅 담당자들이 마케팅 강도에 따른 응답률을 추적해 왔듯이 비스킷 제조 업체에서 제약회사에 이르는 다양한 기업의 연구개발(R&D) 센터들은 늘 과학적 접근법에 의존해 왔다.
 
그러나 이러한 경우 이외에 과학적 기법을 도입하는 것은 최근까지만 해도 커다란 시도로 여겼다. 많은 사람이 경영 아이디어를 무작위로 실험하는 일, 즉 무작위로 지정한 대상을 실험군과 대조군으로 지정하는 것은 통계학 박사 또는 실험 설계 전문가를 고용해야만 가능한 일이라고 생각해 왔다.
 
이는 사실이 아니다. 어떤 종류의 표본이 필요한지, 실험과 대조를 위해 어떤 사업장을 활용해야 할지, 실험으로 인한 변화는 통계적으로 어떤 의미가 있는지 등을 판단하기 위한 실험 전문가가 필요한 시대는 지났다. 유용한 소프트웨어의 도움을 받는다면 경영대학원(MBA) 출신 일반 관리자 또한 얼마든지 실험 과정을 감독할 수 있다.
 
풍부한 거래 데이터를 보유한 고객 응대 회사들은 이미 상품 연구개발(R&D) 이외의 혁신을 정기적으로 실험하고 있다. PNC·토론토도미니언·웰스 파고와 같은 은행, CKE 레스토랑·페이머스 풋웨어·푸드 라이언·시어스 백화점·서브웨이 샌드위치와 같은 소매 유통업체, 아마존·이베이·구글과 같은 온라인 기업도 모두 해당한다. 무작위 실험은 이제 웹사이트 분석 등 기업의 여러 업무에 일반적인 절차로 자리를 잡았다. 이에 따라 기업들은 다른 상황에도 이를 적용할 수 있는 역량을 구축하고 있다.(최근에 실시된 실험 표본에 대해서는 뒤에 나오는 HBR TIP ‘궁금해하기를 멈춰라’ 참조)
 
사실 과학적으로 유효한 실험을 설계하기에 적합하지 않은 비즈니스 상황도 많다. 설령 ‘실험과 학습’이 언제나 적절한 방법이 아니라 해도 분명 이 접근법은 시간이 지날수록 유효성이 커진다. 당신의 조직에서도 마찬가지다. 필자가 연구해 온 많은 기업의 예에서 보듯이 소프트웨어 및 교육에 대한 투자는 단기간에 우선적으로 달성할 수 있는 결실을 맺는 데 효과가 있다. 그러나 진정한 보상은 조직 전체가 실험과 학습이라는 사고 방식을 받아들일 때 비로소 찾아온다. 

 
[HBR TIP] 이론의 적용
 
당신 또는 당신의 팀에서 누군가가 효과가 있을만한 변화를 제안하고 있다. 그러나 실효성을 입증할 때 그저 직감에만 의존해야 할 이유는 무엇인가.
 
실험을 설계하라 변화를 수용한다면 이 변화가 기업에 어떠한 도움을 줄지에 대한 가설부터 세워라. 실험군과 대조군에서 어떠한 결과가 나타나는지를 따져봄으로써 실험을 실시하라. 시작 단계에서부터 확실한 결과를 얻기 위해 무엇을 측정해야 하는지, 당신이 이것을 파악할 만한 역량이 있는지를 명확히 하라.
 
사실을 따르라 실험 환경에서 성공한 것은 그 어떤 것보다도 널리 실행되어야 한다. 그러나 실패한 실험도 단순히 폐기해서는 안 된다. 결과를 토대로 가설을 수정하고, 실험에 변화를 주는 방법을 고려하라. 더욱 중요한 것은 실험에서 얻은 지식을 포착하고, ‘학습 정보 저장고’를 통해 이를 전체 조직원이 활용할 수 있도록 돕는 것이다. 이렇게 해야만 동일한 결과를 재차 입증하기 위한 자원 낭비가 발생하지 않는다.
 
사례: 서브웨이 샌드위치 체인의 마케팅 담당자들은 5달러의 저렴한 가격에 커다란 샌드위치를 내놓고 대대적인 프로모션을 진행하려했다. 그러나 프랜차이즈 업주 사장들은 고객들이 이 제품 때문에 값비싼 다른 메뉴를 외면하지 않을까 우려했다. 실험을 통해 업주들의 우려가 과장됐음이 드러났다. 대조군과 실험군을 활용한 실험은 이 프로모션의 효과를 입증했고 실제 결과도 마찬가지였다.
 
실험을 통상화하라 통계 비전문가들이 엄중한 실험을 감독할 수 있도록 해주는 교육 및 인프라를 창출하라. 시중에 나와 있는 일반 소프트웨어도 그들이 실험 단계를 거치고 결과를 분석할 수 있도록 도와준다. 핵심 전문가 집단은 자원과 전문지식을 제공하고 학습 정보 저장고를 유지하도록 도와준다. 지도층은 충분한 증거 없이 중요한 정책을 집행하는 사람들에게 불이익을 주는 방식으로 실험 및 학습 문화를 배양해야 한다. 이를 위해 우선 관리자들부터 실험에 익숙해져야 한다. 익숙해지면 그들은 실험이 회사가 직면한 어려움을 해소해 줄 뿐 아니라 유망한 아이디어를 개척해 준다는 점을 깨달을 것이다.
 
실험이 의미를 지닐 때
형식적 실험은 ‘무엇이 진정 효과가 있는가’라는 질문에 대해 직관적 접근법 이상의 이해를 가능하게 만든다. 이론적으로는 비즈니스의 어떤 부분이든 상이한 결과를 초래하는 실험을 실시할 수 있다. 그러나 실제로는 실험이 불가능하거나 불필요한 경우가 있다.
 
신제품 가운데에는 특성상 소규모 실험이 불가능한 것들이 있다. 미국 최대 유통업체인 베스트바이는 특별히 제작한 CD의 마케팅을 위해 폴 매카트니와의 협력 및 그의 콘서트 후원을 모색했다. 그러나 이 마케팅의 어떤 요소도 소규모로 실험하는 것이 불가능했다. 때문에 베스트바이 관리자들은 직관에 따라 일을 추진했다.
 
캐나다 최대 은행이자 수익성 또한 가장 높은 은행인 토론토 도미니언도 마찬가지다. 이 은행은 빠른 일 처리가 필요할 때 관리자들에게 실험을 거치지 않고 일을 처리해도 된다는 사실을 주지시킨다. 물론 그 관리자가 관련 사업 영역에 대해 충분한 경험이 있어야 한다는 전제 조건은 필요하다.
 
일반적으로 실험의 진정한 성과는 전략 수립이 아니라 전략 실행 과정에서 결정된다. 과학적 기법은 비즈니스 모델의 주요한 변화, 대규모 인수합병(M&A), 그 밖의 판도를 바꾸는 결정을 평가하는 데에는 적합하지 않다.
 
미국 신용카드 업체 캐피털 원의 사례는 과학적 실험의 한계에 관해서도 알려준다. 이 회사의 최고경영자(CEO)이자 공동 창업자인 리치 페어뱅크가 캐피털 원의 전신인 시그넷 뱅크에 합류한 1988년 이후 캐피털 원은 전 세계에서 가장 공격적으로 실험을 실시하는 기업이었다. 회사 자체가 이론적 개념에 기반을 두고 만들어졌다 해도 과언이 아닐 정도였다.
 
리치 페어뱅크가 신용카드 산업에 매력을 느낀 것은 하나의 비즈니스를 과학 연구소로 변환해 상품 디자인, 마케팅, 커뮤니케이션 경로, 신용 한도, 고객 선별, 수금 정책, 교차 판매 등에 관한 모든 결정을 수천 가지 실험에 따라 결정할 수 있는 회사의 역량 때문이었다. 페어뱅크는 그 자신이 정보 기반 전략이라 명명한 여러 과학적 정책을 도입했으며, 그 결과 캐피털 원은 미국 5대 신용카드 업체로 성장했다.
 
그러나 캐피털 원의 경영진은 최근 몇 년 동안 중대한 결정을 해야 하는 시점에서는 과학적 실험이 반드시 유용하지는 않다는 결론에 도달했다. 경영진은 신용카드 사업을 독립적으로 유지하려면 다른 자본 공급원이 필요하다는 사실을 깨달았다. 또 캐피털 원을 신용카드만 취급하는 단일 금융 서비스 업체에서 종합 서비스 은행으로 탈바꿈시키기 위해 몇몇 지역 은행을 인수하는 방안을 고려했다.
 
다음의 몇 가지 이유로 별다른 실험을 거치지 않고 이러한 결정이 내려졌다. 첫째, 사안의 성격상 신속한 결정이 불가피했다. 소규모 실험을 할 시간조차 여의치 않았기 때문이다. 둘째, 이처럼 큰 변화를 도모하는 것이 어떤 결과를 가져올지를 제대로 예측할 수 있는 실험을 설계한다는 것이 사실상 불가능했다.
 
시어스 백화점 역시 합리적으로 실험할 수 있는 것과 아닌 것이 무엇인지에 대한 예를 보여준다. 이 회사 역시 전통적으로 실험에 상당한 비중을 둔 기업이다. 카탈로그 사업체이던 시어스를 대표 유통업체로 변화시킨 로버트 우드는 미국 정부간행물센터가 매년 발간하는 ‘미국 통계 요약(Statistical Abstract of the United States)’을 가장 좋아하는 책으로 꼽았다.
 
1928년에 시어스가 최초의 독립 매장을 열 당시 그는 시카고에 매장 두 곳을 개장했다. 이들 매장을 모두 하나의 도시에 마련한 이유가 무엇이냐는 질문에 그는 “잘못된 장소 또는 매장 관리자를 선택할 위험을 줄일 수 있는 방법이기 때문”이라고 대답했다.
 
그러나 현재 시어스는 새로운 국면을 맞이했다. K마트가 시어스를 인수한 뒤 합병회사의 회장직을 맡아온 헤지펀드 운영자 에드워드 램퍼트는 K마트와 시어스의 완전한 통합을 이루기 위해 노력하고 있다. 램퍼트는 이들 소매업체를 결합하겠다는 아이디어를 실험한 적이 없다. 이는 설령 불가능하지 않다 해도 매우 힘든 일임이 분명하다. 애초에 인수 결정이 바람직한 것이었는지에 대해서도 의견이 분분하다.
 
어쨌든 램퍼트는 전술적 측면에서 실험을 실시하는 데 적극적으로 옹호하고 있다. 그는 2006년에 주주들에게 보낸 편지에서 다음과 같이 썼다. “2300개의 대규모 매장을 보유한 시어스의 장점은 수많은 매장 또는 전체 체인에 아이디어를 도입할 때 뒤따르는 위험과 대규모 자본 투입을 감내하지 않아도 된다는 것입니다. 소수의 매장에서 이 아이디어를 먼저 실험할 수 있으니까요.” 이에 따라 시어스와 K마트는 K마트 매장에서 시어스 상품을 판매하거나 그 반대로 판매하는 방법 등 다양한 판매 형태를 실험했다.
 
전술 대 전략’이라는 기준 이외에도 형식화된 실험이 타당성을 갖는지를 판단할 수 있는 방법은 많다. 새로운 영업 교육 프로그램이 만들어졌다고 가정해 보자. 당신은 그 효율성을 실험하기 이전에 ‘우리는 교차 판매 증대를 원한다’는 식의 목표를 설정하고 그 변화를 측정할 수 있어야 한다. 영업이익 및 회전율 변화, 고객 만족 및 직원 참여 등 다른 결과들을 측정할 때도 더 많은 노력이 필요하다.
 
실험은 다수의 비슷한 상황을 관찰할 수 있는 경우에 가장 신뢰할 만한 결과를 도출한다. 이는 시어스의 매장처럼 물리적 장소를 의미할 수도 있고, 일시적인 상황을 의미할 수도 있다. 유통 및 식당 체인은 가장 초기에 가장 광범위한 실험을 실시한 업체들에 속한다. 그들은 수많은 매장에서 너무나 많은 요소를 변함없이 유지하고 있기 때문이다. 무엇이 실험군이고 대조군인지를 손쉽게 정의할 수 있고, 인과 관계를 분석하기도 쉽다.
 
마찬가지로 업무 환경 디자인의 변화는 많은 사업장과 사무실을 보유한 기업에서 실험하기가 용이하다. 적은 숫자의 실험 장소에서 의미 있는 통계 결과를 도출하는 것이 훨씬 어렵기 때문이다.
 
형식적 실험은 경영진이 계획한 조치가 이 기업에 어떤 영향을 미칠 것인지에 관한 논리적 가설을 미리 설정한 경우에만 의미를 지닌다. 일단 변화를 가하고 뒤로 물러서서 어떤 일이 벌어지는지 관찰할 수도 있다. 그러나 이 과정은 필연적으로 하나의 가설에 도달한다. 때문에 가설을 미리 설정했더라면 더욱 정확한 실험을 실시할 수 있었을 것이라고 깨닫는 경우가 많다.
 
실험 절차
과학적인 경영 기법을 도입하려면 우선 모든 간부급 관리자가 조직의 실험 절차에 익숙해져야 한다. 실험 절차는 쉽게 이해할 수 있고(‘아이디어를 실험으로 옮기기’ 도표에 통상 절차가 표현되어 있다) 조직 내 모든 사람에게 동일한 용어로 전달되어야 한다.
 
실험 절차의 시작은 가정의 설정이다. 어떤 가설을 설정하느냐에 따라 실험이 성공할 수도 있고 실패할 수도 있다. 이후 실험의 세부 사항을 설계한다. 실험을 실시할 사업장 또는 사업 부문을 정하고, 대조군을 선정하며, 실험 상황 및 대조 상황을 정의하는 것 등이 여기에 속한다. 때로는 수 개월이 걸릴 수도 있지만 대개 그보다 짧은 기간에 실험을 실시한다. 이후 결과를 파악하고 적절한 행동을 취하기 위해 데이터를 분석한다.
 
도출한 결과는 일종의 ‘학습 정보 저장고’에 보관하는 것이 바람직하다. 애석하게도 현실에서 많은 기업이 이 단계를 생략한다. 이는 실험을 더욱 폭넓게 실행하거나 수정된 가설에 대한 심화 테스트가 이뤄지도록 만들어 준다.
 
관리자들은 실험 절차가 다른 업무 절차 속에 어떻게 융합되는지 이해해야 한다. 관리자들은 지시 관리, 장소 선정, 웹 사이트 개발 맥락에서 실험을 실시한다. 실험은 다시 다양한 하부 절차로 이어진다. 하디스, 칼스 주니어 퀵 서비스 레스토랑 체인을 보유한 CKE 레스토랑은 신제품을 내놓을 때 특정 단계에서 엄중한 실험을 반드시 거친다.
 
실험은 우선 브레인 스토밍에서부터 시작한다. 이 단계에서는 여러 부서가 다양한 신제품 아이디어를 내놓는다. 이 가운데 일부만이 다음 단계인 선별 과정을 거친다. 선별 과정에서 마케팅, 상품 개발, 운영 부서 팀원들이 경험과 직관에 근거해 아이디어들을 평가한다. 이 과정을 통과한 아이디어들은 실제 제품 개발 이후 명확한 측정법 및 대조군과의 비교를 통해 매장에서 평가를 받는다. 이 단계에서 경영진은 이 제품을 조직 전반에 도입할지, 재실험을 위해 수정을 가할지, 아이디어 전체를 폐기할 지를 결정한다.
 
CKE는 신제품 출시 때마다 높은 성공률을 달성해 왔다. 소비재의 경우 신제품 출시 성공률이 50∼60개 가운데 하나에 불과하다. 그러나 CKE의 신제품은 4개 가운데 하나가 인기를 얻는 놀라운 성과를 이뤄냈다. CKE 경영진은 그들의 엄중한 실험 절차가 신제품 출시 성공에 상당한 역할을 담당했다고 평가했다.
 
하디스에서 몬스터 버거나 필리 치즈 스테이크 버거, 칼스 주니어에서 파스트라미 버거를 맛본 적이 있다면 당신도 CKE가 실행한 실험의 수혜자다. 이 제품들이 모두 엄중한 실험을 거쳐 탄생했기 때문이다. 이 제품은 판매가 우수할 것이란 실험 결과에 따라 출시된 수많은 제품 가운데 성공을 거둔 3가지 예에 불과하다.
 
이베이도 마찬가지다. 이베이는 웹 사이트에 변화를 줄 때 반드시 무작위 실험을 거친다. 다른 온라인 기업과 마찬가지로 이베이 역시 웹 사이트의 변화에 대한 무작위 실험을 실시하기가 쉬운 기업이다. 이베이 관리자들은 자사 웹 사이트의 다양한 측면에 대해 수천 가지의 실험을 실시해 왔다.
 
이베이의 웹 사이트는 매일 10억여 건의 페이지 뷰를 기록한다. 때문에 관리자들은 동시에 다수의 실험을 실시할 수 있고 실험군 및 대조군이 부족한 상황도 없다. 단순한 A/B 실험(두 가지 버전의 웹사이트를 비교하는 실험)은 며칠 만에 설계할 수 있다. 이 실험은 통상 적어도 1주일 유지되기 때문에 선정 품목에 대한 실험을 경매 기간 내내 실시할 수 있다. 이베이는 규모가 크고 다양한 변수를 내포한 실험을 한 달 이상 지속하기도 한다.
 
이베이의 온라인 실험 절차는 다음의 단계로 이뤄져 있다.
- 가설 개발
- 실험 설계: 실험 표본, 실험을 위한 조치, 그 외 요소 결정
- 실험 준비: 비용 산정, 원형 설정, 웹 사이트 기능에 융화(실험 때문에 사용자 반응 시간이 지체되지 않도록 하는 작업)
- 실험 실시: 실험 시간 파악, 사용자에게 실험을 위한 조치 적용
- 모니터링
- 분석 및 결과 도출

 
이베이는 또한 이베이 실험 플랫폼(eBay Experi-mentation Platform)이라는 자체 애플리케이션을 구축했다. 실험 과정 전반에 걸쳐 참여자들을 이끌고 언제 어떤 페이지가 실험되었는지를 파악하는 도구다.
 
이러한 온라인 실험은 이베이 웹 사이트 전체에 변화를 가하는 절차 가운데 일부분에 불과하다. 이베이는 실험실 연구, 가정 방문, 사용자의 디자인 참여 행사, 포커스 그룹, 웹 사이트 기능에 대한 교환 분석 등 고객과 함께 진행하는 광범위한 오프라인 실험 역시 다양하게 실시하고 있다. 정량적 비주얼 디자인 조사나 시선 추적 연구 등을 실시해 앞으로 도입할 웹 사이트 변화에 대해 사용자들이 어떻게 느끼는지도 파악한다.
 
이렇듯 세심한 절차 덕분에 이베이는 별다른 반대에 부닥치지 않으면서도 웹 사이트를 자주 변경할 수 있었다. 온라인 경매 회사들은 평균 1억1300여 개의 물품을 판매하고 수백 만 명의 이용자를 보유하고 있다. 까다로운 소비자들의 반대 없이 자주 웹 사이트를 변경할 수 있다는 것은 대단한 성과다.
 
이베이는 2007년과 2008년에 판매 중인 물품을 보여 주는 페이지를 변경하기 위해 광범위한 온라인 및 오프라인 실험을 실시했다. 이베이는 2003년 이후 한 번도 이 페이지의 디자인을 개편하지 않았다. 때문에 고객과 이베이 디자이너 모두 이 페이지가 조직성이 없고, 부적절한 물품 사진이 실려 있으며, 물품 배치도 중구난방이라고 느끼고 있었다.
 
모든 실험 단계를 거친 뒤 이베이는 새로운 사이트 디자인을 채택했다. 기존의 디자인보다 사진 크기를 두 배 이상 늘리고, 24시간 주기로 경매 카운트다운 타이머를 추가했다. 물품의 상태 및 교환 정책을 더욱 명확하게 설명했으며, 택배 및 결제 창도 쉽게 찾을 수 있도록 만들었다. 승인되지 않은 웹 사이트 콘텐츠의 변경을 방지하기 위해 새로운 보안 기능도 추가했다.
 
이베이는 각각의 새로운 기능을 대조 페이지를 통해 독립적으로 실험했다. 개편 후 이베이는 페이지 뷰와 물품 낙찰 숫자를 통해 디자인 개편이 매우 성공적이었음을 확인했다.
 
실험 역량 구축하기
실험 기본 절차를 구축하는 것은 조직의 실험 및 학습 역량을 구축하는 첫 단계다. 그러나 이것만으로는 충분하지 않다. 신뢰할 만한 실험을 실시해 이를 효과적인 의사 결정 도구로 삼으려는 기업은 이를 가능하게 할 인프라부터 먼저 구축해야 한다. 그 인프라는 바로 역량을 키우는 데 필요한 교육 프로그램, 실험을 구성하고 분석할 소프트웨어, 실험을 반복할 시점을 결정하는 절차, 이 모든 것에 대한 전문가의 지원을 제공해 줄 중앙 조직 등이다.
 
1)관리자 교육 적어도 관리자들은 무작위 실험을 활용할 때 그 구성 요소가 무엇인지 습득해야 한다. 캐피털 원은 캐피털 원 대학이라 불리는 내부 교육 기관을 두어 테스트 및 실험 설계에 대한 전문 교육 프로그램을 제공하고 있다. 교육을 위해 관리자들을 외부로 파견하는 대신 사내에서 교육 프로그램을 직접 운영하는 것은 회사의 경영에 실험이 얼마나 중요한지를 강조하는 데 매우 효과적이다.
 
2)실험과 학습 소프트웨어 캐피털 원이나 이베이 등 일부 기업들은 실험을 관리하는 자체 소프트웨어를 구축해 왔다. 그러나 굳이 자체 개발을 하지 않더라도 시중에 나와 있는 프로그램을 대안으로 활용할 수 있다. SAS와 같은 폭넓은 통계 패키지와 분석 툴을 이용하는 것이 가장 일반적인 대안이다. 이러한 툴은 통계 전문가가 아니더라도 수리에 밝은 사용자들이 타당성 있는 실험을 시행하도록 도와준다.
 
미국 IT 회사 어플라이드 프리딕티브 테크놀로지의 제품은 실험 설계 및 분석에 특히 유용하다. 이 회사의 상품은 사용자들이 실험과 학습 절차를 거치고, 실험 및 대조군을 추적할 수 있도록 해 준다. 미래에 유용하게 활용할 수 있는 학습 내용 저장고 또한 제공하고 있다.
 
일부 소프트웨어 툴은 특정 문제 또는 산업에 맞추어 개발되었다. 예를 들어 몇몇 패키지 툴은 제조 품질 실험 분석에 알맞게 만들어졌다. 옴니추어와 웹트렌즈가 판매하는 웹 분석 소프트웨어나 구글이 제공하는 무료 툴처럼 온라인 사용 실험을 위해 고도로 전문화된 툴도 있다. 안타까운 점은 아직까지 모든 실험 유형에 도움을 주는 단일 소프트웨어 툴이 나오지 않았다는 것이다.
 
3)학습 내용 포착 기업이 상당한 숫자의 실험을 실시했다는 것은 무엇이 효과가 있고 없는지에 대한 상당한 양의 지식을 축적했다는 의미다. 전사 직원이 이 지식을 공유하고 이를 향후 업무 추진에 활용한다면 매우 이상적인 상황이다. 그러나 실제로 이를 시행하고 있는 기업은 그다지 많지 않다.
 
한 온라인 기업의 실험 담당자는 지식 공유의 중요성을 이렇게 말했다. “그 모든 지식이 내 머릿속에 들어있기 때문에 내가 버스에 치이기라도 한다면 회사 전체가 타격을 받을 것이다.” 한 은행 간부도 다음과 같이 언급했다. “우리는 앞으로 더 많은 실험을 해야 할지도 모른다. 그러나 이전에 아무리 많은 실험을 실시해도 사람들은 결국 자신이 실시한 실험을 통해서만 배운다는 사실을 파악했다.”
 
사람들은 개인적인 경험을 통해 배운다. 그러나 우리는 그것이 꼭 유일한 방법은 아니기를 바란다. 지식 공유가 중요한 것은 이 때문이다.
 
일부 기업은 이미 이 문제를 해결하려는 노력을 시작했다. 캐피털 원은 온라인 지식 관리 시스템에서 수많은 실험을 통해 얻은 지식을 포착하고 있다. 이 회사는 새로운 제품을 개발할 때 상품 관리자들이 이러한 지식을 활용할 수 있도록 해주는 시스템을 실험해 왔다. 페이머스 풋웨어는 ‘게시판’ 전략을 취하고 있다. 즉 각각의 실험 결과를 한 페이지 분량의 문서로 정리한 뒤 회사 전체가 이를 열람하도록 사무실 외부 벽면에 이를 붙여 두는 것이다.
 
4)정기적 재시행 장기적인 실험 방법을 구축할 때 겪는 까다로운 문제는 재실험을 언제 실시할지를 결정하는 일이다. 실험이 언제 그 효력을 상실할지를 확실히 알 수 있는 방법은 없다. 그러나 숙련된 실험 분석가는 기존 실험 결과의 신뢰성을 약화시킬 만한 요인이 어떤 것들이며, 이것이 어떻게 변화하는지를 살펴봐야 한다.
 
2006년 넷플릭스는 5년 전에 실시한 고객 테스트를 재시행해야 한다고 결론지었다. 이 회사의 주요 고객 기반이 5년 전에는 얼리어답터 인터넷 사용자였지만 지금은 주류 사회 구성원으로 변화했기 때문이다. 페이머스 풋웨어의 경영진도 이전의 실험 적용 지역이었던 소매 매장의 위치가 1년이 지난 뒤 재실험하기에 충분할 만큼 변했다고 느꼈다. CKE 레스토랑은 생필품 가격이 빠르게 오르는 시점에 자사의 가격 정책을 점검해야 하느냐는 문제를 두고 어려움을 겪었다.
 
역설적이게도 재실험의 필요성을 판단할 때 가장 중요한 것은 과학적 실험이나 분석이 아니라 인간의 직관이다.
 
5)핵심 자원 집단 광범위한 실험을 실시하는 대부분의 회사들은 실험을 감독할 소규모의 중앙집중적인 조직을 구축해 왔다. PNC 은행, 서브웨이 샌드위치, 페이머스 풋웨어 등이 대표적인 기업이다.
 
PNC 은행의 실험 및 학습 집단은 자신들이 어떤 일을 하는지를 은행 안팎에 널리 홍보하는 것을 우선 목표로 삼고 있다. 이 집단은 주요 경영진의 신뢰를 얻음으로써 경영진이 주요 정책을 집행하기 이전에 반드시 실험을 거치도록 만들었다. 중앙조직의 조정이 없으면 실험 기법이 미숙하거나 실험 및 대조군이 서로 혼동을 일으킬 수 있다.
 
[HBR TIP] 궁금해하기를 멈춰라
 
은행·소매업체·닷컴 기업에 이르기까지 다양한 업계에서 전술적 결정을 내리기 위해 실험을 이용하고 있다. 여러 기업이 따져보는 질문들은 다음과 같다.
 
- 랍스터 탱크 설치가 푸드 라이언 슈퍼마켓의 랍스터 판매를 증대하고 있는가?
- 매장 내 시어스 매장을 둔 K마트는 모든 다른 형태의 K마트 매장보다 많은 판매율을 보이고 있는가?
- 이베이 사용자들은 신용카드 결제가 가능할 경우 경매에서 더 높은 금액으로 입찰하는가?
- 웰스 파고 현금자동입출금기(ATM)가 수용해야 하는 최적의 유휴 수표 숫자는?
- 서브웨이의 저지방 샌드위치 프로모션은 샌드위치 판매를 늘렸는가?
- 페이머스 풋웨어 매장은 동일한 쇼핑몰에 경쟁사가 입점했을 때 신발 판매율 감소를 겪었는가?
- 토론토 도미니언 지점은 일주일에 40시간 영업과 60시간 영업 가운데 어떤 경우에 훨씬 높은 예금률을 달성했는가?
- PNC은행에서 가장 효과적으로 당좌예금 취득을 권장할 수 있는 프로모션은 무엇인가?
 
실험 결과에 따라 기업들은 비즈니스에 더욱 바람직할 것이라고 가정한 방법들이 실제로도 바람직한지를 파악할 수 있다. 일단 실험을 통해 지식을 얻은 뒤에 바람직한 것으로 입증된 방법을 비즈니스 전반에 걸쳐 확대 적용해야 한다.
 
실험 정신 구축하기
절차상 필요한 변화를 이루는 것 이외에도 기술·인프라·조직 또한 실험에 적합한 문화로 바뀌어야 한다. 실험을 할 때는 비용과 시간이 반드시 필요하다. 고위 관리자들은 회사 전술상 중요한 변화를 추구하기 전에는 반드시 실험에 의한 테스트가 진행되어야 한다는 생각에 익숙해져야 한다. 나아가 이 생각을 적극적으로 옹호해야 한다.
 
1)증거를 요구하라 테스트를 굳게 신뢰하는 CEO들은 실험에 대한 전 조직의 관점을 바꿀 수 있다. 사람들이 테스트를 통해 그들 아이디어의 타당성을 입증했다고 말하면 그들이 사용한 절차를 당신에게 확인시키도록 만들어라. 이때 아이디어를 어떻게 실험으로 옮겼는지에 관해 엄중하게 평가하라.
 
2)실효성을 높여라 카지노 체인 하라스 엔터테인먼트의 경영진 개리 러브먼은 “실험 때 대조군을 사용하지 않는 것”이 하라스에서는 충분한 해고 사유라고 강조한다. 아마존의 제프 베조스 CEO 역시 실험을 실시하지 않고 웹 사이트를 변경했다는 이유로 몇 명의 웹 디자이너들을 해고했다.
 
캐나다 은행 토론토 도미니언에는 모든 주요 정책에 대해 관리자들이 먼저 실험 실시를 주장하는 기업 문화가 있다. 경제학 박사 출신인 이 은행의 CEO 에드 클라크는 “우리 은행이 완벽하지 않을 수 있다. 그러나 적어도 숫자에 관해 우리를 비난하지는 못할 것”이라고 말하기도 했다.
 
3)스스로 실험을 후원하라 최고의 경영팀은 실험을 실시하고 검토하는 절차를 아예 법제화해 왔다. 페이머스 풋웨어의 경영진은 격주로 실험 담당자와 만나 지난 실험, 앞으로 실시할 실험, 사전 및 최종 실험 결과에 대해 논의한다. 이 회사의 CEO는 회사가 실험을 경영진과 조직원 간의 대화 창구이자 조직의 문화 일부로 삼아왔다고 말한다.
 
실험은 모든 기업 활동에 적합한 것이 아니다. 그러나 전술 활동에 대해서는 분명 실효성이 있다. 또한 지금은 실험을 실시하는 것이 그렇게 어렵지도 않은 시대다. 이제 실험은 연구실을 벗어나 회의실의 논제로 등장할 필요가 있다.
 
현대 기업의 과제는 실험의 기술적인 면이 아니라 관리자들이 실험의 개념과 절차에 익숙해지는 것이다. 실험으로 얻은 지식은 모든 기업 의사 결정의 중심이 되어야 한다. 과학적 기법의 원칙은 우리 삶의 다른 부분에서처럼 비즈니스에서도 효력을 지닌다. 이제는 “내 생각에는 이게 틀림없어”라는 말을 “실험을 통해 내가 이 문제를 알았어”로 바꿔야 한다.
 
토머스 데이븐포트(tdavenport@babson.edu)는 미국 매사추세츠 주 밥슨 칼리지에서 정보 기술 및 경영학을 강의하고 있다. 최신 저서로 진 해리스와 공동 집필한 <데이터로 경쟁 우위 만들기(Competing on Analytics: The New Science of Winning)>가 있다.
 
번역 이유진 krazylois@naver.com
동아비즈니스리뷰 347호 New Look at Gen X 2022년 06월 Issue 2 목차보기