관리자들은 진정한 인사이트를 얻기 위해 다양한 소규모 실험을 실행한다. 그러나 지나치게 많은 ‘실험’이 입증해 주는 것은 그리 많지 않다. 그럼에도 많은 관리자는 새로운 아이디어를 뒷받침하는 진정한 근거도 없이 매일 실험을 실행하고 있다.
그들은 통상 ‘이건 틀림없어’ ‘내 생각은 그래’라는 식의 직감이나 상식에 의존해 제품에 이런저런 변화를 가하고, 유통 방법을 달리하는 등 업무 방식을 바꾼다. 심지어 일부는 과학적인 언어로 의사 결정을 마무리함으로써 실험의 타당성을 뒷받침하는 증거가 있다는 착각을 불러일으키게 하기도 한다.
그들이 말하는 실험은 엄중성을 결여하고 있어 그 이름에 걸맞은 가치를 지니지 못한다. 실험 결과로 미루어 짐작한 사실은 틀린 경우가 대부분이다. 더욱 심각한 것은 그 과정에서 배울 수 있는 내용도 거의 없다는 점이다.
고객 서비스 개선이라는 목표를 설정한 한 소매 은행의 예를 보자. 이 은행은 과학적이라는 찬사를 받은 프로그램을 도입했다. 이 프로그램의 일환으로 은행의 몇몇 지점에 ‘연구소’라는 명칭이 붙었고 새로운 접근법은 ‘실험’으로 알려졌다.
그러나 이 은행은 다양한 아이디어를 실험하겠다는 의욕에 앞선 나머지 ‘연구소’로 지정한 지점에서 한꺼번에 너무 많은 변화를 시도했다. 이 때문에 무엇이 향상되었는지 판단하기 어려운 상황에 처했다. 변화를 시도한 지점들의 비교 대상인 대조군도 설정하지 않았다. 때문에 예상한 결과가 나타난 것인지 아닌지조차 확실히 파악할 수 없었다.
비난이 두려웠던 관리자들은 대조군을 설정한 실험을 실시했다. 대기 줄에 TV 뉴스가 나오는 비디오 스크린을 설치하고 고객들이 이 덕분에 대기 시간이 실제보다 줄었다고 인식하는지 아닌지를 알아보는 실험이었다. 그러나 이들은 여기에서도 또 실수를 저질렀다. 여러 대조군 및 실험군을 마련하지 않고 단 하나의 대조군과 실험군만을 비교했기 때문이다. 이는 통계적으로 유효한 결과를 얻어내기에 충분하지 않은 숫자였다.
실험 지점을 방문한 고객들은 대기 시간이 줄었다고 인식한 것으로 나타났다. 그러나 비디오 스크린을 설치하지 않은 지점에서도 비슷한 결과가 나왔다. 이렇듯 혼란스러운 데이터로는 도저히 제대로 된 실험 결과를 도출할 수 없었다. 그럼에도 불구하고 관리자들은 이 사실을 최고 경영진에게 보고하지 않았다.
이러한 예는 얼마든지 피할 수 있는 상황이다. 새로운 소프트웨어를 도입하고 그 역량을 키우기 위한 투자를 선행한다면 관리자들은 과학적 실험을 통해 근거 있는 결과를 도출할 수 있다. 물론 과학적인 기법과 응용이 비즈니스계에서 전혀 새로운 개념은 아니다. 다이렉트 메일 마케팅 담당자들이 마케팅 강도에 따른 응답률을 추적해 왔듯이 비스킷 제조 업체에서 제약회사에 이르는 다양한 기업의 연구개발(R&D) 센터들은 늘 과학적 접근법에 의존해 왔다.
그러나 이러한 경우 이외에 과학적 기법을 도입하는 것은 최근까지만 해도 커다란 시도로 여겼다. 많은 사람이 경영 아이디어를 무작위로 실험하는 일, 즉 무작위로 지정한 대상을 실험군과 대조군으로 지정하는 것은 통계학 박사 또는 실험 설계 전문가를 고용해야만 가능한 일이라고 생각해 왔다.
이는 사실이 아니다. 어떤 종류의 표본이 필요한지, 실험과 대조를 위해 어떤 사업장을 활용해야 할지, 실험으로 인한 변화는 통계적으로 어떤 의미가 있는지 등을 판단하기 위한 실험 전문가가 필요한 시대는 지났다. 유용한 소프트웨어의 도움을 받는다면 경영대학원(MBA) 출신 일반 관리자 또한 얼마든지 실험 과정을 감독할 수 있다.
풍부한 거래 데이터를 보유한 고객 응대 회사들은 이미 상품 연구개발(R&D) 이외의 혁신을 정기적으로 실험하고 있다. PNC·토론토도미니언·웰스 파고와 같은 은행, CKE 레스토랑·페이머스 풋웨어·푸드 라이언·시어스 백화점·서브웨이 샌드위치와 같은 소매 유통업체, 아마존·이베이·구글과 같은 온라인 기업도 모두 해당한다. 무작위 실험은 이제 웹사이트 분석 등 기업의 여러 업무에 일반적인 절차로 자리를 잡았다. 이에 따라 기업들은 다른 상황에도 이를 적용할 수 있는 역량을 구축하고 있다.(최근에 실시된 실험 표본에 대해서는 뒤에 나오는 HBR TIP ‘궁금해하기를 멈춰라’ 참조)
사실 과학적으로 유효한 실험을 설계하기에 적합하지 않은 비즈니스 상황도 많다. 설령 ‘실험과 학습’이 언제나 적절한 방법이 아니라 해도 분명 이 접근법은 시간이 지날수록 유효성이 커진다. 당신의 조직에서도 마찬가지다. 필자가 연구해 온 많은 기업의 예에서 보듯이 소프트웨어 및 교육에 대한 투자는 단기간에 우선적으로 달성할 수 있는 결실을 맺는 데 효과가 있다. 그러나 진정한 보상은 조직 전체가 실험과 학습이라는 사고 방식을 받아들일 때 비로소 찾아온다.
