Based on “Experimentation and start-up performance: Evidence from A/B testing”(2022) by Koning, R., Hasan, S., & Chatterji, A. in Management Science, 68(9), 6434-6453.
무엇을, 왜 연구했나?
세계 최대 전자상거래 업체 아마존의 성공에는 매년 고객을 대상으로 1000번 이상 단행한 수많은 실험이 있었다. 창업자 제프 베이조스는 얼마나 많은 실험을 했는지를 주주 서한으로 보낼 정도였다. 이런 실험을 A/B 테스트라고 한다. A/B 테스트는 가설을 설정하고 이를 통제집단과 실험집단으로 나누어 과학적으로 검증해보는 것이다. 쉽게 말해 대조군에는 기존의 서비스 A를 노출시키고 실험군에는 새로운 서비스 B를 노출시켜 결과를 통계적으로 검정해보는 방식이다.
예를 들어 2012년, 마이크로소프트의 검색엔진인 빙(Bing)은 한 직원이 광고 타이틀을 길게 쓰는 것이 좋을 것 같다는 제안을 토대로 A/B 테스트를 단행했고, 실제로 긴 광고 타이틀에 노출된 실험군에서 수익이 12%나 높게 나타나는 것을 확인했다.
마찬가지로 링크트인, 넷플릭스, 에어비앤비와 같은 회사들도 A/B 테스트를 통해 새로운 아이디어를 제대로 평가하고 제품 혁신을 이뤄냈다고 알려졌다. 벤처기업이 특정 서비스, 기능을 출시하기 전 A/B 테스트를 거치는 건 당연한 일로 여겨지고 있다. 그렇다면 앞선 여러 사례처럼 A/B 테스트는 스타트업의 성과에 정말로 효과가 있는 것인가? 만약 그렇다면 어느 정도 효과가 있을까? 이 질문에 답하기 위해 하버드대와 듀크대 공동연구진이 대규모 데이터를 분석했다.
배태준tjbae@hanyang.ac.kr
한양대 창업융합학과 부교수
필자는 한양대 경영대학을 졸업하고 동 대학원에서 석사, 미국 루이빌대에서 박사학위(창업학)를 각각 취득했다. 벤처산업연구원에서 연구원으로 활동했고 동부제철에서 내수 영업 및 전략기획을 담당했다. 박사학위 취득 후 미국 뉴욕 호프스트라대 경영대에서 조교수로 활동했고 세계 한인무역협회 뉴욕지부에서 차세대 무역스쿨 강사 및 멘토를 지냈다. 현재 한양대 일반대학원 창업융합학과 주임교수로 재직하고 있다. 주요 연구 분야는 창업 의지, 창업 교육, 사회적 기업, 교원 창업 및 창업 실패(재도전) 등이다.
