기업 경쟁력 높여주는 ‘A/B 테스트’의 힘

Based on “Experimentation and start-up performance: Evidence from A/B testing”(2022) by Koning, R., Hasan, S., & Chatterji, A. in Management Science, 68(9), 6434-6453.

---

무엇을, 왜 연구했나?

세계 최대 전자상거래 업체 아마존의 성공에는 매년 고객을 대상으로 1000번 이상 단행한 수많은 실험이 있었다. 창업자 제프 베이조스는 얼마나 많은 실험을 했는지를 주주 서한으로 보낼 정도였다. 이런 실험을 A/B 테스트라고 한다. A/B 테스트는 가설을 설정하고 이를 통제집단과 실험집단으로 나누어 과학적으로 검증해보는 것이다. 쉽게 말해 대조군에는 기존의 서비스 A를 노출시키고 실험군에는 새로운 서비스 B를 노출시켜 결과를 통계적으로 검정해보는 방식이다.

예를 들어 2012년, 마이크로소프트의 검색엔진인 빙(Bing)은 한 직원이 광고 타이틀을 길게 쓰는 것이 좋을 것 같다는 제안을 토대로 A/B 테스트를 단행했고, 실제로 긴 광고 타이틀에 노출된 실험군에서 수익이 12%나 높게 나타나는 것을 확인했다.

마찬가지로 링크트인, 넷플릭스, 에어비앤비와 같은 회사들도 A/B 테스트를 통해 새로운 아이디어를 제대로 평가하고 제품 혁신을 이뤄냈다고 알려졌다. 벤처기업이 특정 서비스, 기능을 출시하기 전 A/B 테스트를 거치는 건 당연한 일로 여겨지고 있다. 그렇다면 앞선 여러 사례처럼 A/B 테스트는 스타트업의 성과에 정말로 효과가 있는 것인가? 만약 그렇다면 어느 정도 효과가 있을까? 이 질문에 답하기 위해 하버드대와 듀크대 공동연구진이 대규모 데이터를 분석했다.