Startup
기업 경쟁력 높여주는 ‘A/B 테스트’의 힘
Based on “Experimentation and start-up performance: Evidence from A/B testing”(2022) by Koning, R., Hasan, S., & Chatterji, A. in Management Science, 68(9), 6434-6453.
무엇을, 왜 연구했나?
세계 최대 전자상거래 업체 아마존의 성공에는 매년 고객을 대상으로 1000번 이상 단행한 수많은 실험이 있었다. 창업자 제프 베이조스는 얼마나 많은 실험을 했는지를 주주 서한으로 보낼 정도였다. 이런 실험을 A/B 테스트라고 한다. A/B 테스트는 가설을 설정하고 이를 통제집단과 실험집단으로 나누어 과학적으로 검증해보는 것이다. 쉽게 말해 대조군에는 기존의 서비스 A를 노출시키고 실험군에는 새로운 서비스 B를 노출시켜 결과를 통계적으로 검정해보는 방식이다.
예를 들어 2012년, 마이크로소프트의 검색엔진인 빙(Bing)은 한 직원이 광고 타이틀을 길게 쓰는 것이 좋을 것 같다는 제안을 토대로 A/B 테스트를 단행했고, 실제로 긴 광고 타이틀에 노출된 실험군에서 수익이 12%나 높게 나타나는 것을 확인했다.
마찬가지로 링크트인, 넷플릭스, 에어비앤비와 같은 회사들도 A/B 테스트를 통해 새로운 아이디어를 제대로 평가하고 제품 혁신을 이뤄냈다고 알려졌다. 벤처기업이 특정 서비스, 기능을 출시하기 전 A/B 테스트를 거치는 건 당연한 일로 여겨지고 있다. 그렇다면 앞선 여러 사례처럼 A/B 테스트는 스타트업의 성과에 정말로 효과가 있는 것인가? 만약 그렇다면 어느 정도 효과가 있을까? 이 질문에 답하기 위해 하버드대와 듀크대 공동연구진이 대규모 데이터를 분석했다.
무엇을 발견했나?
연구자들은 2008년에서 2013년 사이에 설립된 3만5262개 스타트업을 표본으로 선정했다. 2016년 4월 5일부터 2019년 3월 24일까지 208주에 걸쳐 이 회사들의 주요 지표를 확인했다. 총 733만4496개의 주 단위 데이터를 분석한 셈이다.
연구진은 여러 산업에 걸친 폭넓은 스타트업들에 A/B 테스트가 성과에 긍정적 영향을 끼치는 것을 발견했다. 구체적으로 A/B 테스트를 실시한 후 첫 몇 달은 방문자가 10%가량 증가했으나 1년 후에는 약 30%에서 100% 증가하는 것을 알아냈다. 그뿐만 아니라 초기 단계 스타트업에서 A/B 테스트의 효과가 가장 좋다는 것도 밝혔다. 연구자들은 추가적인 연구를 통해 A/B 테스트를 활용한 기업이 그렇지 않은 기업에 비해 신제품을 더 많이 출시하고 웹사이트 코드를 더 자주 바꾼다는 사실 또한 알아냈다.
연구 결과가 어떤 교훈을 주나?
이번 연구 결과는 그동안 실험을 기반으로 한 전략이 성과 향상에 중요하다는 학계의 주장을 입증했다. 구체적으로 A/B 테스트의 실시 여부가 스타트업의 성과에 미치는 영향력을 대규모 스타트업을 대상으로 4년이라는 긴 시간 동안, 주 단위 지표를 통해 매우 엄밀하게 분석했다. 이를 통해 신생 기업은 가설을 설정하고 이를 과학적으로 검증해 그 결과를 미래의 전략에 반영하는 이른바 ‘가설 주도 의사결정’이 경쟁력의 원천이 됨을 확인했다.
무엇을, 왜 연구했나?
세계 최대 전자상거래 업체 아마존의 성공에는 매년 고객을 대상으로 1000번 이상 단행한 수많은 실험이 있었다. 창업자 제프 베이조스는 얼마나 많은 실험을 했는지를 주주 서한으로 보낼 정도였다. 이런 실험을 A/B 테스트라고 한다. A/B 테스트는 가설을 설정하고 이를 통제집단과 실험집단으로 나누어 과학적으로 검증해보는 것이다. 쉽게 말해 대조군에는 기존의 서비스 A를 노출시키고 실험군에는 새로운 서비스 B를 노출시켜 결과를 통계적으로 검정해보는 방식이다.
예를 들어 2012년, 마이크로소프트의 검색엔진인 빙(Bing)은 한 직원이 광고 타이틀을 길게 쓰는 것이 좋을 것 같다는 제안을 토대로 A/B 테스트를 단행했고, 실제로 긴 광고 타이틀에 노출된 실험군에서 수익이 12%나 높게 나타나는 것을 확인했다.
마찬가지로 링크트인, 넷플릭스, 에어비앤비와 같은 회사들도 A/B 테스트를 통해 새로운 아이디어를 제대로 평가하고 제품 혁신을 이뤄냈다고 알려졌다. 벤처기업이 특정 서비스, 기능을 출시하기 전 A/B 테스트를 거치는 건 당연한 일로 여겨지고 있다. 그렇다면 앞선 여러 사례처럼 A/B 테스트는 스타트업의 성과에 정말로 효과가 있는 것인가? 만약 그렇다면 어느 정도 효과가 있을까? 이 질문에 답하기 위해 하버드대와 듀크대 공동연구진이 대규모 데이터를 분석했다.
무엇을 발견했나?
연구자들은 2008년에서 2013년 사이에 설립된 3만5262개 스타트업을 표본으로 선정했다. 2016년 4월 5일부터 2019년 3월 24일까지 208주에 걸쳐 이 회사들의 주요 지표를 확인했다. 총 733만4496개의 주 단위 데이터를 분석한 셈이다.
연구진은 여러 산업에 걸친 폭넓은 스타트업들에 A/B 테스트가 성과에 긍정적 영향을 끼치는 것을 발견했다. 구체적으로 A/B 테스트를 실시한 후 첫 몇 달은 방문자가 10%가량 증가했으나 1년 후에는 약 30%에서 100% 증가하는 것을 알아냈다. 그뿐만 아니라 초기 단계 스타트업에서 A/B 테스트의 효과가 가장 좋다는 것도 밝혔다. 연구자들은 추가적인 연구를 통해 A/B 테스트를 활용한 기업이 그렇지 않은 기업에 비해 신제품을 더 많이 출시하고 웹사이트 코드를 더 자주 바꾼다는 사실 또한 알아냈다.
연구 결과가 어떤 교훈을 주나?
이번 연구 결과는 그동안 실험을 기반으로 한 전략이 성과 향상에 중요하다는 학계의 주장을 입증했다. 구체적으로 A/B 테스트의 실시 여부가 스타트업의 성과에 미치는 영향력을 대규모 스타트업을 대상으로 4년이라는 긴 시간 동안, 주 단위 지표를 통해 매우 엄밀하게 분석했다. 이를 통해 신생 기업은 가설을 설정하고 이를 과학적으로 검증해 그 결과를 미래의 전략에 반영하는 이른바 ‘가설 주도 의사결정’이 경쟁력의 원천이 됨을 확인했다.
인기기사
