‘진짜 차이’인가, ‘우연’에 의한 결과인가

필자가 컨설팅 프로젝트의 최종 보고를 위해 한 대기업의 임원 회의에 들어갔을 때의 일이다. 당시 그 대기업은 아시아 지역에서의 매출액 확대에 사활을 걸고 있었고, 같은 동남아시아 지역에 속하며 인구 및 경제 규모가 비슷한 국가 A와 국가 B에서의 영업 성과를 비교하며 향후 전략을 수정·보완하는 중이었다. 그런데 두 국가에서의 지난 30년간 영업 성과를 두고 임원들 사이에서 갑론을박이 벌어졌다. 국가 A의 지난 30년간 매출액 평균이 같은 기간 국가 B의 매출액 평균보다 약 10억 원 정도 높았는데 이를 두고 이것이 과연 유의미한 차이인지, 미미한 차이에 불과한 것인지 논쟁이 벌어진 것이다. 참고로 해당 대기업의 당시 연 매출액은 1조2000억여 원에 달했다. 영업 총괄임원은 ‘그 정도의 차이는 중요하지 않은 요인에 의해서 얼마든지 발생할 수 있으므로 큰 의미가 없다’는 입장이었고, 반면 재무 총괄임원은 ‘10억이면 우리 회사 신제품 하나의 초기 R&D 투자액에 달하는 금액인데 어떻게 이를 무시할 수 있겠는가’라는 입장이었다. 맥락은 다르겠지만 이와 같이 ‘애매한’ 논쟁 상황은 사실 기업 실무는 물론 개인의 일상생활에서도 매우 빈번하게 발생한다. 두 집단의 평균치 차이를 두고 이것이 두 집단 사이의 ‘진짜 차이’를 반영한 결과인지, 아니면 단순히 ‘우연’에 의한 결과인지 모두가 수긍할 수 있는 객관적인 답을 내놓기 쉽지 않은 상황이다.

이와 같은 애매한 논쟁은 서로 다른 관점에서의 통상적인 갑론을박으로는 결코 해결되지 않는다. 그렇다면 어떻게 하는 것이 좋을까. 우리는 객관적인 논쟁 해결을 위해 계량분석 이론을 통한 ‘과학적’ 도움을 받을 수 있다. 사실 위의 사례는 통계학에서 말하는 ‘두 집단 간 평균 차이에 대한 검정(Testing differences between two group means)’1 1엄밀하게 얘기하자면 두 집단 간 평균 차이에 대한 검정은 모집단의 분산을 아는지 모르는지, 그리고 두 집단이 상호 독립인지, 종속인지에 따라서 각각 달라진다. 이 글을 읽는 주된 독자층의 유형을 감안해 고급 개념에 대한 설명은 생략한다.. 닫기 이 필요한 매우 전형적인 상황이기 때문이다. 통계학에서 ‘검정(Testing)’이란 관측된 통계치(가령, 위의 사례에서 약 10억 원의 매출액 차이)2 2통계치(Statistic) 혹은 통계량이란 분석의 궁극적인 목적이 되는 모집단의 모수치(Parameter)를 추정(Estimate)하기 위해 모집단에서 추출된 표본(Sample)의 속성을 지칭하는 개념이다. 표본평균, 표본분산 및 표본표준편차, 표본비율 등이 모두 통계치 혹은 통계량의 사례들이다. 계량분석에서는 정확한 용어를 사용하는 것이 매우 중요하다. 닫기 가 통계적으로 유의한 것(Statistically significant)인지, 아닌지를 판단하는 일련의 과정을 말한다. 이때 우리는 단순히 ‘유의하다’라는 표현이 아닌 ‘통계적으로 유의하다’라는 표현을 쓴다는 점에 특히 주의해야 할 필요가 있다. ‘통계적 유의성’에 대한 자세한 설명은 이 글의 말미에 덧붙이겠다. 통상적으로 통계학 개론의 첫 시간에 우리는 ‘영가설(Null hypothesis)’과 ‘대립가설(Alternative hypothesis)’이 무엇인지에 대한 논의로 통계학의 ‘아름다움’을 향한 긴 여정을 시작하는데 많은 사람이 이 두 용어의 무미건조함으로 인해 첫 시간부터 통계학에 대한 막연한 거부감을 품게 되곤 한다. 필자 역시 학부 1학년 시절 이 두 개념을 두고 적잖이 혼동을 겪었던 기억이 난다. 매우 중요한 이 두 가지 개념을 쉽고 간단하게 설명하자면 다음과 같다.