군집심리 따른 거품평가 조심! 온라인 평점엔 에누리가 들어있다

편집자주

이 글은 슬론 매니지먼트 리뷰(SMR)> 2014년 겨울 호에 실린 MIT 슬론 경영대학원 경영학 교수 사이넌 아랄(Sinan Aral)의 글 ‘The Problem with Online Ratings’를 번역한 것입니다.

몇 달 전, 간단하게 식사를 하러 뉴욕 그리니치 빌리지에 위치한 레스토랑 도조(Dojo)에 들렀다. 나는 내가 도조에 대해 어떻게 생각하는지 잘 알고 있었다. 물론 그럴 수밖에 없지 않은가! 나는 도조에서 직접 음식을 먹었고 직접 도조를 경험했다. 음식은 괜찮았다. 서비스도 괜찮았다. 평균적으로 따져 봤을 때 모든 것이 평균 수준이었다.

그래서 몇 개의 별점을 줄지 미리 마음속으로 생각을 해 둔 채 도조의 점수를 매기려고 생활 정보 검색 사이트 옐프(Yelp)에 접속했다. 옐프에 접속해 원하는 페이지로 이동해 의견을 남기려고 버튼을 클릭했다. 그러다가 ‘평가를 위해 클릭(click to rate)’해야 하는 버튼 바로 오른쪽에 샤 H.(Shar H.)라는 옐프 사용자가 도조의 ‘신선하고 놀랍고 달콤하고 자극적인 생강 드레싱’에 대해 장황하게 늘어놓은 글귀가 보였다. 샤 H.가 적어놓은 평가의 글 위에는 5개의 붉은 별이 반짝이고 있었다.

필자도 마음을 바꾸지 않을 수 없었다. 사실 필자는 도조에 별점을 3개만 줄 생각이었다. 하지만 샤도 일가견을 갖고 있었다. 샤의 말대로 ‘도조의 가격은 훌륭했다!’

샤의 의견은 나를 변화시켰다. 나는 결국 도조에 4개의 별점을 줬다.

최근의 연구를 통해 밝혀진 것처럼 이와 같은 나의 행동은 드물지 않다. 사실 이런 유형의 사회적 영향(social influence)은 전자 상거래와 관련된 결정을 내릴 때 소비자가 가장 신뢰하는 요인 중 하나인 온라인 평점(online rating)을 심각할 정도로 한쪽으로 치우치게 만든다.

문제는 군집 본능이다!

우리는 지금 다른 사람들의 의견으로 넘쳐나는 디지털 시대를 살고 있다. 우리는 다른 고객들이 특정한 책을 좋아하는지(혹은 싫어하는지) 잘 알고 있는 상태로 아마존(Amazon)에서 여러 책들을 훑어본다. 익스피디아(Expedia)에서는 사용자 평점을 토대로 여러 호텔을 비교한다. 유튜브(YouTube)를 이용할 때는 시간을 투자할 만한 가치가 있는 동영상인지 판단하기 위해 동영상 아래쪽에 표시돼 있는 추천(thumbs-up) 점수와 비추천(thumbs-down) 점수를 확인한다. 뿐만 아니라 의료진 선택과 같은 중요한 결정을 내릴 때조차 다른 환자가 남긴 피드백의 영향을 받을 수도 있다.

대개 우리는 이런 평점을 신뢰하며 이런 평점이 믿을 만하다고 여긴다. 시장조사 기업 닐슨(Nielsen)은 2012년에 56개 국에 거주하는 2만8000명 이상의 인터넷 사용자를 대상으로 설문조사를 실시했다. 그 결과 소비자들은 친구와 가족의 추천을 가장 신뢰할 만한 브랜드 정보원이라고 생각하며 온라인 소비자 평가를 두 번째로 신뢰할 만한 브랜드 정보원이라고 여기는 것으로 밝혀졌다.1 1“Nielsen: Global Consumers’ Trust in ‘Earned’ Advertising Grows in Importance,” April 10, 2012, www.nielsen.com. 닫기  동일한 조사에서 글로벌 응답자 중 3분의 2이상이 이런 플랫폼에 기재돼 있는 메시지를 신뢰한다고 답했다. 4년 만에 15% 증가한 수치였다.

이런 신뢰가 잘못된 것일 수도 있다. 문제의 핵심은 주변 사람들과 같은 방식으로 행동하고 생각하도록 만드는 군집 본능(herd instincts, 개인적인 의사결정 역량 부족으로 인해 인간이 느끼는 자연스러운 충동)이다.2 2S. Bikhchandani, I. Welch and D.A. Hirshleifer, “A Theory of Fads, Fashion, Custom and Cultural Change as Informational Cascades,” Journal of Political Economy 100, no. 5 (October 1992): 992-1026; and M.J. Salganik, P.S. Dodds and D.J. Watts, “Experimental Study of Inequality and Unpredictability in an Artificial Cultural Market,” Science 311, no. 5762 (February 10, 2006): 854-856. 닫기  예컨대, 2013년 4월에는 금 가격이 두 차례에 걸쳐 30년 만에 최대 하락폭을 기록했다. 당시 시장 연구가들은 금 가격이 그토록 급격하게 하락하는 이유를 정당화하기 위해 온갖 답변을 내놓았다. 하지만 그중 어떤 답변도 그리 설득력 있게 들리지 않았다. <파이낸셜타임스(Financial Times)>의 사라 고든(Sarah Gordon)은 이렇게 기술했다. ‘금 투자자들은 다른 투자자들이 금을 팔아 치운다는 이유로 똑같이 매도한다는 것 외에 다른 결론을 내리기는 힘들다. 다시 말해서 군집 본능이 작용한 것이다.’3 3S. Gordon, “Call in the Nerds— Finance Is No Place for Extroverts,” Financial Times, April 24, 2013. 닫기

사회적 영향 편향

온라인 평점을 매길 때는 군집 본능과 긍정적인 ‘사회적 영향’에 대한 민감성이 더해진다.4 4S. Aral and D. Walker, “Identifying Influential and Susceptible Members of Social Networks.” Science 337, no. 6092 (July 20, 2012): 337-341; and S. Aral and D. Walker, “Creating Social Contagion Through Viral Product Design: A Randomized Trial of Peer Influence in Networks,” Management Science 57, no. 9 (September 2011): 1623-1639. 닫기 다른 사람들이 특정한 책을 높이 평가하거나, 특정한 호텔이나 레스토랑에 만족을 느끼거나, 특정한 의사를 좋아하는 모습을 포착하면(그리고 온라인상에서 이런 대상에 높은 평점을 부여하는 모습을 포착하면) 우리는 어떤 영향을 받을까? 다른 사람의 긍정적인 평가로 인해 우리 역시 해당 책이나 호텔, 레스토랑, 의사 등에 대해 똑같이 긍정적인 감정을 느끼고 비슷한 정도의 긍정적인 온라인 평점을 주게 된다.

최근 필자는 히브리대(Hebrew University of Jerusalem) 경영대학원 부교수 레브 무치니크(Lev Muchnik), 뉴욕대(New York University) 스턴 경영대학원(Stern School of Business)에서 박사 과정을 밟고 있는 션 J. 테일러(Sean J. Taylor)와 함께 어느 소셜 뉴스 수집 사이트에서 간단한 무작위 실험을 진행했다.5 5L. Muchnik, S. Aral and S.J. Taylor, “Social Influence Bias: A Randomized Experiment,” Science 341, no. 6146 (August 9, 2013): 647-651. 닫기  (실험에 대한 자세한 내용이 궁금하다면 ‘연구 내용’을 참고하기 바란다.) 사이트 사용자들은 마음에 드는 정도를 기준으로 찬성이나 반대를 표시해 뉴스 기사와 사용자 의견을 평가한다. 우리 연구진은 찬성표나 반대표를 하나씩 던져 의견 점수를 무작위로 조작했다. 찬성 표시를 한다는 것은 곧 해당 ‘사용자’가 등록된 의견을 마음에 들어 한다는 뜻이고 반대 표시를 한다는 것은 곧 해당 ‘사용자’가 등록된 의견을 마음에 들어 하지 않는다는 뜻이다. 그런 다음 이와 같은 사소한 점수 조작이 추후의 점수에 어떤 영향을 미치는지 측정했다.

결과는 매우 놀라웠다. 긍정적인 조작은 긍정적인 사회적 영향 편향을 만들어냈다. 이런 편향은 5달 이상 지속됐으며 결과적으로 긍정적으로 조작된 의견의 최종 점수를 25% 높이는 역할을 했다. 한편 부정적으로 조작된 점수는 조작을 무효화시키는 교정 효과(correction effect)로 인해 상쇄됐다. 물론 부정적으로 조작된 의견을 열람한 사용자들이 부정적인 평가를 남길 가능성이 큰 것 역시 사실이었다. (이것이 바로 부정적인 군집 본능의 증거다.) 하지만 이런 사용자들이 부당하게 부정적인 점수를 받은 것으로 여겨지는 의견을 긍정적으로 ‘정정’하는 경우가 더 많았다.

사회적 영향 편향은 눈덩이처럼 불어나 터무니없이 높은 점수가 되며 이로 인해 긍정적인 평점 거품이 생겨나는 경향이 있다. 긍정적으로 조작된 점수는 통제 집단(우리 연구진이 조작하지 않은 의견)에 비해 10점 이상이 될 가능성이 30% 더 높은 것으로 나타났다. 이 사이트에서 10점을 받는 것은 쉽지 않은 일이었다. 사실 이 사이트의 평균 점수는 1.9점에 불과하다. 하나의 긍정적인 표는 평점 분포 평균에 영향을 미칠 뿐 아니라 분포 곡선의 우측 꼬리 부분이 더욱 길어지도록 만든다. 다시 말해서 최초의 긍정적인 표 하나로 인해 놀라울 만큼 높은 점수가 나올 수도 있는 것이다.

평점 거품

이 같은 사실은 최근 여러 연구팀이 관찰한 온라인 평점 거품 현상을 설명하는 데 도움이 된다. 몇몇 과학자들은 이런 현상을 온라인 평점의 ‘J형 분포(J-shaped distribution)’라 일컫는다. 연구를 통해 온라인 평점이 과도할 정도로 긍정적인 경향이 있다는 사실이 드러났다. 아마존닷컴(Amazon.com)의 제품 평점 분포를 확인하면 부정적(별점 1∼2개)인 평가나 대체로 긍정적인(별점 3∼4개) 평가보다는 매우 긍정적인(별점 5개) 평가가 훨씬 많다. 그 외의 여러 웹사이트에서도 레스토랑, 영화, 서적 등에 대한 사용자들의 평가가 필요 이상으로 긍정적으로 치우쳐 있는 모습이 확인됐다.6 6참고. M. Luca and G. Zervas, “Fake It Till You Make It: Reputation, Competition and Yelp Review Fraud,” Harvard Business School NOM Unit working paper no. 14-006, Boston, Massachusetts, November 8, 2013; Y. Liu, “Word-of-Mouth for Movies: Its Dynamics and Impact on Box Office Revenue,” Journal of Marketing 70, no. 3 (2006): 74-89; and J.A. Chevalier and D. Mayzlin, “The Effect of Word of Mouth on Sales: Online Book Reviews,” Journal of Marketing Research 43, no. 3 (August 2006): 345-354. 닫기

우리 연구진이 실험을 통해 확인한 사회적 영향 편향은 이와 같은 거품을 설명하는 데 도움이 된다. 사회적 영향이 긍정적인 군집 효과를 일으키는 반면 부정적인 군집 효과를 초래하지는 않는다면 이전에 다른 사람이 남겨 놓은 긍정적인 의견 쪽으로 치우치는 인지 편향의 비대칭으로 인해 평점 거품이 생길 수도 있다. 다시 말해서 우리는 다른 사람들이 남겨 놓은 긍정적인 의견에 군집하는 반면 부정적인 의견에는 회의적인 태도를 보이는 경향이 있다.